Масштабный апгрейд рекомендательной инфраструктуры
Перевод разрозненных рекомендательных алгоритмов на единую Discovery-платформу позволил VK высвободить порядка 70 000 процессорных ядер и сократить цикл проверки продуктовых гипотез в пять раз. Если раньше развертывание нового рекомендательного сервиса отнимало недели кропотливой инженерной настройки, то теперь запуск типовой вертикали укладывается фактически в один рабочий день.
Платформа объединяет задачи ранжирования контента, поиска и таргетинга рекламы. За счет стандартизации около 90% задач решаются изменением конфигурационных файлов без написания нового кода, а онбординг новичков ускорился втрое.
GPU-ранжирование в жестких рамках Tier A
Ключевым техническим прорывом стало внедрение инференса тяжелых нейросетевых моделей на GPU непосредственно в онлайне, где время отклика ограничено считаными миллисекундами. Платформа относится к уровню надежности Tier A, поэтому архитектуру проектировали от сценариев возможных сбоев:
- Динамическое объединение в батчи: система собирает входящие одиночные запросы в короткие окна, балансируя между утилизацией видеокарт и задержками на верхних перцентилях.
- Гарантированный fallback: при отказе GPU-кластера или тайм-ауте нейросети сервис мгновенно переключается на легковесную CPU-модель, сохраняя работоспособность интерфейса.
- Шеринг ресурсов: видеокарты утилизируются несколькими моделями одновременно, а простои закрываются фоновыми пакетными задачами.
- Сквозная оптимизация: переиспользование признаков между разными продуктами, умное кэширование кандидатов и профилирование критических путей исключили дублирующие расчеты.
Discovery Portal: безопасность и скорость выкатки
Для управления десятками сервисов разработчики запустили внутренний портал управления. Он взял на себя рутину, которая раньше требовала глубокого погружения в топологию систем:
- предварительная проверка валидности конфигураций до их применения;
- поэтапная канареечная раскатка с автоматической оценкой продуктовых метрик и мгновенной отменой при деградации;
- откат на любую прошлую ревизию в один клик;
- единая панель мониторинга, профилирования и сбора телеметрии для всех команд.
Благодаря такой автоматизации в эксплуатацию оперативно ввели 15 новых вертикалей, включая локальные сценарии вроде ранжирования блоков комментариев, которые ранее было нерентабельно обеспечивать отдельной инфраструктурой.
Измеримый эффект в сервисах
Унификация технологий напрямую отразилась на ключевых метриках продуктов VK:
- ВКонтакте: время в ленте увеличилось на 11%, добавления в друзья из блока рекомендаций выросли на 167%, а охваты оригинальных авторов подскочили почти в 5 раз. Лента клипов прибавила 22% к времени просмотра.
- VK Видео и Клипы: внедрение нейросетевого ранжирования дало +20% к времени просмотра на главной видеовитрины и +5,5% в коротких роликах с одновременным ростом шеров на 15%.
- Одноклассники: +5,8% времени в ленте и прирост дневной аудитории на 1,8%.
- VK Музыка: объем сохранений треков из рекомендаций вырос на треть (+35%) при падении дизлайков на 19%.
- VK Реклама: на общие рельсы перешли продвижение сообществ, мобильных приложений и сбор лид-форм.
Следующим этапом развития Discovery-платформы станет полный перевод на единый технологический стек сервисов внутреннего поиска экосистемы.