Ведущий разработчик отдела экспериментальных технологий ИИ VK Евгений Астафуров опубликовал подробное описание архитектуры нейропоиска Discovery ИИ — набора ИИ-технологий для поиска, рекомендаций и взаимодействия с контентом. Решение оперирует петабайтами гетерогенных данных из многомиллиардной контентной базы VK и генерирует точные ответы в реальном времени. Технология будет поэтапно внедряться в сервисы VK, включая Дзен, VK, Медиапроекты Mail и VK Видео.
Поисковая система Discovery ИИ состоит из нескольких этапов. Первый — кандидатогенерация через маршрутизатор, распределяющий запросы по изолированным вертикалям контента. В каждой вертикали используются два метода: текстовый поиск BM25, эффективный для точных совпадений и редких терминов, и семантический векторный поиск на основе Approximate Nearest Neighbors (ANN), который лучше справляется с синонимией и смысловой близостью. После сбора сырых кандидатов они проходят через «блендер», который назначает динамические приоритеты, удаляет дубликаты и перемешивает результаты по алгоритму round-robin.
Финальное ранжирование выполняется кастомной BERT-like моделью, которая режет документы на чанки (до 320 токенов с перекрытием 160 токенов) и оценивает релевантность каждого чанка к запросу. В промышленной эксплуатации модель обрабатывает до 5 тысяч документов (около 30 тысяч чанков) в секунду на одном GPU среднего потребительского уровня. Для достижения такой производительности использованы оптимизации токенизации и архитектуры. Кроме того, в Discovery ИИ реализован агентский сценарий Deep Research для многошагового поиска и анализа контента.
Несмотря на впечатляющие технические характеристики, остаётся ряд неопределённостей. VK не раскрывает точные сроки и масштабы внедрения Discovery ИИ в свои продукты, а также не приводит сравнений с аналогичными решениями других компаний. Учитывая, что проект финансируется внутри VK, вопрос окупаемости и конкретных бизнес-метрик также остаётся открытым. Тем не менее, архитектура демонстрирует высокий уровень инженерной проработки и может стать основой для конкурентного поискового опыта в российской экосистеме.
