С ростом числа документов в корпоративных Wiki поиск нужной информации становится всё сложнее. Сотрудники тратят время на навигацию, повторяют одни и те же вопросы коллегам. В ЮMoney решили проблему с помощью собственного ИИ-ассистента Юджина, построенного на технологии RAG (Retrieval-Augmented Generation).
RAG — это подход, при котором модель не переобучается на корпоративных данных, а дополняет запрос релевантными фрагментами из поискового индекса. Документы разбиваются на чанки, векторизуются и хранятся в базе. По запросу система находит подходящие фрагменты и передаёт их в контекст LLM. Это позволяет быстро обновлять базу знаний без переобучения, снижает стоимость и даёт контроль над безопасностью. В ЮMoney остановились на собственном решении, так как готовые варианты не масштабировались под постоянно меняющуюся документацию и не гарантировали сохранность конфиденциальных данных.
| Тип документа | Метод разбиения |
|---|---|
| OpenAPI (.yml) | Разворачивание $ref, удаление components, разбиение по эндпоинтам |
| Markdown (.md, .markdown) | Построение дерева заголовков, добавление цепочки родительских разделов |
| AsciiDoc (.adoc, .asciidoc) | Аналогично Markdown, извлечение метаданных документа |
| PlantUML (.puml, .plantuml, .uml) | Учёт вложенности блоков по отступам, сохранение заголовка диаграммы |
| HTML (.html) | Конвертация в Markdown, затем обработка пайплайном Markdown |
| Остальное | Рекурсивное разбиение по параграфам и предложениям |
Архитектура Юджина включает непрерывную индексацию из Wiki, Bitbucket и внутренних документов. Для каждого типа файлов — свой чанкер. Например, OpenAPI-спецификации разбиваются по эндпоинтам, Markdown-файлы — по заголовкам с сохранением иерархии. Оптимальный размер чанка определили экспериментально: 1024 токена с перекрытием 200 токенов. Для эмбеддингов используется открытая модель FRIDA. Поиск ведётся параллельно: полнотекстовый (через OpenSearch) и векторный (по семантической близости). Это позволяет находить ответы даже на запросы, не совпадающие по формулировкам.
Интерфейс Юджина — чат с возможностью загружать документы размером до 5 МБ. Ассистент помогает с поиском информации, анализирует файлы, отвечает на вопросы по коду. Компания продолжает развивать платформу, добавляя поддержку новых источников и улучшая качество ответов.
