Команда CVM B2B из МТС — техлид Артём Каледин и ML-инженер Александр Швайко — перевела Telegram-бота для клиентских менеджеров на архитектуру RAG. Раньше бот собирал информацию по ИНН, подбирал продукты классическими моделями и выдавал статические подсказки на основе шаблонов. Часть данных поступала из внешних порталов и веб-поиска, но служба безопасности запретила использовать внешние источники. Пришлось полностью пересмотреть подход и работать только с внутренней базой знаний.
Бизнес поставил две цели: сократить время на подготовку к встречам и сопровождение сделок, а также повысить конверсию из первичного контакта в продажу за счёт качества рекомендаций. Совместно с отделом продаж собрали метрики: время подготовки ко встрече, конверсия в продажу, оценка релевантности рекомендаций продавцами, NPS, общая удовлетворённость и время ответа Co-Pilot. Задача — превратить бота в ассистента, который отвечает на вопросы по 100+ B2B-продуктам со ссылками на источник в документации.
| Метрика | Цель |
|---|---|
| Время на подготовку ко встрече | Сокращение |
| Конверсия в продажу | Повышение |
| Оценка релевантности рекомендаций | Повышение |
| NPS | Повышение |
| Общая удовлетворённость | Повышение |
| Время ответа Co-Pilot | Сокращение |
К системе предъявили три требования. Все данные должны храниться в локальном стеке — внешние API под запретом из-за чувствительной документации. Информация поступает только из базы: если данных нет на внутренних ресурсах, система честно говорит «не нашёл». Каждый ответ подкрепляется ссылкой на «хлебные крошки» — путь до фрагмента в структуре документа, чтобы менеджер мог проверить данные или углубить знания.
Основная сложность — структура базы знаний. Это Wiki-страницы с таблицами, схемами, PDF и вкладками. У некоторых продуктов вложенность до шести уровней, рекорд — 77 подстраниц на один продукт. API базы знаний оказался бесполезен для извлечения текста в нужном виде. Команда нашла коллег, отвечающих за внутреннюю базу, у которых уже был свой RAG, но не было исходных данных в виде обычного текста. Пришлось парсить.
Для парсинга использовали Playwright — движок автоматизации браузера для работы с динамическим контентом на JavaScript и эмуляции действий пользователя. Crawl4AI — специализированный инструмент для RAG, который выгружает веб-страницы сразу в чистый Markdown, оптимизированный для контекста LLM. Markdownify — конвертер HTML в Markdown для финальной очистки от скриптов, стилей и навигации. Изначально пробовали Selenium, но в 2026 году перешли на более современные инструменты.
Архитектура RAG позволяет системе находить релевантные фрагменты документации и формировать ответ на их основе, а не генерировать текст из общих знаний модели. Это снижает риск галлюцинаций — ситуаций, когда LLM выдаёт правдоподобную, но неверную информацию. В случае МТС дополнительный контроль обеспечивает обязательная ссылка на источник: менеджер может открыть документ и проверить, откуда взялся ответ.
Проект решает практическую задачу B2B-продаж: менеджеру нужно быстро разобраться в техническом продукте, например MWS GPT, и понять, как строить обсуждение с техническим директором клиента. Даже если информация есть, найти нужные материалы и выбрать плюсы для конкретного клиента бывает сложно. Ассистент сокращает этот путь, выдавая готовые фрагменты документации с указанием места в структуре.
Остаётся открытым вопрос, как именно измерялась «почти безгаллюцинационная» работа системы и какие метрики качества ответов использовались. В источнике упоминаются только бизнес-метрики — время подготовки, конверсия, NPS. Технические детали оценки точности RAG, такие как доля корректных ответов или частота отказов, не раскрыты. Также не указано, сколько менеджеров уже пользуются ассистентом и какова экономия времени в цифрах.
