Компания Sofros представила сервис SOFROS ИИ/ML, предназначенный для автоматизации нормализации нормативно-справочной информации (НСИ). Решение интегрируется с системой 1С:MDM (редакция 2.5) через расширение и автономный сервер, разворачиваемый в Docker-контейнере. Сервис использует гибридные модели машинного обучения, включая наивный байесовский классификатор, NER для экстракции характеристик, а также BERT и FAISS для семантического поиска.
Проблема, которую решает SOFROS ИИ/ML, — деградация данных в информационных системах. Традиционные методы очистки, такие как сравнение строк, не справляются с растущими объёмами и сложностью данных. В результате компании вынуждены тратить значительные ресурсы на дедупликацию и нормализацию вручную. ИИ-сервис автоматизирует эти процессы, обучаясь на реальных действиях пользователей и постепенно повышая точность предсказаний.
| Группа настроек | Что настраивается | Для чего |
|---|---|---|
| Общие настройки сервиса | Логирование запросов и ответов (включить/отключить), размер порции обучающих примеров при отправке. | Контроль отладки и производительности при выгрузке больших объёмов данных. |
| Модели по умолчанию | Выбор конкретных моделей AI/ML для семантического поиска значений и наименований характеристик. | Единая точка управления тем, какие модели будут использоваться в формах «Поиск значений характеристик» и «Разметка характеристик». |
| Настройки моделей | Для классификации - пороги уверенности, вероятности и неклассификации. Для семантического поиска - количество результатов и проверка создания семантически близких характеристик. | Управление чувствительностью моделей, чтобы снизить число ошибок и избыточных записей (например, запрет на создание дублей характеристик, если семантически похожая уже существует). |
| Интеллектуальные ассистенты | Выбор ассистента и шаблон промпта для дообогащения данных значениями характеристик через LLM. | Определяет, как именно сервис будет взаимодействовать с языковой моделью для поиска и подстановки новых значений. |
Архитектура решения включает два компонента: автономный сервер, который управляет моделями и предоставляет REST API, и расширение для 1С:MDM, реализующее бизнес-логику в привычном интерфейсе. Сервис работает в три этапа: на первом этапе он наблюдает за действиями пользователя и накапливает обучающие примеры, на втором — начинает предлагать варианты заполнения, а на третьем — полностью автоматизирует обработку, оставляя пользователю только финальную валидацию.
SOFROS ИИ/ML не заменяет MDM-систему, а дополняет её, автоматизируя ежедневные операции. Это позволяет экспертам сосредоточиться на более сложных задачах, а не на рутинной нормализации. Внедрение сервиса может быть особенно полезно для компаний с большими объёмами НСИ, где ручная обработка становится узким местом.
Настройка сервиса включает общие параметры, такие как логирование запросов и размер порции обучающих примеров, а также выбор моделей по умолчанию для семантического поиска. Для классификации задаются пороги уверенности и вероятности. Эти настройки позволяют адаптировать сервис под конкретные потребности организации.
В целом, SOFROS ИИ/ML представляет собой практический пример применения ИИ в управлении данными. Он демонстрирует, как гибридный подход, сочетающий классические алгоритмы и современные языковые модели, может решать реальные бизнес-задачи. Однако остаётся открытым вопрос о стоимости внедрения и поддержки такого сервиса, а также о том, насколько он эффективен на больших масштабах данных. Тем не менее, для компаний, работающих с 1С:MDM, это может стать шагом к более интеллектуальной обработке НСИ.
