13 августа Центр практического искусственного интеллекта Сбербанка и Институт AIRI представили SplitLight — открытый инструмент для диагностики данных перед обучением и сравнением рекомендательных моделей. Инструмент доступен в двух режимах: библиотека на Python для разработчиков и интерактивный веб-интерфейс, не требующий кода. Исходный код опубликован на российской платформе GitVerse и на GitHub.
Рекомендательные системы используются в электронной коммерции, видеосервисах и контентных платформах. Компании на основе экспериментов решают, какие модели отправлять в разработку и продукт. Если данные подготовлены неаккуратно или условия эксперимента расходятся с реальной жизнью, команда рискует выбрать неподходящее решение и потратить ресурсы впустую. SplitLight снижает этот риск, позволяя заранее проверить данные и оценить применимость результатов эксперимента на практике.
Главная задача SplitLight — сделать невидимое видимым. Сбои в логировании, сдвинутые временные метки, дублирующиеся события — такие дефекты часто остаются незамеченными, но способны серьезно исказить итоговые метрики. Инструмент обнаруживает аномалии и позволяет исправить ошибки подготовки данных еще до запуска эксперимента.
Вторая задача — несопоставимость результатов между разными исследованиями. Две команды могут работать с одним датасетом, но из-за различий в фильтрации, агрегации или разбиении приходить к противоположным выводам. SplitLight дает возможность зафиксировать ключевые статистики выбранного подхода, чтобы в будущем эксперименты можно было воспроизводить и корректно сопоставлять с другими работами.
Третий аспект — проверка на реалистичность. Инструмент помогает понять, не попали ли в обучающую выборку данные из будущего, учтены ли новые пользователи и объекты, насколько сильно различаются тренировочные и валидационные срезы. Если эти детали упущены, блестящий результат на тесте может рассыпаться в реальной эксплуатации. Сводный дашборд с детальными статистиками позволяет сразу увидеть общую картину качества данных.
Команда проекта во главе с исполнительным директором по исследованию данных Центра практического ИИ Сбербанка Алексеем Васильевым протестировала SplitLight на шести популярных открытых датасетах. Эксперименты показали: даже незначительные изменения в разбиении способны заметно повлиять на метрики и трактовку качества модели. Сергей Рябов, старший управляющий директор, директор по ИИ-трансформации Сбербанка, отметил: «SplitLight позволяет специалистам детально изучить данные и заранее выявить скрытые искажения. Для продуктовых команд в маркетплейсах, стримингах и медиа — это надежная защита перед дорогими экспериментами: быстрая проверка данных, выбор корректного сплита и подтверждение, что тест приближен к реальности. Это снижает риск внедрения моделей, эффективных лишь на бумаге. Исследовательским группам SplitLight упрощает документирование, воспроизводимость и сравнение с публикациями, а также позволяет анализировать сторонние датасеты для корректной оценки своих решений».
SplitLight — пример того, как российские исследовательские центры развивают инструменты для повышения надежности ИИ-разработок. Открытый код и доступность в виде библиотеки и веб-интерфейса делают его полезным как для индустрии, так и для академических исследований.
