Эффективность ML-моделей начинает снижаться практически сразу после завершения обучения. Изменения в поведении потребителей, появление новых продуктов или сдвиги в экономике — всё это примеры факторов, которые меняют паттерны, изученные моделью. Для своевременного обнаружения таких изменений AWS представила архитектуру мониторинга дискриминативных моделей (классификация и регрессия) на базе Amazon SageMaker ИИ, MLflow и открытой библиотеки Evidently.
Дрейф данных и дрейф модели — две основные причины ухудшения качества. Дрейф данных — изменение статистических свойств входных данных: например, колонка может сменить тип с integer на float из-за обновления источника. Дрейф модели — это снижение точности предсказаний, когда вероятностные закономерности, выученные моделью, перестают соответствовать новым данным. Пример: улучшение экономики меняет покупательское поведение. Для измерения дрейфа данных сравнивают статистики baseline-датасета с данными из продакшена. Для модели — собирают ground truth и сравнивают метрики качества.
Предложенная архитектура автоматизирует этот процесс. После обучения модели baseline-датасет сохраняется в S3. Для пакетного инференса используется batch transform, результаты также попадают в S3. Затем запускается processing job на основе Evidently, который вычисляет метрики дрейфа. Для real-time эндпоинтов данные захватываются через SageMaker Data Capture и обрабатываются Lambda-функциями. Все метрики и отчёты сохраняются в MLflow, где можно отслеживать изменения и сравнивать запуски. При обнаружении дрейфа опционально отправляются уведомления через SNS (email) или Slack. Архитектура может быть расширена для автоматического переобучения.
Дрейф модели — снижение точности из-за несоответствия вероятностных паттернов новым данным.
Решение особенно актуально, когда стандартные возможности SageMaker Model Monitor недостаточны: нужна кастомизация, интеграция с существующими UI или более низкая стоимость. Использование open-source Evidently даёт гибкость в расчёте метрик. AWS также отмечает, что для генеративных моделей существует отдельное решение для real-time мониторинга.
