AWS представила Agentic Data Operations Platform (ADOP) — эталонную архитектуру, которая автоматизирует создание пайплайнов данных с помощью ИИ-агентов. Платформа, построенная на Amazon Bedrock, нацелена на сокращение времени подключения нового источника данных с недель до часов. Это особенно актуально для компаний, где ручной онбординг данных тормозит разработку продуктов и увеличивает нагрузку на инженеров.
Традиционно подключение нового источника требует написания ETL-кода, ручных проверок качества, обновления семантических моделей и валидации соответствия требованиям. ADOP автоматизирует эти шаги: агенты ИИ запускаются в среде разработки, где они генерируют код ETL, проверки качества, определения семантического слоя и контроли регуляторных требований. Инженеры проверяют результаты, а CI/CD продвигает сгенерированные артефакты (детерминированные PySpark, SQL, Airflow DAGs, IAM и Cedar policies) в staging и продакшн. В продакшене выполняются статические артефакты без вызова модели, что обеспечивает предсказуемость затрат и аудируемость.
Ключевое отличие ADOP от общих ИИ-ассистентов для кодинга — в его «опиньонизированности». Общие инструменты, такие как Claude Code или Cursor, гибки, но не структурированы: каждый инженер может получить разную архитектуру. ADOP же сужает область применения до задач data engineering, встраивает стандарты компании в дизайн и не позволяет модели «рисовать» архитектуру — только заполнять шаблон. Это обеспечивает единообразие онбординга всех источников и упрощает управление.
Агенты ИИ генерируют код ETL, проверки качества и семантические модели в среде разработки, а в продакшн попадают детерминированные артефакты.
ADOP использует Data Onboarding Agent на базе Claude Code через Amazon Bedrock, который с помощью функции Dynamic Workflow запускает специализированных субагентов для каждого этапа: генерация метаданных, вывод онтологии данных, проверки качества, ETL-трансформации и оркестрация (Airflow или AWS Step Functions). Требования уточняются в диалоге с пользователем, а каждый артефакт валидируется локально перед развертыванием в AWS с участием человека.
Платформа поддерживает несколько ИИ-инструментов — Claude Code, Kiro, Cursor, Codex — через единый архитектурный контракт. Это позволяет организациям управлять использованием ИИ в разработке данных, не привязываясь к одному вендору. ADOP также интегрируется с Amazon Bedrock AgentCore, но в отличие от него оптимизирован для предсказуемых затрат и аудита в регулируемых средах.
Для руководителей data-инжиниринга ADOP меняет три вещи: инженеры перестают тратить время на рутинные пайплайны и начинают выпускать продукты данных; комплаенс становится встроенным контролем на этапе онбординга, а не финальным шлюзом; архитектура, а не модель, управляет взаимодействием всех ИИ-инструментов с системами данных.
ADOP применим в сценариях, где скорость работы с данными ограничена ручным онбордингом и накладными расходами на соответствие: корпоративный онбординг данных в масштабе, регулируемые пайплайны в здравоохранении и финансах, автоматическое поддержание Gold-слоя для BI и ML. Компании, использующие ADOP, должны самостоятельно определять соответствие своим регуляторным требованиям.
Платформа уже доступна как эталонная архитектура, и AWS публикует детали для инженеров платформ. Это шаг к стандартизации data engineering с помощью ИИ, который может снизить порог входа для организаций, внедряющих ИИ в управление данными.
