В блоге AWS Machine Learning Blog появилось описание архитектуры для построения управляемых агентных ИИ-приложений на основе data mesh. Решение нацелено на устранение пробелов в безопасности, возникающих при переходе от Retrieval Augmented Generation (RAG) к агентным сценариям. В отличие от RAG, где контроль доступа сводился к одной точке фильтрации метаданных при поиске векторов, агентные системы требуют авторизации на каждом этапе — от обнаружения схем до выполнения SQL-запросов и синтеза ответов.
Новая архитектура вносит три ключевых изменения по сравнению с ранее предложенным решением для RAG. Первое: замена Amazon OpenSearch Serverless на Amazon S3 Vectors для хранения векторов. Это снижает стоимость хранения и запросов до 90% при умеренной частоте запросов. Второе: использование Amazon S3 Tables со встроенной поддержкой Apache Iceberg, управляемых через AWS Lake Formation. Такая связка обеспечивает до 10 раз больше транзакций в секунду (TPS) по сравнению с самоуправляемыми Iceberg-таблицами, а также поддержку fine-grained access control на уровне строк, столбцов и ячеек. Третье: представление data mesh в виде инструментов Model Context Protocol (MCP) через шлюз AgentCore Gateway с Lambda-перехватчиками для детерминированного контроля доступа при каждом вызове.
| Компонент | Старое решение | Новое решение | Преимущество |
|---|---|---|---|
| Векторное хранение | Amazon OpenSearch Serverless | Amazon S3 Vectors | Снижение затрат до 90% |
| Управление таблицами | Обычные S3 buckets | S3 Tables с Iceberg + Lake Formation | До 10x TPS, row/column/cell-level security |
| Доступ к данным | Единая точка фильтрации | MCP-инструменты через AgentCore Gateway с Lambda-перехватчиками | Детерминированный контроль на каждом шаге |
Архитектура состоит из четырёх слоёв. На уровне агентов AgentCore Runtime развёртывает агентов в изолированных микро-VM с сегрегацией сессий. Шлюз включает перехватчики запросов и ответов: первый выполняет JWT-валидацию и проверку прав, второй — фильтрацию инструментов, редактирование данных и аудит. Также используются Bedrock Guardrails для оценки входов и выходов каждого вызова на предмет инъекций и вредоносного контента. Инструментальный слой включает четыре Lambda-функции для работы с таблицами, схемами, запросами и поиском по базам знаний. Наконец, управляемый data mesh на S3 Tables, Athena, Lake Formation и S3 Vectors обеспечивает защиту на всех этапах взаимодействия с данными.
Замена OpenSearch Serverless на S3 Vectors снижает затраты на векторное хранение и запросы до 90% при умеренной частоте запросов.
