Британская компания OneAdvanced, поставщик корпоративного ПО для здравоохранения, юридических и других регулируемых отраслей, развернула более 50 специализированных ИИ-агентов на инфраструктуре AWS в регионе Лондона (eu-west-2). Решение построено на самозагруженных моделях Llama 4 Maverick и Llama Guard 4, размещенных на Amazon SageMaker ИИ. Это позволило компании соблюсти строгие требования к суверенитету данных: ни один запрос или документ не покидает пределы Великобритании.
Ключевая особенность архитектуры — использование открытых моделей с собственным хостингом. На момент внедрения Llama 4 Maverick и Llama Guard 4 не были доступны через управляемые сервисы AWS в UK-регионе, поэтому OneAdvanced выбрала самостоятельное развертывание на выделенных инстансах p5.48xlarge. Это дало полный контроль над инфраструктурой и данными, что критично для клиентов из госсектора и отраслей с жестким регулированием. Как отмечает технический директор OneAdvanced Эндрю Хендерсон, «суверенитет данных, особенно в Великобритании, является жестким требованием для многих наших клиентов, особенно в государственном секторе и строго регулируемых отраслях».
| Компонент | Назначение |
|---|---|
| Llama 4 Maverick (FP8) | Основная модель для генерации ответов |
| Llama Guard 4 | Модерация контента, проверка запросов |
| Strands Agents SDK | Оркестрация более 50 специализированных агентов |
| Amazon Aurora PostgreSQL + pgvector | Хранение и поиск векторных представлений документов |
Архитектура решения включает четыре основных компонента. Модели Llama 4 Maverick (FP8) и Llama Guard 4 работают на Amazon SageMaker ИИ, обеспечивая генерацию ответов и модерацию контента. Более 50 агентов на базе Strands Agents SDK выполняются на Amazon ECS, каждый со своим системным промптом, конфигурацией инструментов и опциональной формой ввода; конфигурации хранятся в Amazon DynamoDB. Документы, загружаемые в Amazon S3, конвертируются в markdown, разбиваются на фрагменты и индексируются в pgvector для последующего поиска. Llama Guard 4 проверяет пользовательские запросы на вредоносный контент до того, как они попадут в основную модель.
Архитектура включает RAG-конвейер на Amazon Aurora PostgreSQL с pgvector, более 50 агентов на базе Strands Agents SDK и слой инструментов на Amazon ECS.
Типичный запрос обрабатывается следующим образом: пользователь отправляет сообщение, Llama Guard проверяет его на вредоносный контент, затем запрос направляется соответствующему агенту Strands на ECS. Агент вызывает инструменты, извлекает релевантные документы из pgvector и S3, а при необходимости обращается к веб-поиску. Такой подход обеспечивает быструю разработку: прототип на Amazon Bedrock был создан за две недели, включая чат, агента для запросов к законодательству Великобритании, интеграцию со Snowflake и генерацию графиков.
Решение OneAdvanced поддерживает сертификацию ISO 42001 по управлению ИИ, что подтверждает соответствие международным стандартам. Для компаний, работающих в регулируемых отраслях, это демонстрирует, что можно сочетать гибкость открытых моделей с жесткими требованиями к безопасности и местонахождению данных. Опыт OneAdvanced может служить ориентиром для организаций, которым необходима полная автономия в обработке чувствительных данных, но которые не готовы ждать появления нужных моделей в управляемых сервисах.
