Amazon Bedrock расширил доступ к моделям OpenAI GPT-5.6 Terra и Luna, запустив инференс в Индии с географическим cross-Region механизмом. Это означает, что запросы обрабатываются исключительно внутри страны, что критично для компаний с требованиями к локальности данных, особенно в финансовом секторе, здравоохранении и государственных структурах. Ранее такие организации были вынуждены либо использовать глобальные профили, либо отказываться от мощных моделей из-за регуляторных ограничений.

Cross-Region inference в Amazon Bedrock — это механизм, который автоматически распределяет запросы между несколькими AWS-регионами для повышения пропускной способности. Вместо того чтобы полагаться на мощность одного региона, запросы используют общий пул вычислительных ресурсов, что помогает поддерживать стабильную производительность даже при пиковых нагрузках. В случае Индии маршрутизация ограничена регионами Asia Pacific (Mumbai) (ap-south-1) и Asia Pacific (Hyderabad) (ap-south-2), что гарантирует, что данные не покидают страну.

ПрофильМодельРегионы
in.openai.gpt-5.6-terraGPT-5.6 Terraap-south-1, ap-south-2
in.openai.gpt-5.6-lunaGPT-5.6 Lunaap-south-1, ap-south-2

Для использования локального инференса предусмотрены специальные профили: in.openai.gpt-5.6-terra для модели Terra и in.openai.gpt-5.6-luna для Luna. Эти профили позволяют вызывать модели через API, при этом биллинг и квоты привязаны к исходному региону, а мониторинг через Amazon CloudWatch и AWS CloudTrail ведется в одном месте. Это упрощает управление и аудит для организаций, которым важно отслеживать использование ресурсов.

Модели поддерживают окно контекста в 1 миллион токенов и принимают текст и изображения на входе.

Selecting the OpenAI GPT-5.6 Terra model from the Amazon Bedrock Playground console
Selecting the OpenAI GPT-5.6 Terra model from the Amazon Bedrock Playground console · Источник: AWS Machine Learning Blog

Обе модели, Terra и Luna, имеют окно контекста в 1 миллион токенов, что позволяет обрабатывать длинные документы, большие объемы кода и смешанные текстово-изображенческие задачи в одном запросе. Это особенно полезно для юридических фирм, анализирующих контракты, или для разработчиков, работающих с крупными репозиториями кода. Модели принимают текст и изображения на входе и генерируют текстовый вывод.

Amazon Bedrock также предлагает глобальный cross-Region инференс с профилями global., которые маршрутизируют запросы по всему миру, включая модели Sol, Terra и Luna. Однако для задач с требованиями к локальности данных рекомендуется использовать индийские профили in., чтобы гарантировать обработку внутри страны. Данные шифруются при передаче по сети Amazon, а Amazon Bedrock использует модель нулевого хранения данных (ZDR), что означает, что по умолчанию входные и выходные данные не сохраняются. Исключение составляют случаи, когда контент помечается системами автоматического обнаружения злоупотреблений — такие данные могут сохраняться для дальнейшего анализа.

Для начала работы с моделями можно использовать консоль Amazon Bedrock, где доступен текстовый playground для экспериментов без написания кода. Для интеграции в приложения поддерживаются OpenAI Responses API, OpenAI Chat Completions API и Amazon Bedrock Converse API. Рекомендуется использовать конечную точку bedrock-runtime, которая поддерживает все эти API, а также дополнительные функции, такие как Guardrails и интеллектуальная маршрутизация промптов.

Запуск локального инференса в Индии — значимый шаг для AWS, поскольку он отвечает на растущий спрос со стороны регулируемых отраслей. Это также демонстрирует, как облачные провайдеры адаптируют свои сервисы под региональные требования, сохраняя при этом доступ к передовым моделям ИИ.