Выбор фундаментальной модели в Amazon Bedrock — задача с избытком данных, разбросанных по консолям, документации и региональным API. AWS предложила решение: Model Profiler, open-source веб-приложение, которое агрегирует метаданные о всех доступных моделях в единый интерфейс.
Инструмент собирает информацию из семи источников: API AWS (ListFoundationModels, Price List, Service Quotas, ListInferenceProfiles, Mantle API) и внешних (LiteLLM Model Database, документация AWS). Данные обрабатываются серверлесс-пайплайном на AWS Step Functions: 17 Lambda-функций выполняют сбор в четыре фазы, используя меж-Lambda кэширование в S3, что сокращает число API-вызовов с 480 до 29 — коэффициент попадания в кэш 97%. Пайплайн выполняется ежедневно в 6:00 UTC и завершается за 8–12 минут.
| Источник данных | Тип | Собираемая информация |
|---|---|---|
| Amazon Bedrock ListFoundationModels API | AWS API | Спецификации, способности, регионы (33 региона) |
| AWS Price List API | AWS API | Цены on-demand, batch, reserved |
| AWS Service Quotas API | AWS API | Лимиты TPM и RPM |
| Amazon Bedrock ListInferenceProfiles API | AWS API | Конфигурации кросс-регионального инференса |
| Amazon Bedrock Mantle API | AWS API | Доступность Mantle по регионам |
| LiteLLM Model Database | Публичный URL | Размеры контекстного окна, макс. выходные токены |
| AWS Documentation | Публичный URL | Статус жизненного цикла модели |
Для оценки моделей важны два ключевых показателя: tokens-per-minute (TPM) — пропускная способность на уровне токенов (1000 токенов ≈ 750 слов текста), и requests-per-minute (RPM) — лимит количества вызовов API. Оба параметра различаются по модели и региону. Model Profiler отображает эти метрики, цены (on-demand, batch, reserved) и статус жизненного цикла (активный, устаревший, снятый с производства).
Инструмент поддерживает фильтрацию по провайдеру, цене, регионам и производительности, а также сравнение моделей бок о бок.
Приложение поддерживает расширенные фильтры и сравнение моделей бок о бок с карточками, дающими полную информацию. Разработчики могут развернуть его менее чем за пять минут через AWS CloudFormation и настроить частоту обновления. Инструмент полезен командам, которые выбирают модель для нового приложения, оптимизируют затраты или мигрируют с других ИИ-систем. Встроенный агентный механизм на базе Amazon Bedrock автоматически выявляет пропуски данных и применяет безопасные исправления.
Model Profiler — не единственная попытка упростить навигацию по модельному зоопарку, но его интеграция с экосистемой AWS и open-source характер делают его удобным для тех, кто уже использует Bedrock. Инструмент снижает время на ручной сбор информации и ускоряет принятие решений в production-средах.
