Согласно отчёту The Information, инженеры Amazon начали дистиллировать модели Anthropic, чтобы создать более компактные и дешёвые версии для внутреннего использования. Дистилляция — это техника, при которой меньшая модель обучается на выходах большой модели, сохраняя значительную часть её производительности при меньших вычислительных затратах. Amazon обладает определёнными правами на использование моделей Anthropic для таких целей, аналогично соглашению Apple с Google Gemini.
Этот шаг связан с пересмотром партнёрства между Amazon и Anthropic. Со следующего года Amazon будет платить за использование моделей Anthropic на основе количества обработанных токенов, а не вычислительных часов. Такое изменение может существенно повысить расходы Amazon, особенно если объёмы использования Claude останутся высокими. Представитель Amazon опроверг возможность роста затрат, а Anthropic указывает на снижение цен относительно производительности своих моделей.
Примечательно, что Amazon предлагает сервис дистилляции на своей платформе Bedrock, однако модели Claude там не поддерживаются — только собственные Nova и Meta Llama. Это означает, что инженерам, вероятно, приходится создавать собственные инструменты для дистилляции. Параллельно Amazon рассматривает альтернативы, включая OpenAI и собственные модели Nova. Ранее в этом году Amazon инвестировала до $25 млрд в Anthropic и до $50 млрд в OpenAI, что подчёркивает стратегическую важность доступа к ведущим ИИ-моделям, но одновременно создаёт давление на себестоимость их использования.
Дистилляция позволяет меньшей модели учиться на выходах большой, сохраняя производительность.
