MiniMax готовит открытую модель на 2,7 триллиона параметров

Китайский ИИ-стартап MiniMax работает над новой языковой моделью с 2,7 триллиона параметров, которая, по данным The Information, будет выпущена с открытым исходным кодом. Внутреннее название модели — M3 Pro, хотя оно может измениться к моменту релиза, ожидаемого не ранее третьего квартала. Текущая флагманская модель компании, M3, имеет 428 миллиардов параметров — это в шесть с лишним раз меньше. Модели большего размера, как правило, лучше справляются с задачами, требующими сложных рассуждений и многошаговых инструкций, однако масштабирование сопряжено с ростом требований к вычислительным ресурсам и данным для обучения.

Параметры в нейросетях — это настраиваемые веса, определяющие поведение модели. Увеличение их числа позволяет модели запоминать больше паттернов, но не гарантирует пропорционального улучшения качества без соответствующей архитектуры и данных. MiniMax, как и другие китайские компании, активно масштабирует свои модели, чтобы конкурировать с глобальными игроками.

Открытые китайские модели в этом году набирают популярность среди разработчиков, особенно тех, кому нужны недорогие решения для обработки больших объёмов второстепенных задач. MiniMax конкурирует с Zhipu, DeepSeek и Moonshot ИИ. Однако, по слухам, китайское правительство намерено ужесточить контроль над будущими релизами подобных моделей, что может повлиять на планы MiniMax. Если M3 Pro выйдет, он станет крупнейшей открытой моделью среди китайских аналогов. Вопрос в том, насколько широко такая модель будет доступна с учётом потенциальных регуляторных ограничений. Кроме того, запуск модели с 2,7 триллиона параметров требует значительных вычислительных ресурсов, что может ограничить её использование для большинства разработчиков. Тем не менее, сам факт работы над моделью такого масштаба указывает на продолжение гонки за размером в индустрии ИИ.