Сбер открыл код флагманской модели GigaChat 3.5 Ultra. Модель содержит 432 млрд параметров — меньше, чем 700 млрд у предшественника GigaChat 3.1 Ultra, но, по заявлению разработчиков, превосходит его по качеству за счёт новой гибридной архитектуры и улучшенного обучения. Компания опубликовала подробности в блоге на Habr.
Архитектура модели основана на совмещении слоёв Multi-Head Latent Attention (MLA) с GatedDeltaNet, а также включает стабилизирующие механизмы, позволившие устойчиво обучать такую конфигурацию на масштабе сотен миллиардов параметров. Это — результат более чем 1500 экспериментов. Благодаря новому подходу инференс требует примерно в четыре раза меньше KV-кеша на токен, в ту же память помещается более чем в два раза больше контекста, а пропускная способность (throughput) выросла на 20%. Для ускорения генерации добавлены дополнительные MTP-головы (multi-token prediction), которые ускоряют greedy decoding в 2,2 раза.
Особое внимание уделено данным. В основе pretrain-корпуса — органические тексты, полученные путём LLM-парсинга HTML-документов в чистый Markdown. Это дало прирост на бенчмарках MMLU и MATH. Количество языков программирования в данных увеличено с 16 до более чем 600. Для отбора релевантного контента из веба используются двухуровневые классификаторы: сначала лёгкий fasttext, затем LLM. Итоговый корпус состоит из 52% веба, 16% кода, 6% математики и 26% качественных источников (научные статьи и т.п.). На этапе midtrain применяется синтетика для дообучения на сложных метриках.
Новая гибридная архитектура совмещает MLA-слои с GatedDeltaNet и стабилизирующие механизмы.
Открытие исходного кода такой крупной модели — важный шаг для российского ИИ-сообщества. GigaChat 3.5 Ultra доступен для загрузки и использования, что может стимулировать развитие приложений в кодинге, агентных сценариях и анализе данных. Пока не раскрыты детали сравнения с зарубежными аналогами на независимых бенчмарках, а также стоимость инференса в промышленных масштабах. Тем не менее, архитектурные решения и методология сбора данных представляют интерес как для исследователей, так и для практиков.
