Компания Tencent представила открытую языковую модель Hy3, использующую архитектуру Mixture-of-Experts (MoE). Общее число параметров составляет 295 млрд, из которых в каждый момент активны 21 млрд, а также дополнительный слой MTP с 3,8 млрд параметров. Модель способна обрабатывать контекст длиной до 256 000 токенов.
По заявлениям Tencent, Hy3 демонстрирует производительность, сопоставимую с моделями в 2–5 раз большего размера. Внутренние тесты показали снижение частоты галлюцинаций с 12,5% до 5,4%. В слепом тестировании с участием 270 экспертов Hy3 набрала 2,67 балла из 4, опередив модель GLM-5.1 с результатом 2,51 балла.
Hy3 распространяется под лицензией Apache 2.0 и доступна на платформах Hugging Face, ModelScope и GitHub. Компания также выпустила FP8-квантованную версию. В планах — поддержка платформ OpenRouter и Cline. Модель уже встроена в ряд продуктов Tencent: WorkBuddy, Yuanbao, WeChat и игровой помощник для Path of Exile: Advent.
Модель обрабатывает контекст до 256 000 токенов и доступна под лицензией Apache 2.0.
Архитектура Mixture-of-Experts позволяет эффективно масштабировать модели, активируя только часть параметров для каждого токена. Hy3 — не единственная открытая MoE-модель, однако её ключевое отличие — соотношение производительности к активному размеру. Если заявленные характеристики подтвердятся независимыми тестами, это может сделать модель привлекательной для развёртывания в средах с ограниченными вычислительными ресурсами. Следует учитывать, что результаты слепого тестирования основаны на субъективных оценках экспертов, и независимая верификация на стандартизированных бенчмарках пока не опубликована.
