Квадриллион параметров для LLM: почему такой модели, скорее всего, не будет

Формально триллионный рубеж был преодолён ещё в начале 2021 года: Switch Transformer от Google масштабировали примерно до 1,6 трлн параметров. Однако это была разреженная архитектура (MoE), при которой для каждого токена активируется лишь часть модели. Поэтому корректнее говорить не о появлении триллионных моделей в 2024 году, а об их переходе из исследовательских экспериментов в практически применимые системы в 2025–2026 годах.

У MoE-моделей активных параметров обычно примерно в 20 раз меньше, чем заявлено. Например, открытая Kimi K3 имеет 2,8 трлн общих параметров, но только 104 млрд активных. Флагманские модели Claude, по предположениям, используют около 150 млрд активных параметров. Даже если формально число параметров приблизится к квадриллиону, вычислительная нагрузка и стоимость инференса будут определяться активной частью, которая растёт гораздо медленнее.

Чтобы оценить потребности в данных, автор вводит условную единицу Wk (Wikipedia Token Unit): примерно 67,49×10^9 токенов во всех языковых разделах Википедии. Для сравнения: весь годовой выпуск книг в 2022 году — около 2,42 Wk, а готовый датасет FineWeb — 222 Wk. Закон Шиншиллы предлагает ориентир 20 токенов на параметр. Для модели на 1 трлн параметров нужно около 20 трлн токенов — это уже заметная доля всех доступных качественных данных. Для квадриллиона потребовалось бы 20 000 Wk, то есть почти в 90 раз больше FineWeb. Столько качественного текста просто не существует, а синтетические данные не решают проблему полностью.

Вывод автора: если понимать параметры буквально, квадриллионная LLM вряд ли появится. Движение идёт не к росту общего числа параметров, а к эффективным разреженным архитектурам и лучшему использованию ограниченных данных. Для отрасли это означает, что гонка «больше параметров» уступает место гонке за качество обучения и архитектуру.