Исследователи «Яндекса» представили на международной конференции по машинному обучению ICML 2026, которая пройдет в Сеуле, серию научных работ. Все они приняты в основную программу конференции. Разработки охватывают ключевые задачи ИИ-индустрии: эффективное использование вычислительных ресурсов, ускорение обучения моделей, работу со сложными данными и снижение зависимости от дорогостоящей ручной разметки.
Одно из исследований касается графовых нейросетей — моделей, анализирующих связи между объектами. Инженеры «Яндекса» разработали программные модули, позволяющие эффективнее использовать память видеокарт. В экспериментах это дало ускорение вычислений до 8,5 раза, сокращение пикового потребления памяти до 76 раз, а отдельных операций — в 3,9–10 раз. Код модулей опубликован в открытом доступе. Работа получила статус Spotlight — его присваивают только 2,2% поданных статей (536 работ в 2026 году).
| Направление | Результат |
|---|---|
| Графовые нейросети | Ускорение до 8,5x, снижение памяти до 76x, операции 3,9–10x |
| Асинхронное обучение MoE | Качество идентично синхронному на моделях 10B параметров |
| Алгоритмы оптимизации | SoftSignum и SoftMuon превосходят AdamW |
| GraphPFN | Предобучена на 1,6 млн синтетических графов |
Другое исследование посвящено ускорению обучения больших языковых моделей (LLM). При конвейерном параллелизме видеокарты простаивают в ожидании других. Асинхронные схемы устраняют эти простои, но считалось, что из-за задержки градиентов они нестабильны для LLM. Исследователи «Яндекса» показали, что проблема не в задержке, а в выборе алгоритма оптимизации: классический AdamW чувствителен к устаревшим градиентам, тогда как современные методы вроде Muon устойчивы. Внедрив легковесную коррекцию на основе Error-Feedback, они добились того, что на моделях Mixture of Experts (MoE) размером 10 млрд параметров, обученных на 200 млрд токенов, асинхронный метод достиг качества, идентичного синхронному обучению.
Асинхронный метод конвейерного параллелизма достиг качества, идентичного синхронному обучению на моделях MoE размером 10 млрд параметров.
Еще в одной работе «Яндекса» предложены два новых алгоритма оптимизации — SoftSignum и SoftMuon. Эти алгоритмы определяют, как модель обновляет параметры во время обучения. В экспериментах они стабильно превосходили несколько распространенных подходов, включая AdamW.
Для задач с графами разработана модель GraphPFN, предварительно обученная более чем на 1,6 млн синтетических графов. Она показывает высокое качество даже без дополнительной настройки, а после адаптации под конкретную задачу превосходит все рассмотренные в работе подходы на большинстве реальных наборов данных. Это позволяет быстрее создавать модели для новых задач и требует меньше данных для обучения.
Также авторы показали, что современные нейросети лучше работают с таблицами, если учитывают неопределенность в данных, и предложили эффективный способ представления числовых признаков. Для случаев, когда качественной разметки недостаточно — особенно в медицине, промышленности и других областях, где разметка требует экспертов, — «Яндекс» совместно с другими исследователями предложил подход, использующий небольшое количество размеченных данных вместе с большим объемом неразмеченных. Это снижает затраты на разметку.
Отдельная работа посвящена поисковым и рекомендательным системам. Новый метод помогает заранее отбирать наиболее подходящих кандидатов для последующей точной оценки, сокращая вычислительные затраты. Все представленные методы можно использовать при создании современных ИИ-систем.
