Word2vec появился в 2013 году в Google и стал одной из первых моделей, научившихся кодировать смысл слов в виде плотных числовых векторов. Именно она показала, что векторные операции над словами дают осмысленные результаты: «король» − «мужчина» + «женщина» ≈ «королева». Несмотря на широкое использование и влияние на всю последующую архитектуру языковых моделей, математическое описание того, как именно word2vec обучается, до сих пор оставалось неполным — количественной теории динамики обучения не существовало.
Новая работа закрывает этот пробел. Исследователи доказали, что при малых начальных значениях весов модель осваивает представления данных не плавно, а дискретными последовательными шагами. На каждом шаге эмбеддинги «разворачиваются» в новом ортогональном направлении — модель добавляет один новый концепт. Функция потерь при этом снижается ступенчато, а эффективный ранг матрицы весов растёт на единицу за шаг. Процесс продолжается, пока не исчерпана ёмкость модели.
| Собственный вектор | Тематический концепт (Wikipedia) |
|---|---|
| 1-й (старший) | Биографии знаменитостей |
| 2-й | Государственное и муниципальное управление |
| 3-й | Географические и картографические характеристики |
Ключевой результат — аналитическая формула для признаков, которые выучивает модель. Они оказались собственными векторами матрицы M*, элементы которой определяются через вероятности совместной встречаемости пар слов P(i,j) и маргинальные вероятности P(i). Иными словами, зная только статистику корпуса текстов и гиперпараметры алгоритма, можно заранее вычислить, что именно выучит модель — без единого запуска обучения. Это эквивалентно применению метода главных компонент (PCA) к целевой матрице.
Латентные признаки модели — это старшие собственные векторы матрицы, построенной из статистики совместной встречаемости слов в корпусе.
Практическая проверка на данных Wikipedia подтвердила теорию. Первый собственный вектор матрицы соответствует словам из биографий знаменитостей, второй — лексике государственного и муниципального управления, третий — географическим и картографическим терминам. Каждый дискретный «шаг» обучения согласуется с интерпретируемым тематическим концептом — именно так, как предсказывает теория.
Допущения, при которых теория работает, оказались нестрогими: малые начальные веса, небольшой шаг градиентного спуска, аппроксимация целевой функции четвёртого порядка вблизи нуля и ограничения на гиперпараметры. Ни одно из них не касается распределения данных — это принципиально отличает новую теорию от большинства существующих подходов к анализу динамики обучения нейросетей, которые, как правило, требуют конкретных предположений о данных.
Значимость результата выходит за рамки самого word2vec. Большие языковые модели демонстрируют аналогичную линейную структуру внутренних представлений — так называемую гипотезу линейного представления реального мира. Понимание того, как линейные концепты формируются в простейшей нейросетевой языковой модели, открывает путь к аналитическому описанию обучения более сложных архитектур и к новым методам управления поведением современных LLM.
