Исследователи Epoch ИИ проанализировали динамику лидерства среди языковых моделей с помощью своего индекса Epoch Capabilities Index (ECI) — композитного показателя, агрегирующего результаты по нескольким бенчмаркам. Согласно данным, опубликованным исследователем Jaeho Lee, модель GPT-4 от OpenAI удерживала первое место в ECI около года, до февраля 2024. Этот срок оказался рекордным: ни одна последующая модель не приблизилась к нему.
После того как Claude 3 Opus от Anthropic сместила GPT-4 с вершины в феврале 2024 года, лидерство менялось 17 раз. Второй по длительности срок показала OpenAI o1 — чуть более трёх месяцев, что составляет менее трети периода правления GPT-4. Медианный срок пребывания на вершине составил около семи недель. Это означает, что конкуренция резко обострилась: разработчики всё быстрее догоняют друг друга, а отрыв лидера от преследователей сокращается.
По мнению Lee, график можно интерпретировать двояко. С одной стороны, он показывает, сколько времени потребовалось конкурентам, чтобы догнать GPT-4 — модель, которая была выбросом по производительности. С другой стороны, он демонстрирует, что с тех пор соревнование стало гораздо интенсивнее. Ни одна модель больше не может удерживать сопоставимый отрыв. Переходы между лидерами происходят быстрее, а скачки производительности стали меньше по сравнению с эпохой GPT-4 и временем после появления reasoning-моделей вроде o1-preview осенью 2024 года.
Ускорение цикла смены лидеров — естественное следствие зрелости рынка. Когда все ведущие лаборатории (OpenAI, Anthropic, Google DeepMind, Meta) выпускают модели сопоставимого качества, стратегия «быстрый релиз и итерация» становится более эффективной, чем попытки создать единственный мощный продукт. Для пользователей это означает постоянный приток улучшений, но и увеличивает сложность выбора «лучшей» модели — её статус может измениться в течение пары месяцев.
