Компания Pathway, специализирующаяся на обработке данных в реальном времени, представила архитектуру BDH (Dragon Hatchling), которая позиционируется как пост-трансформенная модель, способная к непрерывному обучению и рассуждению. Вместо того чтобы генерировать длинные текстовые цепочки рассуждений, как это делают современные LLM, BDH выполняет вычисления в латентном пространстве, обновляя внутреннее состояние модели. Это позволяет модели решать новые задачи без необходимости в тонкой настройке или дообучении.
Трансформеры, лежащие в основе большинства современных языковых моделей, имеют ряд фундаментальных ограничений. Во время обучения они испытывают трудности с систематическим обобщением за пределами обучающих данных, особенно при выполнении длинных цепочек рассуждений. Это требует огромных объемов данных и вычислительных ресурсов. При выводе трансформеры сталкиваются с ограничениями, связанными с фиксированным контекстным окном и растущим KV-кэшем, что ограничивает длину обрабатываемых последовательностей. Кроме того, закрытая природа трансформеров затрудняет интерпретацию их рассуждений, что вызывает опасения по поводу надежности и безопасности в регулируемых отраслях.
Архитектура BDH предлагает альтернативный подход. Она формулирует моделирование последовательностей как локальную динамику графа на сети взаимодействующих нейронных частиц. Модель использует хеббовское обучение, которое позволяет адаптировать состояния в контексте без обновления весов во время тестирования. Это означает, что горизонт рассуждений не ограничен фиксированным размером контекстного окна и не зависит от генерации неэффективных цепочек мыслей.
Модель BDH-CQ обновляет внутреннюю память во время вывода, выполняя итеративные вычисления в рекуррентном латентном состоянии.
Zuzanna Stamirowska, CEO и сооснователь Pathway, отмечает: «Сегодняшний ИИ платит высокую цену за рассуждения, но эта цена навязана архитектурой, а не законами интеллекта. Мы показываем, что другая архитектура меняет правила игры и открывает новое пространство с точки зрения интеллекта на доллар». Модель с 150 млн параметров, построенная на архитектуре BDH, рассуждает рекуррентно в латентном пространстве и устанавливает новый рекорд эффективности на тесте ARC-AGI-1.
Pathway интегрирует BDH с популярными фреймворками, такими как PyTorch, и использует Amazon SageMaker HyperPod для масштабирования обучения. SageMaker HyperPod помогает ученым разделять вычислительные ресурсы устойчивым и экономичным способом. Это позволяет Pathway сосредоточиться на исследованиях, а не на управлении инфраструктурой.
Разработка BDH происходит на фоне растущего интереса к альтернативам трансформерам. Такие архитектуры, как Mamba (State Space Models) и RWKV, также пытаются решить проблемы эффективности и контекстного окна. Однако BDH отличается тем, что делает акцент на биологической правдоподобности, используя принципы хеббовского обучения и локальных взаимодействий между нейронами. Это может быть шагом к созданию моделей, которые не только эффективнее, но и лучше соответствуют принципам естественного интеллекта.
Пока BDH находится на ранней стадии, и предстоит провести дополнительные исследования, чтобы подтвердить ее преимущества на более широком спектре задач. Однако уже сейчас ясно, что поиск альтернатив трансформерам — это не просто академический интерес, а практическая необходимость для снижения вычислительных затрат и повышения интерпретируемости ИИ.
