Библиотека transformers скачана более миллиарда раз и служит эталоном реализаций языковых моделей для всей отрасли. Именно из неё разработчики других фреймворков — в том числе mlx-lm от Apple — берут архитектурный код при портировании новых моделей. Hugging Face решил автоматизировать этот процесс с помощью так называемого Skill: текстового файла с инструкциями, который направляет ИИ-агента через всю цепочку — от поиска модели на Hub до открытия pull request.
Skill — это не магия и не отдельный продукт. По сути, это структурированный промпт, который обеспечивает воспроизводимость: каждый запуск следует одному и тому же процессу, тогда как разные люди промптили бы агента по-разному. Агент, получив задачу вроде «перенеси архитектуру olmo_hybrid в MLX», разворачивает виртуальное окружение, скачивает нужные чекпоинты, читает исходный код transformers, пишет реализацию для mlx-lm и запускает батарею тестов. Если результаты расходятся, агент отлаживает и итерирует — и не считает задачу выполненной, пока не удовлетворён результатом. Сам Skill был написан в диалоге с Claude: авторы попросили его портировать GLM 4.7, предварительно удалив из репозитория mlx-lm уже существующую реализацию — чтобы сравнить вывод агента с эталоном.
Отдельного внимания заслуживает то, что именно проверяет агент. Послойное сравнение выходов transformers и MLX позволяет точно локализовать расхождение. Проверка RoPE-конфигураций закрывает один из самых частых источников трудноуловимых багов при портировании. Определение dtype из метаданных safetensors нужно потому, что конфиг модели не всегда явно указывает тип данных. Это именно те проверки, которые делает опытный контрибьютор — и которые агент без специальных инструкций пропустил бы.
Объём PR в крупных open-source проектах вырос в десять раз из-за агентов, число мейнтейнеров — нет.
Контекст, в котором появился этот инструмент, не менее важен, чем сам инструмент. По словам авторов, объём PR в крупных open-source проектах вырос примерно в десять раз — потому что любой человек с агентом может найти открытый issue, попросить агента его закрыть и отправить PR. Число мейнтейнеров при этом не выросло и не может расти пропорционально: координация команды не масштабируется линейно. Каждый PR всё равно читает живой человек, который должен понять дизайн-решение, найти побочные эффекты и написать обратную связь.
Проблема агентных PR не только в объёме. Кодовая база transformers строится как средство коммуникации между людьми: файлы моделей читаются сверху вниз, без сложных абстракций, с плоскими иерархиями. Агенты не имеют этого контекста. Они предлагают рефакторинг, следуя «лучшим практикам», не замечая, что ломают неявные контракты библиотеки с её пользователями. Они многословны, обобщают раньше времени, не отслеживают, как изменение в одном месте влияет на другое, и соглашаются с любой идеей — включая те, которые мейнтейнер отклонил бы одним коротким комментарием.
Skill от Hugging Face пытается решить эту проблему системно. PR, открытый с его помощью, всегда содержит явную пометку об агентной генерации. В теле PR — отчёт с описанием вариантов модели и их архитектурных различий, примеры генерации, численные сравнения, верификация dtype и послойные сравнения с baseline из transformers. Код следует конвенциям mlx-lm: без лишних комментариев, без спекулятивных абстракций, без изменений в общих утилитах без явного согласования. Наконец, Skill не открывает PR до тех пор, пока контрибьютор не одобрил результаты вручную. Для независимой проверки агент генерирует тестовый манифест, который запускается отдельным детерминированным харнессом — без участия LLM и без риска галлюцинаций.
