ZML, французский ИИ-стартап, поддерживаемый лауреатом премии Тьюринга Янном Лекуном, выпустил ZML/LLMD — бесплатный инференс-сервер для open-source больших языковых моделей (LLM). Продукт позволяет запускать модели на чипах Nvidia, AMD, Google TPU, Apple Metal и Intel Arc, оптимизируя скорость обработки запросов. По словам основателя Steeve Morin, цель — разрушить вендор-лок и дать предприятиям возможность выбирать чипы исходя из стоимости и энергоэффективности, а не привязываться к одному поставщику.
ZML был основан Morin, бывшим VP of engineering в Zenly (приобретён Snapchat за девять цифр в 2017 году). Стартап привлёк $20 млн от ряда фондов, включая 20VC, LocalGlobe, Kima Ventures и Kindred Capital, а также от индивидуальных инвесторов: основателей Hugging Face, Docker и самого Лекуна. Команда из 20 человек сосредоточена на быстрых релизах. В отличие от предыдущего open-source проекта ZML (ML-фреймворк 2024 года), ZML/LLMD распространяется бесплатно, но без публикации исходного кода. Morin пояснил, что сначала нужно измерить использование, а затем монетизировать, не мешая росту.
| Чип | Производитель | Тип ускорителя |
|---|---|---|
| Nvidia | Nvidia | GPU |
| AMD | AMD | GPU |
| Google TPU | TPU | |
| Apple Metal | Apple | GPU (Metal API) |
| Intel Arc | Intel | GPU |
Рынок инференса переживает «золотую лихорадку»: Baseten оценивается в $13 млрд, конкуренты Inferact (от создателей vLLM) и RadixArk (коммерческая SGLang) частично пересекаются с ZML/LLMD. Однако Morin подчёркивает более широкий охват — его стартап уже участвует в совместном проектировании чипов. Он также отмечает, что ZML помогает европейским производителям чипов (Axelera, Fractile и другим) внедрять инновации. «Я не мог бы делать ZML нигде, кроме Парижа», — заявил Morin.
Стартап собрал $20 млн от 20VC, LocalGlobe, Xavier Niel и других; среди инвесторов — основатели Hugging Face и Docker.
