10 триллионов скачиваний в год: как open-source репозитории пытаются выжить

Каждый раз, когда разработчик запускает сборку проекта, его инструменты автоматически обращаются к публичным реестрам пакетов — Maven Central, PyPI, npm, RubyGems, Crates.io — и скачивают зависимости. Умножьте это на миллионы CI/CD-пайплайнов, работающих круглосуточно, добавьте сканеры безопасности и системы ИИ, которые индексируют код машинными темпами, — и получите 10 триллионов скачиваний в год. Для сравнения: Google обрабатывает около 5 триллионов поисковых запросов ежегодно. Разница в том, что Google — корпорация с многомиллиардной выручкой, а большинство реестров существуют на пожертвования и труд добровольцев.

CTO Sonatype Брайан Фокс, курирующий Maven Central, описал конкретную аномалию: 82% нагрузки на реестр создаёт всего 1% IP-адресов. Компании используют репозитории как CDN — скачивают одни и те же артефакты сотни тысяч раз в день, не кешируя их локально. Это не злой умысел, а следствие того, что инфраструктура воспринимается как бесплатная и бесконечная. «Открытые реестры больше не пассивные точки раздачи. Они — операционно и критически важные системы, стоящие на пути почти каждой современной сборки программного обеспечения», — сформулировал Фокс.

Чтобы системно решить проблему, Linux Foundation учредила рабочую группу Sustaining Package Registries Working Group. В неё вошли Alpha-Omega, Eclipse Foundation (OpenVSX), OpenJS Foundation, OpenSSF, Packagist, Python Software Foundation, Ruby Central (RubyGems) и Rust Foundation (Crates). Задача группы — выработать общие подходы к финансированию, управлению и защите реестров, вместо того чтобы каждый оператор в одиночку придумывал способ выжить.

Рабочая группа выделила четыре направления работы. Первое — экономическая устойчивость: нужны модели финансирования, которые реально покрывают инфраструктуру, зарплаты сотрудников и управленческие расходы, а не держатся на «героическом волонтёрстве и нескольких корпоративных логотипах». Второе — коллективная защита: координация практик безопасности между реестрами, чтобы быстрее обнаруживать атаки, которые сами злоумышленники давно автоматизировали. Третье — управленческие стандарты: единые политические и правовые рамки, позволяющие вводить платные модели, не разрушая сообщества. Четвёртое — просвещение: компании и регуляторы должны наконец понять реальную стоимость этой инфраструктуры.

Контекст важен: реестры пакетов давно перестали быть просто файловыми хранилищами. Через них проходит цепочка поставок программного обеспечения для банков, больниц, облачных платформ и государственных систем. Инцидент с Log4Shell в 2021 году наглядно показал, что уязвимость в одной библиотеке из Maven Central способна затронуть сотни тысяч продуктов по всему миру. Если реестр упадёт — не из-за атаки, а просто потому что у него закончились деньги на серверы, — масштаб сбоя будет сопоставим. Кристофер Робинсон из OpenSSF описал ситуацию прямо: «Темп потребления, публикации и атак ускоряется, и управление этими системами должно эволюционировать вместе с ним».

По данным Linux Foundation, сегодня реестры держатся на двух опорах: инфраструктурных донациях от крупных технологических компаний и работе небольших оплачиваемых команд, которые сами финансируются из грантов и пожертвований. Основная часть средств поступает от узкого круга доноров и не масштабируется вместе с нагрузкой. Рабочая группа не предлагает готового решения — её цель на первом этапе создать нейтральную площадку, где операторы смогут открыто обсуждать деньги и политику, не конкурируя друг с другом за одних и тех же спонсоров.