Пока Anthropic не открыла массовый доступ к Mythos, первые независимые оценки её возможностей появились от трёх источников: британского AI Security Institute (AISI), технoblогера Дрю Брюнига и компании по кибербезопасности Aisle. Картина, которую они рисуют, заметно спокойнее официальных заявлений разработчика — но и не снимает вопросов.
AISI три года тестирует языковые модели на задачах информационной безопасности и фиксирует постепенный рост их способностей. Mythos вписывается в этот тренд, но устанавливает новую планку: модель решила 73% задач из набора экспертного уровня — результат, которого раньше не достигала ни одна система. Ещё год назад модели с такими заданиями не справлялись вообще. На «лёгких» CTF-заданиях разрыв между моделями уже почти исчез — там большинство систем приближается к 100%.
Отдельный тест — «The Last Ones» — симулирует атаку на корпоративную сеть и требует последовательно выполнить 32 шага. Ни одна модель прежде не проходила его полностью. Mythos справилась в 3 попытках из 10. AISI оговаривается, что реальные атаки сложнее: тест не воспроизводит все защитные системы, которые встречаются в боевых условиях.
На прохождение теста модели требовалось до 100 млн токенов, что делает её практическое применение дорогостоящим.
Дрю Брюниг обратил внимание на деталь, которую AISI и Anthropic почти не обсуждают: для прохождения теста модели выделяли до 100 млн токенов, причём заметная часть прогресса происходила уже после 50 млн. Это прямо влияет на доступность инструмента. Mythos — дорогая модель, и возможность гонять её в таких объёмах есть далеко не у каждого. Брюниг формулирует это как «битву кошельков»: чтобы защититься, нужно тратить на ИИ-аудит больше, чем потенциальный атакующий готов потратить на взлом. Он также считает, что это играет на руку крупным open-source проектам, за безопасность которых платят корпорации с серьёзными бюджетами, — самодельным решениям с ними конкурировать сложнее.
Aisle подошла к вопросу иначе и попробовала воспроизвести результаты Mythos с помощью небольших открытых моделей. Формально это удалось — уязвимости из списка Anthropic были найдены. Но принципиальное различие в методологии: Aisle подсказывала моделям, на что смотреть, тогда как Mythos, по утверждению Anthropic, анализирует файлы проекта последовательно и самостоятельно, без наводок. Эксперимент Aisle критикуют за это, однако компания делает и другое наблюдение: задачи кибербезопасности не монолитны. Их можно разбивать на подзадачи и поручать разным моделям — в том числе небольшим и дешёвым, которые в отдельных узких задачах показывают сильные результаты.
Общий вывод из трёх текстов совпадает: шумиха вокруг Mythos преувеличена, но не беспочвенна. Модель не делает кибератаки доступными «для всех» — стоимость использования остаётся барьером. Однако тренд на рост способностей ИИ в этой области устойчив, и следующие модели будут сильнее. AISI рекомендует небольшим компаниям не ждать: они окажутся под ударом первыми, а базовые защитные меры, давно известные в отрасли, по-прежнему внедрены далеко не везде. Брюниг добавляет, что разработка ПО теперь потребует отдельного этапа — ИИ-проверки на уязвимости, — и его глубина будет определяться бюджетом проекта.
