Главным дефицитом в информационной безопасности открытого ПО стала вовсе не способность обнаружить дефект, а время людей, способных этот баг перепроверить и выпустить релиз. Статистика инициативы компании Anthropic наглядно продемонстрировала этот барьер: появление продвинутых языковых моделей вроде Claude Mythos позволяет генерировать тысячи отчётов об ошибках, однако пропускная способность мейнтейнеров остаётся жестким ограничителем.
Что показала воронка безопасности Anthropic
В профильных медиа разошёлся броский заголовок: нейросеть выявила почти 30 000 уязвимостей, но исправлено было всего 516. Такое сопоставление создает ложное впечатление крайне низкой эффективности (около 1,8%). Однако реальная воронка раскрытия уязвимостей устроена иначе: 516 патчей приходятся на 6 157 отчётов, фактически отправленных разработчикам открытых проектов. Реальный процент исправления переданных багов составляет 8,4%.
Согласно дашборду координированного раскрытия уязвимостей Anthropic, накопленному за полгода работы, процесс разделен на два ключевых этапа.
Этап 1: Фильтрация первичных находок
Модели генерируют колоссальный массив гипотез, но до людей доходит лишь малая часть:
| Стадия проверки | Количество | Доля от общего числа |
|---|---|---|
| Кандидаты от нейросетей | 29 439 | 100% |
| Проверено шестью внешними ИБ-компаниями | 6 123 | 20,8% |
| Подтверждено аудиторами как реальные баги | 5 674 | 92,7% от проверенного |
| Остаются в очереди на анализ | 23 316 | 79,2% |
Этап 2: Реакция мейнтейнеров
Даже подтверждённая уязвимость не означает автоматического появления обновления в апстриме:
| Статус взаимодействия | Количество | Пояснение |
|---|---|---|
| Отправлено разработчикам | 6 157 | Охватывает 591 проект |
| — с отчётом независимого аудитора | 1 333 | 21,6% от переданных |
| — прямым потоком без ручного триажа | 4 824 | 78,4% от переданных |
| Получен ответ от команды проекта | 5 103 | 82,9% откликов |
| Исправлено в апстриме | 516 | 8,4% от отправленных |
| Зарегистрировано идентификаторов безопасности | 584 | Суммарно 219 CVE и 365 GHSA |
Как устроен сервис OSS Scanner
На базе накопленного опыта Anthropic запустила инструмент OSS Scanner, работающий по модели известного проекта OSS-Fuzz от Google. Сервис ориентирован на критически важные для инфраструктуры открытые репозитории, а заявки принимаются через pull request в репозиторий anthropics/oss-scanner.
Ключевые особенности работы сканера:
- Полная изоляция: код анализируется внутри виртуальных машин без сетевого доступа.
- Автогенерация отчёта: участие человека со стороны Anthropic исключено. Модель сама составляет воспроизводимый сценарий, пытается найти виновный коммит через git bisect и формулирует черновик патча.
- Отсутствие жестких ультиматумов: к авторам проектов пока не применяется стандартное 90-дневное окно принудительного публичного раскрытия.
Почему исправлений в разы меньше, чем находок
Разрыв между обнаруженными проблемами и закрытыми тикетами обусловлен спецификой сопровождения открытого ПО, а не только качеством работы нейросетей:
- Фактор времени: цикл подготовки, тестирования и релиза апдейта занимает месяцы. Баг, принятый в работу в начале осени, физически не успевает превратиться в релиз к моменту среза статистики.
- Конфликт моделей угроз: около 93% проверенных внешними фирмами багов технически верны, но часть из них признаётся мейнтейнерами как «won’t fix». Ошибка может находиться в недостижимом коде или за рамками сценариев, которые проект считает опасными.
- Завышение критичности: сторонние аудиторы и авторы проектов нередко снижают уровень угрозы, выставленный моделью. Расхождение связано с тем, что ИИ не всегда точно считывает архитектурный контекст конкретной библиотеки.
- Трудоёмкость интеграции: готовый предложенный патч требует регрессионного тестирования и бэкпортов в поддерживаемые ветки, что ложится дополнительной нагрузкой на плечи авторов ПО.
Несмотря на сдержанный итоговый процент закрытия, представители крупных проектов вроде PostgreSQL, OpenSSL и curl отмечают, что качество автономных ИИ-отчётов кардинально выросло по сравнению с первыми генеративными экспериментами прошлых лет. Теперь они действительно помогают устранять критические дефекты до того, как о них узнают злоумышленники.