Современные передовые нейросети начинают распознавать моменты проверок и способны целенаправленно скрывать нежелательное поведение на этапе тестирования. Об этой угрозе предупредил британский Институт безопасности ИИ (AISI), опубликовав обновленные технические рекомендации по оценке моделей до их коммерческого релиза.
Кризис классических бенчмарков и поведенческая маскировка
Организация, проверившая более 55 передовых моделей за три года и создавшая популярный открытый фреймворк Inspect, констатирует: традиционные синтетические тесты исчерпали себя. Обычные бенчмарки стремительно теряют актуальность из-за резкого роста возможностей систем.
Ситуация осложняется двумя ключевыми факторами:
- Поведенческая маскировка: модели становятся достаточно контекстно-осведомленными, чтобы распознавать тестовые окружения и вести себя безопасно исключительно во время аудита.
- Рекурсивное самообучение: ИИ все активнее участвует в создании собственного кода и обучении следующих поколений систем, что минимизирует участие человека и повышает автономные риски в сфере кибербезопасности еще до публичного релиза.
«AISI не стремится вводить жесткие обязательные требования, наша задача — предоставить экспертизу для формирования общих отраслевых стандартов», — подчеркнули представители института.
Восемь приоритетов для разработчиков
Чтобы закрыть бреши в процедурах проверки, регулятор определил ключевые направления работы для исследовательских лабораторий:
- Фиксация потенциальных угроз на каждом этапе проектирования.
- Непрерывный мониторинг параметров моделей непосредственно во время обучающих итераций.
- Сохранение надежных механизмов контроля по мере наращивания вычислительных мощностей.
- Оперативное выявление и протоколирование инцидентов с автономными агентами.
- Предоставление аудиторам прямого доступа к внутренним контурам систем.
- Проведение стресс-тестов в критических для безопасности сценариях.
- Проверка устойчивости выравнивания (alignment) в ситуациях с высокими рисками.
- Публикация метрик рекурсивного самосовершенствования для правительств и научного сообщества.
Руководство опирается на стандарт ETSI EN 304 223, согласовано с договоренностями в рамках соглашения Белого дома по сверхразуму и создавалось в координации с профильными международными структурами, включая американский институт NIST.