Когда новая языковая модель набирает рекордные 94% на сложных тестах вроде GPQA Diamond, разработчики и маркетологи спешат заявить об «интеллекте уровня PhD». Однако с точки зрения формальной логики это грубая ошибка: тысячи успешно решенных задач лишь увеличивают вероятность надежной работы на конкретной выборке, но не доказывают наличие универсального навыка рассуждения.
Логическая асимметрия: правило Дейкстры для больших моделей
В основе проблемы лежит фундаментальная логическая асимметрия, известная в программировании еще со времен Эдсгера Дейкстры: тестирование позволяет обнаружить присутствие дефектов, но принципиально не способно доказать их полное отсутствие. Для опровержения общего суждения достаточно одного воспроизводимого контрпримера, тогда как миллион успешных тестов общее суждение доказать не может.
При оценке LLM исследователи часто совершают два нелегитимных перехода:
- От выборки к распределению: предполагается, что успех на наборе тестов гарантирует стабильность на всем классе аналогичных задач. Это работает только при условии, что задачи не попали в обучающую выборку (data contamination).
- От распределения к общей способности: демонстрация паттернов рассуждения в тестах ошибочно приравнивается к способности мыслить в любых нестандартных условиях.
Со временем ценность подтверждающих бенчмарков падает из-за утечки данных и подгонки моделей под лидерборды, в то время как валидный контрпример сохраняет свою доказательную силу всегда.
Как контрпримеры разрушают иллюзию мышления
Смещение фокуса с накопления успешных кейсов на активный поиск сбоев — главный тренд надежного тестирования нейросетей. Яркий пример показало исследование Apple (GSM-Symbolic): добавление в стандартные школьные задачи GSM8K совершенно незначительной детали (например, упоминания размера фруктов при подсчете урожая) обрушило точность сильных моделей на 17–40 процентных пунктов, а более слабых — на 65%.
Для целенаправленного поиска таких слабых мест сегодня применяются:
- Метаморфное тестирование: проверка устойчивости вывода при внесении незначительных изменений в условие задачи.
- Фаззинг и состязательный поиск (Red Teaming): генерация краевых сценариев людьми или специализированными моделями (как в платформе Dynabench).
- Статистические гарантии: использование конформных предсказаний и сертифицированной робастности для оценки доверительного интервала в окрестностях входных данных.
Смена парадигмы: от тестирования модели к верикодингу
Поскольку классические нейросети невозможно специфицировать и верифицировать целиком из-за их масштаба и непрозрачности, индустрия нашла выход в нейросимволическом подходе. Вместо попыток доказать общую «надежность модели» валидируется каждый конкретный результат генерации.
В генерации программного кода это привело к концепции верикодинга: нейросеть формирует решение вместе с доказательством, а строгий внешний верификатор либо принимает артефакт, либо бракует его. Это позволяет обойти ограничения эмпирического тестирования и получить математически обоснованные гарантии работы системы.
Матрица утверждений и типичных ошибок при оценке ИИ
| Утверждение | Корректное обоснование | Типичная ошибка интерпретации |
|---|---|---|
| Модель показала X% верных ответов на тестовом датасете | Фактический прогон тестов | Игнорирование утечки тестов в обучающий датасет |
| Частота ошибок на данном распределении ниже заданного порога | Статистическая оценка независимой выборки | Перенос выводов на принципиально другие задачи |
| Система гарантированно соблюдает свойство для всех входов класса | Формальное математическое доказательство | Подмена доказательства высоким баллом в бенчмарке |
| Каждый выданный системой ответ корректен | Проверка каждого результата независимым верификатором | Экстраполяция единичной верификации на свойства всей модели |
| Модель обладает общей компетенцией и пониманием задачи | Поведенческими тестами можно только опровергнуть | Вывод о наличии «разума» на основе баллов в бенчмарках |