Электронные сертификаты подтверждения ИТ-навыков от HeadHunter, синхронизированные с Госуслугами, рискуют потерять всякое доверие рекрутеров. Эксперимент отечественного разработчика продемонстрировал, что защитные барьеры платформы легко обходятся открытыми нейросетями семейства Qwen, развернутыми локально через LM Studio.
В чем уязвимость системы оценки
Главная защита встроенного тестирования hh.ru сводится к контролю активности вкладки браузера: при потере фокуса или переключении на другое окно попытка аннулируется. Подобный механизм разрабатывался до бума генеративного ИИ и совершенно не защищает от фоновой автоматизации.
Для обхода ограничения автору исследования потребовался базовый инструментарий:
- Пользовательский скрипт для браузера через расширение Tampermonkey, парсящий текст заданий и варианты ответов прямо из DOM-дерева страницы в реальном времени.
- Локальный сервер на Python, принимающий данные от скрипта и перенаправляющий их в API локального LLM-рантайма.
- Специальный системный промпт, требующий от нейросети отвечать строго номером и текстом варианта, без пространных объяснений и долгих циклов самопроверки.
В такой связке пользователь остается на активной вкладке тестирования, тогда как в соседнем окне терминала модель выдает правильный вариант для ручного выбора.
Как справились модели семейства Qwen
Тестирование проводилось на вопросах разной сложности, включая темы по Git и объектно-ориентированному программированию (ООП). Для сравнения использовались модели различных весовых категорий:
- Крупная модель Qwen 27B: несмотря на сравнительно невысокую скорость инференса (около 6 токенов в секунду на потребительском «железе») и отключенный режим углубленных рассуждений, стабильно преодолевала проходной порог.
- Компактные модели 7–9B: успешно сдали большинство тестов, причем версия на 9 млрд параметров продемонстрировала способность проходить квалификацию даже при запуске исключительно на процессоре и оперативной памяти без дискретного ускорителя.
- Предыдущее поколение (Qwen 2.5): оказалось наименее надежным и допустило наибольшее количество ошибок на усложненных вопросах.
Основной проблемой компактных LLM оказалось соблюдение формата вывода. Нейросети периодически игнорировали запрет на рассуждения, путали номера с текстом ответов или выводили номер одного пункта вместе с формулировкой другого.
Конец эпохи теоретических тестов
Итоги испытания подтверждают: любые закрытые тесты с выбором одного варианта из списка больше не отражают реальный уровень инженера. Пройти валидацию можно не только через локальный софт, но и с помощью смартфона с камерой и любой мультимодальной нейросетью.
В ближайших планах автора — проверить стойкость платформы против автономных ИИ-агентов на практических задачах по написанию кода (Java и C++), а также протестировать распознавание аудиопотока на аудировании по английскому языку.