Российские LLM в жестких рамках: как жесткий пайплайн делает «Алису» быстрее конкурентов в офисных задачах

Новый взгляд на эффективность LLM в прикладной автоматизации

Ограничение свободы действий языковой модели способно превратить считающиеся базовыми нейросети в эффективный инструмент для бизнеса. К такому выводу пришли разработчики платформы ИИ-агентов VibePilot, протестировав популярные LLM в сценариях создания реальных документов — смет, договоров, многостраничных таблиц Excel и веб-страниц.

Вместо абстрактных тестов на знание олимпиадной математики или написание алгоритмов оценивалась практическая полезность: время создания корректного файла, итоговая стоимость генерации и процент критических сбоев.

Почему классические агенты ошибаются чаще

В типовых открытых агентных циклах нейросеть самостоятельно определяет план действий и вызывает инструменты на каждом шаге. При вероятности успеха отдельного шага в 90% пятиэтапный процесс завершается успешно лишь в 59% случаев, что объясняет индустриальный уровень брака в районе 12–37%.

Инженеры VibePilot применили другой подход — детерминированный конвейер:

• Для таблиц и документов: трехэтапный пайплайн (валидация входных данных, подготовка тела документа, контроль структуры).
• Для веб-разработки: четырехэтапный цикл (анализ ТЗ, выбор технологий, верстка, проверка валидатором).

В такой системе модель освобождена от решения мета-задач и фокусируется исключительно на генерации контента внутри конкретного шага. В результате показатель сбоев удалось удержать на уровне 1,8% по итогам более чем тысячи реальных задач.

Сводные результаты трехмесячного тестирования

В ходе испытаний было обработано 1 198 прикладных пользовательских задач. В рейтинге участвовали как прямые API, так и модели, развернутые в облачной инфраструктуре.

Итоги парных дуэлей на реальных задачах

Тестирование в режиме реального времени показало специфику поведения разных архитектур:

• Смета на ремонт (Word/Excel): Alice AI LLM сформировала структурированный расчет за 19 секунд (2 запроса к API), тогда как модели Qwen3-235B потребовалось 1 мин 27 сек и 5 итераций из-за необходимости исправлять ошибки валидации.
• Сводная таблица с формулами (Excel): DeepSeek V4 применил формулы =B2/$B$7 на всех вспомогательных листах за 46 секунд, а YandexGPT 5 Pro выдал результат вдвое быстрее (20 секунд), но выполнил условие по долям только на финальном листе.
• Коммерческое предложение: GigaChat 2 Max создал лаконичный черновик за 3 мин 48 сек (потребовалось 8 обращений и один повтор из-за ошибки), в то время как «Алиса» за 45 секунд подготовила развернутый двухстраничный документ с детальным графиком платежей.
• Создание сайтов: в многоэтапной сборке HTML/CSS первенство удерживает YandexGPT 5 Pro (1 мин 25 сек против почти 5 минут у Qwen3-235B).

Практические выводы для внедрения ИИ

Исследование продемонстрировало две важные закономерности для корпоративного применения нейросетей:

1. Провайдер имеет значение: производительность одной и той же архитектуры (например, DeepSeek V4) существенно различается в зависимости от точки вызова — инференс через сторонние облака может работать медленнее прямого шлюза из-за очередей и настроек инфраструктуры.
2. Склонность к лаконичности: отечественные LLM часто упрощают итоговый ответ при абстрактном запросе. Однако при четком перечислении всех необходимых разделов в промпте разница в качестве генерации нивелируется, а преимущество по скорости и стоимости остается на стороне локальных моделей.