Когда корпоративный ИИ-ассистент начинает галлюцинировать, разработчики первым делом пытаются обновить языковую модель или расширить окно контекста. Практика показывает, что это тупиковый путь: согласно исследованиям, около 73% сбоев RAG-систем происходят исключительно из-за некачественного слоя извлечения данных (retrieval), а в 40% инцидентов нужный фрагмент вовсе не доходит до генератора.
Иллюзия о том, что мощная модель разберется в гигантском объеме сырого текста, опровергнута исследованием RAGGED. Современные нейросети уровня Claude или LLaMA достигают пиковой точности всего на 5 релевантных чанках. При дальнейшем раздувании промпта качество ответов стремительно падает из-за эффекта «потери в середине» (Lost in the Middle), когда важные детали растворяются в информационном шуме.
Шесть слабых звеньев в поисковом конвейере
Построение надежного решения требует точечной изоляции проблем на каждом этапе подготовки данных:
- Слепое деление на чанки. Жесткая нарезка документов по 512 токенов неизбежно разрывает логические связи: заголовки отделяются от текста, а сложные таблицы превращаются в бессмысленный набор строк. Решение — парсинг с сохранением иерархии документа, вынесение таблиц в отдельные конвейеры и обогащение фрагментов контекстными метаданными (методика Anthropic снижает число промахов выборки до 67% в связке с реранкингом).
- Семантический разрыв. Векторная близость не гарантирует совпадения намерений. Пользовательский запрос «как вернуть деньги» и официальный регламент «Политика компенсаций» могут иметь низкую косинусную близость. Проблема решается гибридным поиском (объединение эмбеддингов и алгоритма BM25 через формулу Reciprocal Rank Fusion), а также генерацией гипотетических ответов через HyDE.
- Слепая вера в высокий top-k. Увеличение количества возвращаемых фрагментов размывает фокус модели. Если поисковый recall опускается ниже 85%, замена LLM бессмысленна — сначала необходимо стабилизировать слой поиска.
- Многошаговые рассуждения (Multi-hop). Стандартный векторный поиск не способен связать факты из нескольких несвязанных документов в одну логическую цепочку. Для таких сценариев необходим агентный подход с пошаговой итерацией либо графовые базы данных (GraphRAG).
- Устаревание информации. Без строгого версионирования и фильтрации по датам система будет выдавать противоречивые или неактуальные регламенты, что несет прямые юридические риски для бизнеса.
- Путаница в сущностях. Одно и то же лицо или продукт может фигурировать под разными именами и аббревиатурами. Базовый векторный поиск фрагментирует эти данные, поэтому требуется предварительное выделение сущностей на этапе индексации.
Когда RAG противопоказан
Попытка использовать поиск по векторным базам для вычислений, агрегаций и работы с базами данных — грубая архитектурная ошибка. Запросы вроде «выгрузи клиентов с определенным скорингом за квартал» требуют Text-to-SQL или семантического слоя аналитической СУБД. Поисковые детекторы пропускают до 43% вычислительных ошибок, поскольку текстовые модели не предназначены для строгой математической валидации таблиц.
Метрики для аудита системы
Чтобы понять, на каком именно этапе деградирует качество, используют три базовых показателя:
- Context Relevance: отражает процент действительно полезного контекста среди всех извлеченных фрагментов (проверяет чанкинг и реранкер).
- Context Recall: фиксирует, удалось ли поисковику доставить фрагмент, содержащий правильный ответ.
- Groundedness: оценивает, насколько финальный ответ модели подкреплен найденным контекстом, исключая чистые галлюцинации генератора.
Для регулярного тестирования промптов и оценки точности по этим метрикам на пуле разных LLM-судей удобно задействовать унифицированные шлюзы, такие как API Спешу АИ, позволяющий без сложной инфраструктуры переключаться между сотнями нейросетей в рамках одного счета.
Концепция наивного RAG образца 2023 года окончательно уступила место сложной поисковой инженерии. В 2026 году надежность ассистента определяется не размером контекстного окна модели, а точностью структурной фильтрации, гибридного поиска и пост-ранжирования документов.