Реальная скорость спекулятивного декодирования: почему LLM ускоряются не так, как обещают статьи

В научных публикациях о методах спекулятивного декодирования (таких как EAGLE-3) нередко фигурируют цифры ускорения инференса до 6.5 раза без потери качества генерации. Однако при независимом тестировании на реальных сценариях результат может варьироваться от комфортных 2.6x на генерации кода до фактического замедления (0.95x) на нетипичных для модели запросах. Реальный выигрыш определяет не столько сам алгоритм, сколько архитектурные ограничения оборудования и параметры дерева черновиков.

Почему спекулятивное декодирование работает

Генерация текста большими языковыми моделями (LLM) при размере пакета (batch = 1) ограничена пропускной способностью памяти, а не вычислительной мощностью чипа. На каждом шаге модель вынуждена считывать все свои веса из памяти ради получения единственного токена.

Экспериментальные замеры подтверждают эту особенность:

• Проход целевой модели для 1 токена занимает около 44.7 мс.
• Проход для пакета из 192 токенов требует 51.8 мс.
• При 512 токенах время возрастает до 125.6 мс.

Поскольку проверка дерева из нескольких десятков черновых токенов по времени почти не отличается от генерации одного токена, валидация гипотез обходится практически бесплатно. Если из сгенерированного черновика принимается хотя бы несколько позиций, итоговое время генерации снижается.

Результаты тестов на разных типах задач

Эффективность метода измеряется длиной принятия (τ) — средним числом токенов, одобренных основной моделью за один цикл проверки. Тестирование связки из модели Qwen3 и специализированной черновой головы на видеокарте Nvidia T4 показало сильную зависимость ускорения от характера задачи:

Чем более структурирован текст (код, формулы), тем легче черновой модели предугадать дальнейшие шаги основной сети. На свободных диалогах и нетипичных данных точность черновых веток падает, а длина принятия сокращается.

Ловушка глубины дерева черновиков

Построение черновых вариантов не является полностью бесплатным. В отличие от ширины дерева (которая проверяется параллельно за один проход), каждый уровень глубины требует дополнительного последовательного запуска черновой модели.

Домен данных определяет максимальный потенциальный выигрыш, а избыточная глубина дерева определяет риск уйти в минус по производительности.

Если черновая модель генерирует слишком глубокое дерево (например, глубиной 7–10 шагов) при низкой точности угадывания, суммарное время на построение отвергнутых цепочек начинает превышать экономию от проверки. Настройка неглубокого дерева (глубина 2) позволяет ликвидировать просадку на сложных данных, поднимая производительность до 1.04–1.10x даже при невысокой длине принятия.

Почему масштабирование модели не дает ожидаемого рывка

Распространено мнение, что на более крупных целевых моделях спекулятивное декодирование работает эффективнее из-за относительно низкого веса черновой головы. Однако эксперименты с переходом от 1.7B к 4B параметрам показывают, что черновая голова также увеличивается в размерах (с 137M до 218M параметров из-за роста скрытой размерности). В результате абсолютное время чернового шага возрастает, и итоговое ускорение остается практически на том же уровне.

Чек-лист для оценки заявлений об ускорении LLM

При анализе бенчмарков производительности инференса следует учитывать ключевые факторы:

1. Базовый уровень сравнения: замер относительно неоптимизированного цикла часто маскирует накладные расходы фреймворка под видом чистого выигрыша алгоритма.
2. Размер батча: максимальный эффект спекуляции проявляется только при batch = 1. При больших батчах вычислительные блоки GPU уже утилизированы, и выигрыш резко снижается.
3. Специфика данных: чужие показатели ускорения не переносятся автоматически на задачи с другой лексической структурой.
4. Конфигурация черновика: форма и глубина дерева должны калиброваться под конкретную видеокарту и доменную область.