Заявленный в научных статьях прирост скорости инференса в 6 раз на практике легко превращается в замедление. Разбираемся, как на самом деле работает спекулятивное декодирование и от чего зависит реальный выигрыш.
