Обучение автономных ИИ-агентов на масштабных инженерных задачах традиционно упирается в вычислительный тупик: пока модель часами взаимодействует со средой и генерирует миллионные контексты, дорогостоящие графические ускорители простаивают без дела. Команда Alibaba Qwen совместно со специалистами Университета Цинхуа и Научно-технического университета Китая (USTC) предложила архитектурное решение этой проблемы — систему QwenGyre.
В чем сложность многочасовых задач?
Современные программные агенты решают задачи, требующие сотен последовательных шагов и контекстных окон объемом от 700 000 до 1 миллиона токенов на один прогон (rollout). При обучении с подкреплением (RL) в реальном времени возникают два узких места:
- Колоссальные простои мощностей: при совмещенной инфраструктуре этап дообучения зависает в ожидании завершения медленных прогонов, а при асинхронном подходе вычислительные узлы простаивают, пока собирается пакет данных.
- Избыточность путей: ветвление действий, повторные попытки при ошибках и передача подзадач вспомогательным агентам порождают дублирующиеся цепочки, перегружая память кластера.
Архитектура QwenGyre: гибкость и дедупликация
Для преодоления аппаратных задержек авторы внедрили два ключевых компонента:
- Elastic Scheduler (Эластичный планировщик): механизм на лету перераспределяет GPU между генерацией инференс-прогонов и непосредственным обучением модели, не останавливая активные процессы. Потоковая синхронизация исключает перекосы нагрузок в распределенной сети.
- Trajectory Processor (Обработчик траекторий): модуль трансформирует ветвящиеся логи в унифицированные деревья с общими префиксами. Он отсекает дубли, пересчитывает веса повторяющихся токенов и фиксирует частичные успехи агента, даже если задача завершилась аварийной остановкой по таймауту.
Результаты тестов и ускорение до 1,85 раза
Эксперименты показали, что фреймворк демонстрирует значительный прирост производительности без потери качества обучения:
| Сравниваемая конфигурация | Коэффициент ускорения (Speedup) |
|---|---|
| Совмещенное развертывание (Colocated) | от 1,21x до 1,85x |
| Асинхронная схема (Asynchronous) | от 1,38x до 1,78x |
Эффективность подхода подтвердилась на архитектурах Qwen 3.6 122B (в бенчмарках DeepSWE и TerminalBench) и флагманской модели Qwen 3.8 2.4T. При нагрузке порядка 700 000 токенов на прогон крупная модель прибавила 6% точности в репозиторном бенчмарке NL2RepoBench (с 52,5% до 58,5%) всего за 48 шагов обучения.