Исполнение логических ветвлений в программном коде с помощью традиционных чат-ботов уходит в прошлое. Стартап TypeSafe, основанный одним из создателей ChatGPT Диого Алмейдой (Diogo Almeida), вышел из двухлетнего скрытого режима и представил модель Jev. Новинка создана исключительно для принятия структурированных вероятностных решений внутри продакшен-систем без использования генерации текстовых строк.
Отказ от авторегрессии в пользу параллельного сэмплинга
Главная архитектурная особенность Jev — полный отказ от последовательной генерации токенов, характерной для классических языковых моделей. Система принимает неструктурированное состояние на входе и выдает строго типизированные данные за один параллельный запрос.
Такой подход решает фундаментальные проблемы интеграции нейросетей в программную логику:
- Отсутствие галлюцинаций: выходные данные жестко ограничены заданной схемой типов.
- Исключение синтаксических ошибок: отпадает необходимость в парсерах и защитных надстройках над текстом.
- Точная калибровка: вместо привычного обучения через обратную связь с человеком (RLHF), модель обучалась по методике RLCD (Reinforcement Learning for Calibrated Decisions), благодаря чему уровень уверенности модели строго соответствует фактической точности решения.
- Широкий выбор вариантов: внутренний сэмплер способен независимо оценивать и выбирать до 255 дискретных опций.
Скорость и экономика: в сотни раз быстрее и дешевле
Благодаря параллельной аппаратной обработке Jev демонстрирует задержку ответа в пределах 70–500 миллисекунд (в то время как стандартные диалоговые LLM требуют от 3 до 329 секунд). На тестах с фиксированными графами вычислений модель показала ускорение до 193,6 раза по сравнению с передовыми решениями вроде GPT-6 Astra и Fable 5.1.
«Воспринимайте Jev как вызов функции продвинутого интеллекта: на вход подается неструктурированное состояние, на выходе получаются типизированные вероятностные решения», — пояснил основатель TypeSafe Диого Алмейда.
Ценообразование также изменилось за счет архитектуры: стоимость входных данных составляет $0,042 за миллион токенов (против стандартных $0,20–$10), а выходные данные не тарифицируются вовсе, так как модель не расходует ресурсы на авторегрессионный прогон токенов.
Где применяется Jev
Разработчики протестировали модель в экстремальных условиях:
- Игровые боты реального времени: автономный агент в Doom обрабатывал 10 запросов в секунду при затратах около $7 в час.
- Сложная навигация (Wikiracing): модель безошибочно находила кратчайшие пути по справочникам без ухода в ложные ветки.
- Инфраструктурные задачи: извлечение признаков в реальном времени, обработка петабайтных массивов информации и замена хрупких написанных вручную правил ветвления.
В настоящее время TypeSafe открыла ранний доступ к платформе для разработчиков из списка ожидания.