#Инференс
Бенчмарк Decision Models на русском языке: как специализированные ИИ-архитектуры вытесняют классические LLM
Большое тестирование 12 моделей принятия решений на 5000 русскоязычных задач показало превосходство локальных открытых весов над облачными гигантами: точность достигла 98,14%, а скорость работы энкодеров — до 15 мс.
Эволюция Attention в LLM: как инженеры разгоняют контекст до миллионов токенов
Разбираем, почему эпоха чистого Multi-Head Attention ушла в прошлое и как связка из MLA, обучаемого разрежения, сжатия истории и FlashAttention 4 позволяет моделям эффективно обрабатывать сверхдлинные контексты.
NVIDIA и более 100 партнеров запускают открытую платформу для обеспечения безопасности ИИ-агентов
NVIDIA представила открытую платформу безопасности ИИ-агентов с более чем 100 партнерами. Решение использует песочницу времени выполнения OpenShell и аппаратный мониторинг BlueField для остановки агентов от побега из-под контроля или отклонения от намеренных действий.
Соавтор ChatGPT создал модель Jev: мгновенные типизированные решения вместо генерации текста
Стартап TypeSafe представил специализированную ИИ-модель Jev. Она заменяет медленные диалоговые LLM в программном коде на параллельную обработку данных с детерминированным результатом.
Скорость генерации LLM на Apple M6, M5 Pro, Max и Ultra: детальный расчет производительности
Анализ пропускной способности памяти новых процессоров Apple Silicon позволяет заранее точно оценить скорость работы локальных нейросетей — от компактных Llama до 671-миллиардной DeepSeek V3.
Реальная скорость спекулятивного декодирования: почему LLM ускоряются не так, как обещают статьи
Заявленный в научных статьях прирост скорости инференса в 6 раз на практике легко превращается в замедление. Разбираемся, как на самом деле работает спекулятивное декодирование и от чего зависит реальный выигрыш.