#Benchmarks
ИИ учится притворяться: британский институт AISI обновил правила оценки передовых нейросетей
Британский институт безопасности искусственного интеллекта (AISI) представил технические рекомендации по тестированию frontier-моделей. Эксперты предупреждают: нейросети уже способны определять факт проверки и маскировать поведение.
Alibaba представила QwenGyre: решение проблемы простоя GPU при обучении сложных ИИ-агентов
Новый фреймворк QwenGyre от исследователей Alibaba, Университета Цинхуа и USTC устраняет вычислительные задержки при обучении автономных агентов на сверхдлинных задачах, ускоряя процесс почти в два раза.
Decision Models Benchmark in Russian: How Specialized AI Architectures Are Replacing Classical LLMs
A large-scale test of 12 decision models across 5,000 Russian-language tasks demonstrated the superiority of local open weights over cloud giants: accuracy reached 98.14%, and encoder inference latency dropped to 15 ms.
Google представила Gemini 4 Argon: возвращение в гонку передовых ИИ-моделей
Новая флагманская нейросеть Gemini 4 Argon обошла ведущих конкурентов в большинстве тестов, однако на старте опробовать ее смогут далеко не все.
Why High Benchmark Scores Do Not Prove AI Intelligence: The Asymmetry Principle in Neural Network Testing
Even a 95% accuracy score on tests does not guarantee that a language model can reason. We explore why a single precise counterexample outweighs a dozen benchmarks in AI evaluation and how the industry is shifting toward vericoding.
Thomson Reuters Spent 40 Million Dollars on a Model That Surpassed Claude Sonnet
Large media holding Thomson Reuters built its own AI model Thomson based on Qwen, which scored 78.5% on aggregated benchmarks and surpassed Claude Sonnet 5. Development took 3 months and 368 GPU B200, total cost — 40 million dollars.
Гонка ИИ ускоряется: Anthropic представила Claude Opus 5.5, а OpenAI ответила моделями GPT-6 Sol и Luna
Anthropic возглавила мировой рейтинг производительности с релизом Claude Opus 5.5, пока OpenAI снижает стоимость вычислений на 50%, создает математический совет в Принстоне, а венчурный фонд a16z запускает собственную академию.
LLM Generation Speed on Apple M6, M5 Pro, Max, and Ultra: Detailed Performance Calculation
Analyzing the memory bandwidth of upcoming Apple Silicon chips allows for accurate advance estimates of local LLM performance — from lightweight Llama models to the massive 671-billion-parameter DeepSeek V3.
The Real Speed of Speculative Decoding: Why LLMs Don't Accelerate as Promised in Papers
The 6x inference speedup claimed in research papers often turns into an actual slowdown in practice. We explore how speculative decoding really works and what drives real-world performance gains.
Russian LLMs within Strict Boundaries: How a Rigid Pipeline Makes Alice Faster than Competitors in Office Tasks
The creators of the VibePilot platform presented an applied benchmark of neural networks in agent scenarios: with a rigid pipeline architecture, Russian language models successfully outperform Chinese counterparts in the speed and cost of generating standard documents.
Гонка ИИ ускоряется: Meta представила Muse Spark 1.3, а Google обновила Gemini до версии 3.8 Flash
Meta выпустила доступную модель Muse Spark 1.3 с почти флагманскими показателями, Google представила Gemini 3.8 Flash, а инсайдеры раскрыли архитектурные новшества готовящейся OpenAI Astra.
Why RecSys Metrics Lie: How Preprocessing Nuances Break Reproducibility and What to Do About It
Developers from Sber AI Lab and AIRI have introduced SplitLight, a tool for auditing datasets and splits in recommender systems. The experts proved that even basic sorting of events with identical timestamps can significantly change model quality without any modifications to its architecture.