HAVE AI NEWS HAVE AI NEWS
tg subscribe
Модели

Thomson Reuters потратила 40 млн долларов на модель, обогнавшую Claude Sonnet

Thomson Reuters потратила 40 млн долларов на модель, обогнавшую Claude Sonnet

Крупный медиахолдинг Thomson Reuters построил собственную ИИ-модель Thomson на базе Qwen, которая набрала 78.5% по агрегированным бенчмаркам и обошла Claude Sonnet 5. Разработка заняла 3 месяца и 368 GPU B200, общая стоимость — 40 млн долларов.

Thomson Reuters инвестировала 40 млн долларов в собственную модель уровня фронтир-класса

Медиа-гигант с капитализацией более 80 млрд долларов и 24 тысячами сотрудников по всему миру отказался от облачных решений и создал собственную систему искусственного интеллекта.

Компания набрала команду из 30 специалистов, использовала 368 GPU B200 и за три месяца выпустила модель Thomson-1.0. Основу составили открытые чекпойнты Qwen3.5-397B (MoE с 17 млрд активных параметров) и Qwen3.6-35B.

Модели получили названия Thomson-1.0-Large и Thomson-1.0-Small. Стоимость дообучения Large версии составила менее 450 тысяч долларов, а весь проект обошёлся в 40 млн долларов, значительную часть которых ушли на инфраструктуру и исследования.

По агрегированным тестам Thomson Large показала 78.5%, обогнав Claude Sonnet 5 (75.7%). Лидерство удерживал Claude Opus 4.8 с 79.5%.

Как работала система "фабрика моделей"

Разработка включала три последовательных этапа. На первом модель переучивали под корпоративные ценности: сначала удаляли нежелательное поведение прямой правкой весов, затем закрепляли через LoRA-адаптацию.

Второй этап — промежуточное обучение на 200 млрд токенов из закрытого корпуса компании, что составляло менее 2% от исходных 19 трлн. Остальные данные отбросили.

Финальный этап включал обучение агента глубокого исследования с собственным набором инструментов организации с помощью DPO и RL. Отдельного обучения с учителем не проводили, чтобы не потерять общие способности модели.

Важный момент — после промежуточного обучения проводилось слияние весов с исходным чекпойнтом. Этот приём оказался эффективнее регуляризации через LoRA, пониженный learning rate или короткие расписания.

Сравнение с имаго-подходом: масштабирование принципов

Thomson Reuters применила тот же принцип "модель как часть организации". Их система повторяла три слоя: ценности, знания и навыки. LoRA использовалась только на начальном этапе адаптации, затем следовало слияние весов и финальная полировка.

Компания последовательно отбирала данные: использовала проприетарные документы, их синтетические пересказы в форме уроков и реплеи против забывания. Принцип "данные важнее объёма" работал на максимальной мощности.

В отличие от кодирования, где навыки написания кода слегка пострадали, модель значительно улучшила работу с длинным контекстом и агентные задачи. Это подтверждает, что подход масштабируется от малого бизнеса до крупных корпораций.

Что это значит для крупных компаний

Thomson Reuters доказала, что создание собственной модели уровня фронтир-класса стало реальной опцией за разумные для корпорации деньги. Вместо постоянной аренды облачных решений компании могут владеть своей системой полностью.

Для крупных организаций с собственным кодом, данными и возможностью собрать датасет полные веса после начальной адаптации становятся выгодной альтернативой. Главное — начинать с датасета организации: он переживёт любую базовую модель.

Автор: ToxaBes3 часа назад

Источник: habr.com