Обучение больших языковых моделей всегда считалось ресурсоемким процессом с миллионами итераций и огромными массивами данных. Однако в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) нашли способ обойти этот барьер: флагманская модель GPT-6 Astra смогла напрямую модернизировать другую нейросеть, просто переписав фрагменты ее внутреннего цифрового кода.
Хирургическое вмешательство в веса
Веса нейросетей определяют логику их решений, но из-за их астрономического количества менять параметры вручную инженеры не могут. В MIT поручили эту задачу алгоритму — и результаты превзошли ожидания.
- Резкий скачок в математике: Небольшая модель линейки Qwen от Alibaba демонстрировала крайне низкий результат в математических тестах — всего 7,9%. GPT-6 Astra проанализировала ее архитектуру и точечно изменила лишь 0,016% параметров, устранив склонность к цикличным повторам. После этой правки точность Qwen подскочила до 48,1%.
- Специфика метода: Трюк работает не везде. Модель Gemma 3 от Google практически не улучшила свои показатели, поскольку не страдала от единичного изолированного дефекта, поддающегося столь простой коррекции.
- Сборка без подготовки: В дополнительных экспериментах Astra смогла создать базового агента для игры Breakout с нуля, вовсе не прибегая к стандартным эпохам обучения, а также точно определила тип видеоигры, изучив исключительно слепок весов чужой модели.
Прямое программирование пространства весов открывает путь к сценариям, в которых модели будут на лету чинить собственные баги, удалять нежелательные навыки или внедрять новые функции по запросу без затрат на аренду дата-центров.
К чему ведет самоулучшение алгоритмов
Подобные эксперименты вплотную приближают индустрию к созданию полностью автономных систем-исследователей. Если ИИ научится надежно диагностировать и улучшать чужие (и собственные) структуры изнутри, экспонента развития отрасли выйдет на принципиально новую траекторию.
Параллельные события в индустрии
Новость от MIT появилась на фоне других масштабных шагов в развитии ИИ-экосистемы:
- Бенчмарк для рутины: OpenAI представила метрику LifeVal, оценивающую выполнение прикладных задач вроде записи к врачу, закупки продуктов и оформления документов. GPT-6 Astra набрала в ней 80,6%, показав стопроцентный результат в большинстве бытовых сценариев.
- Госсектор на автопилоте: Власти Абу-Даби заключили ряд соглашений с OpenAI для оптимизации геологоразведки в нефтяном гиганте ADNOC и перевода нормативно-правовых актов в машиночитаемый вид для автоматической выдачи разрешений.
- Мегасделки в «железе»: Производитель чипов Marvell объявил о поглощении создателя лазерных технологий для ЦОД Lumentum за 115 млрд долларов, что стало одной из крупнейших сделок в истории аппаратного обеспечения для искусственного интеллекта.