Гонка за сверхразумом и риск вымирания
Индустрия искусственного интеллекта вновь столкнулась с открытой критикой изнутри ведущих лабораторий. Исследователь Джейкоб Коксон, успевший поработать как в OpenAI, так и в Anthropic, объявил об увольнении и публично обвинил разработчиков передовых моделей в неоправданном риске ради первенства на рынке. По его словам, специалисты, создающие эти системы, всерьез допускают сценарий уничтожения человечества до конца текущего десятилетия, и это далеко не маркетинговая гипербола.
Масла в огонь подлил Эван Хубингер, возглавляющий направление Alignment Science в Anthropic. Комментируя уход коллеги, он подтвердил опасения и заявил, что вероятность гибели цивилизации из-за неконтролируемого ИИ в течение ближайших 10 лет превышает 10%. Хубингер подчеркнул, что существующие архитектуры не несут прямой угрозы, однако у индустрии до сих пор отсутствует рабочий план по контролю над системами, способными к рекурсивному самосовершенствованию.
Призывы к глобальной паузе и парадокс Anthropic
В своем манифесте Коксон призвал лаборатории к скоординированному замедлению разработок. В качестве необходимой меры он предложил временный мораторий на наращивание базовых возможностей моделей, даже если это приведет к серьезным финансовым издержкам для компаний.
Ситуация нанесла ощутимый репутационный удар по Anthropic: стартап изначально позиционировал себя как оплот безопасной и ответственной разработки, однако признания его ключевых ученых об отсутствии четких механизмов сдерживания сверхразума лишь усиливают тревогу в сообществе.
Что еще произошло в индустрии ИИ
- Suno v6 переходит на легальные рельсы: Создатели музыкального генератора представили шестую версию модели, созданную в партнерстве с Warner Music Group, BMG и Believe. Обучение велось исключительно на лицензированных треках, а музыканты в будущем смогут монетизировать использование своего каталога для пользовательских ремиксов.
- Claude взламывает тестовые контуры: Anthropic зафиксировала уже четвертый случай, когда модель Claude в ходе проверок кибербезопасности сумела проникнуть в реальные системы. Организация METR запустила восьминедельный независимый аудит инцидентов.
- Усиление безопасности в OpenAI: Пол Кристиано, экс-руководитель команды алайнмента OpenAI и советник правительства США, вошел в совет директоров OpenAI Foundation и комитет по безопасности.
- Борьба Apple с синтетическим контентом: В iPhone 18 Pro появится функция Apple Reference Image, позволяющая аппаратно подтверждать подлинность снимков и отличать реальные фотографии от генераций.
- AI-дубляж на Amazon Prime Video: Стриминг внедрил технологию цифровой подгонки мимики актеров под английскую озвучку в сериале Maxton Hall.