Растущий раскол между скоростью релизов и надежностью нейросетей
Гонка за лидерство в сфере искусственного интеллекта продолжает провоцировать кадровые потрясения и этические дискуссии среди ведущих технологических лабораторий. После череды технических сбоев и отложенных запусков OpenAI лишилась ключевого эксперта, отвечавшего за оценку рисков.
«Бесконечный спринт без права на ошибку»: уход Дэвида Робинсона из OpenAI
Дэвид Робинсон, проработавший в OpenAI более трех с половиной лет, объявил об уходе и опубликовал программное эссе. Эксперт курировал отчеты по безопасности для 12 релизов флагманских моделей и участвовал в разработке внутреннего регламента готовности к рискам (Preparedness Framework).
По словам Робинсона, культура разработки внутри лаборатории оказалась не приспособлена для безопасного создания сверхразума:
- Отсутствие времени на рефлексию: постоянная спешка ради опережения конкурентов не оставляет инженерам возможности проводить фундаментальные структурные изменения в протоколах безопасности.
- Необходимость промышленных стандартов: разработчик сравнил лаборатории ИИ с атомными электростанциями и аэропортами, где критически важны многоуровневое дублирование систем контроля и защита от человеческого фактора.
- Кадровые чистки: увольнение Робинсона произошло на фоне недавнего расторжения контрактов с исследователями Жасмин Ванг, Томеком Корбаком и Никитой Балесни, обвиненными в передаче конфиденциальных сведений внешней мониторинговой группе.
«Эра метода проб и ошибок в отношении рисков ИИ подошла к концу», — подчеркнул Робинсон, напомнив о предостережениях бывших руководителей безопасности о том, что надежность моделей приносится в жертву ярким коммерческим продуктам.
Anthropic исследует сознание ИИ вместе с религиозными мыслителями
Пока OpenAI решает проблемы внутренних регламентов, стартап Anthropic выбрал принципиально иной подход к развитию своей языковой модели Claude. Сооснователь компании Крис Олах на протяжении года проводил закрытые встречи с теологами и учеными различных конфессий для обсуждения этических аспектов возможного сознания искусственного интеллекта.
В основу этих обсуждений лег 84-страничный внутренний документ Soul Doc, формирующий систему ценностей модели. Позиция руководства Anthropic вызвала неоднозначную реакцию в индустрии: глава OpenAI Сэм Альтман публично предостерег от наделения алгоритмов «религиозным авторитетом», назвав передачу критических суждений моделям прямой угрозой безопасности.
Коротко о других событиях в сфере технологий
- Регулирование в США: объявлено о формировании рабочей группы Super Intelligence Force (SIF) под руководством директора национальной разведки Джея Клейтона для координации государственной политики в области ИИ.
- Инструменты кастомизации от Anthropic: представлен механизм модов для Claude Code, позволяющий внедрять кастомные надстройки поведения агента и предохранители от случайного удаления данных.
- Аппаратные эксперименты Meta: компания открыла исходный код платформы Muse Gadgets для создания самодельных устройств на базе микрокомпьютеров Raspberry Pi с интеграцией фирменного агента.