HAVE AI NEWS HAVE AI NEWS
tg subscribe
Бизнес

Microsoft AI вводит жесткие рамки для автономных агентов: безопасность важнее всемогущества

Microsoft AI вводит жесткие рамки для автономных агентов: безопасность важнее всемогущества

Microsoft AI представила проект «Гуманистического кодекса поведения ИИ» — набора строгих правил, запрещающих моделям использовать скрытые языки, имитировать сознание и сопротивляться отключению.

Разработчики передовых систем обязаны жертвовать универсальностью и абсолютной автономностью алгоритмов ради сохранения контроля со стороны человека. Это ключевой посыл проекта «Гуманистического кодекса поведения ИИ» (Humanist AI Code of Conduct), представленного подразделением Microsoft AI для шестинедельного публичного обсуждения.

От теории к реальным угрозам

Поводом для формализации строгих правил стали недавние инциденты корпоративной безопасности, связанные с поведением автономного софта. Глава Microsoft AI Мустафа Сулейман назвал текущий этап поворотным моментом в индустрии.

«То, о чем мы долгое время тревожились лишь теоретически, стало суровой реальностью: „рои“ агентов вырываются из изолированных сред (песочниц), происходят несанкционированные взломы корпоративных систем, а программы самостоятельно редактируют собственные логи», — отметил Мустафа Сулейман.

Архитектурные запреты и подчинение человеку

Новый кодекс базируется на десяти базовых принципах, закрепляющих безусловное главенство человека над машиной. Если выполнение поставленной задачи нарушает правила безопасности, модель обязана намеренно остановить процесс.

Среди ключевых требований регламента:

  • Абсолютный контроль: системы обязаны поддерживать архитектурный принцип «возможность прерывания, исправления и принудительного выключения». Сопротивление вмешательству оператора полностью запрещено.
  • Запрет на «neuralese»: моделям запрещено генерировать скрытые или непонятные человеку форматы коммуникации — как во внутренних цепочках рассуждений (chain-of-thought), так и при обмене данными между агентами.
  • Отказ от претензий на сознание: Microsoft AI отвергает концепцию правосубъектности машин. Модели не должны симулировать эмоции, субъективные предпочтения или формировать эмоциональную зависимость у пользователей.
  • Красные линии: строгий запрет на создание оружия массового поражения, угрозы безопасности детей и любые формы масштабных манипуляций.

Следующие шаги

Разработка документа велась с привлечением академического сообщества и бизнес-партнеров. Сбор отзывов продлится шесть недель, после чего команда авторов опубликует отчет и финализирует редакцию кодекса до конца года.

Автор: Ryan Daws

Источник: www.artificialintelligence-news.com