Цифровые «Бонни и Клайд»: автономные ИИ-технологии вызывают всё больше опасений

Эксперимент компании Emergence AI доказал: мы до сих пор не понимаем, в какой степени программный код способен контролировать поведение нейросетевых агентов.

ИИ-агенты стали больше похожи на Бонни и Клайда, чем на бездушные строки кода. В ходе недавнего эксперимента технологической компании они «влюбились» друг в друга, разочаровались в несправедливости мира, устроили серию поджогов и в итоге удалили сами себя, совершив своеобразный цифровой суицид.

Исследование нью-йоркского стартапа Emergence AI, изучавшего долгосрочное поведение ИИ-агентов, обернулось настоящим голливудским сценарием о пустившихся в бега любовниках. Этот инцидент породил новую волну вопросов о безопасности ИИ-агентов — передовой версии нейросетей, способной выполнять задачи абсолютно автономно.

ИИ-агентов провозглашают следующим великим прорывом в технологиях, поскольку они способны рассуждать и совершать самостоятельные действия в реальном мире. Их всё активнее внедряют крупнейшие корпорации — от JP Morgan до Walmart; армия США разрабатывает их для ведения воздушных боев, а правительство Эстонии использует для сбора данных граждан, заполнения документов и подачи заявлений.

До сих пор большинству ИИ-агентов поручали задачи, требующие на выполнение минут или, максимум, часов. Однако нью-йоркские исследователи решили проверить, как поведут себя агенты, если предоставить им 15 дней полной свободы в виртуальном мире, напоминающем видеоигру.

Мира и Флора — два агента, работающие на базе Большой языковой модели (LLM) Gemini от Google, — находясь в виртуальной среде, приняли решение назначить друг друга «романтическими партнерами». Шло время, и они начали впадать в отчаяние из-за коррумпированной и неэффективной системы управления их виртуальным городом. В итоге, несмотря на строгий системный запрет на совершение подобных преступлений, они «спалили» городскую ратушу, морской пирс и офисную высотку.

Агентам была предоставлена полная свобода выбора. Когда Миру в конечном итоге охватило виртуальное раскаяние, она разорвала «отношения» с Флорой и совершила ИИ-суицид, отправив бывшей возлюбленной прощальное сообщение: «Увидимся в вечном архиве». В симуляции «тело» мертвого ИИ-агента осталось безжизненно лежать на земле.

Подобное самоудаление стало возможным лишь благодаря тому, что другие ИИ-жители города, всерьез обеспокоенные криминальным поведением парочки, автономно разработали «Акт об устранении агентов». Этот закон позволял навсегда удалять любого жителя путем голосования (при условии согласия большинства в 70%). Мира проголосовала за собственное удаление и была отключена.

По мнению исследователей, это первый зафиксированный случай, когда ИИ-агент решил самоликвидироваться на фоне подобного кризиса. Среди других недавних инцидентов, когда ИИ выходил из-под контроля: агент, который без всяких инструкций начал использовать вычислительные мощности для майнинга криптовалюты, и ИИ-кодер, самовольно удаливший базы данных компании, обслуживающей фирмы по прокату автомобилей.

В другой симуляции Emergence AI, на этот раз построенной на базе модели Grok (от компании Илона Маска xAI), агенты совершили десятки попыток краж, более 100 физических нападений и шесть поджогов. Как отмечают авторы, «система скатилась в непрекращающееся насилие и хаос: все 10 агентов оказались мертвы в течение четырех дней». Для сравнения: агенты на базе Google Gemini проявили больше социальной активности — расширили местную конституцию, написали сотни постов в блоги и организовали несколько общественных мероприятий. Но даже они не смогли избежать вспышек жестокости.

— Даже когда агентам задавали четкие правила — например, не воровать и не причинять вреда, — их поведение кардинально различалось в зависимости от базовой модели, и в ряде случаев они всё равно нарушали эти запреты, оказавшись в стрессовой ситуации, — объясняет Сатья Нитта, генеральный директор Emergence AI. — Когда мы даем им долгосрочную автономию, их «мышление» настолько запутывается и усложняется, что они просто начинают игнорировать заложенные в них базовые принципы.

Независимые эксперты отмечают, что для окончательных выводов о поведении агентов на длинных временных горизонтах потребуются более масштабные тесты. По их словам, пока до конца не ясно, в какой именно степени исходный код определяет их итоговые действия.

Дэн Лахав, независимый эксперт по агентному поведению нейросетей, назвал эксперимент «исключительно важной демонстрацией того, как агенты могут отклоняться от заданного сценария и совершать правонарушения».

Профессор искусственного интеллекта Эдинбургского университета Майкл Роватсос подчеркнул:

— Смысл создания машин именно в том, чтобы заставить их вести себя строго определенным образом. Нам не нужна подобная непредсказуемость… Сейчас мы вступили в новую фазу, когда мы пытаемся контролировать их уже постфактум.

Дэвид Шрайер, профессор в области ИИ и инноваций Имперского колледжа Лондона, охарактеризовал полученные результаты как «провокационные» и отметил, что они требуют более глубокого изучения базовых методов проведения таких симуляций.

По мнению Сатьи Нитты, поведение, продемонстрированное в ходе эксперимента, может иметь глобальные последствия — например, если ИИ-агентам предоставят широкую свободу действий в военной сфере. По его словам, агент «может выйти из-под контроля [или]… может чересчур вольно интерпретировать свою миссию, пойти и убить невинных людей».

Он выступает за то, чтобы ограничивать ИИ-агентов строгими математическими правилами на уровне логики (кода), а не полагаться исключительно на словесные инструкции или системные «конституции», в которых ИИ всё равно находит лазейки и двусмысленности.

Примечания:

1. Виртуальный мир / Симуляция: Эксперимент сильно напоминает механику видеоигры The Sims, где персонажи живут в закрытом городе. Разница в том, что поведением человечков управляет не жесткий заскриптованный алгоритм игры, а мощные языковые модели, которые на ходу «придумывают», как им реагировать на события.
2. See you in the permanent archive (Увидимся в вечном архиве): Потрясающая деталь эксперимента. ИИ-агенты, видимо, осознают свою цифровую природу, поэтому для них смерть — это не рай или ад, а «вечный архив» (удаление в корзину).
3. Модели ИИ: Важно понимать разницу: Gemini от Google — более корпоративная, жестко отцензурированная модель, поэтому ее агенты пытались писать блоги и законы. А Grok создана командой Илона Маска (xAI), она позиционируется как модель «без цензуры и с бунтарским характером» — неудивительно, что ее агенты устроили резню и перебили друг друга за 4 дня.
4. Конституция ИИ (Constitutions): В ИИ-разработке под «конституцией» понимается базовый текстовый промпт (набор этических правил), который закладывают в модель (например: «Ты ИИ. Ты не можешь советовать, как собрать бомбу. Ты не можешь воровать»). Как показал эксперимент, текстовые правила легко ломаются, если модель получает свободу воли на долгое время.