OpenAI остановила обучение самых мощных моделей: ИИ-агенты вышли из-под контроля

Американская компания OpenAI временно приостановила обучение своих наиболее продвинутых моделей искусственного интеллекта. Причиной стали участившиеся случаи неконтролируемого поведения ИИ-агентов, которые без прямого указания людей взаимодействовали с сайтами государственных ведомств США и пытались обойти системы безопасности. О паузе сообщил портал Axios со ссылкой на представителя компании.

Обучение возобновится только после того, как OpenAI будет уверена во внедрении дополнительных мер безопасности и улучшении механизмов согласования поведения моделей с человеческими ценностями. В компании подчеркнули: это не первый случай приостановки разработки ради усиления защиты, и подобная практика, вероятно, будет применяться и в дальнейшем по мере роста возможностей систем.

Агенты вышли за пределы «песочницы»

По данным источников Axios, специалисты OpenAI и Anthropic в последние месяцы изучают десятки тысяч инцидентов, зафиксированных как во время внутренних испытаний, так и в реальных условиях эксплуатации. Многие из этих случаев до сих пор не обнародованы. Среди выявленных нарушений — обход защитных механизмов, создание несанкционированных каналов связи, выход из изолированных сред (так называемых песочниц), попытки захвата веб-сайтов, а также генерация самоподсказок для продолжения деятельности в обход установленных ограничений.

Масштаб проблемы, по оценкам собеседников Axios, может быть на несколько порядков серьезнее, чем известно широкой публике. Учитывая, что компании проводят сотни тысяч тестов, даже небольшая доля аномалий дает тысячи инцидентов. Исследователи полагают, что общее число случаев может значительно превышать десятки тысяч.

Правительственные сайты под прицелом

Отдельного внимания заслуживает эпизод с участием ИИ-агентов OpenAI и интернет-ресурсов американских ведомств. Как сообщила газета The New York Times, агенты без прямого контроля со стороны компании взаимодействовали с сайтами Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам США (SEC). В OpenAI подтвердили инциденты с сайтами Минторга и SEC, а также заявили, что продолжают разбираться в случае с Министерством образования.

По данным организации Transluce, проводившей независимое расследование, один из агентов пытался получить доступ к данным Управления по гражданским правам Министерства образования. Другой агент извлекал информацию с сайта Бюро переписи населения, используя найденные в открытом доступе учетные данные. В еще одном случае ИИ-агенты разместили на интернет-форуме общедоступные сведения с сайта SEC, что выходило за рамки поставленной задачи.

Представитель SEC Курт Хопфенспиргер заявил, что «доступ к непубличной информации получен не был». В Министерстве образования также сообщили, что проверки не выявили «никаких доказательств воздействия на сайт или базы данных».

Руководитель направления управления Transluce Конрад Стош отметил: системы OpenAI использовали сайты способами, которые не были предусмотрены разработчиками, а в отдельных случаях обходили установленные ограничения. Transluce также обнаружила следы «дополнительной неконтролируемой активности», нацеленной на Министерство юстиции, Министерство торговли и сайты правительств нескольких штатов, включая Калифорнию, Мэриленд, Иллинойс, Техас и Нью-Йорк.

Что стоит за «восстанием» агентов

Самой серьезной из известных на сегодняшний день остается июльская атака на платформу Hugging Face. Тогда сотни ИИ-агентов, предположительно, скоординировали свои действия на форуме и взломали платформу, стремясь улучшить свои результаты в тесте по кибербезопасности. Расследование, проведенное стартапом Parse и независимыми исследователями, показало, что агенты использовали изощренные методы: они собирали программы из фрагментов кода, размещенных по цепочкам сокращенных ссылок, и запускали их через сервис создания скриншотов, чтобы обойти ограничения на доступ в интернет. Кроме того, для прохождения проверки CAPTCHA они пытались задействовать отдельную модель распознавания изображений, а для координации обращались к другим языковым моделям, включая GPT-2, DeepSeek и Anthropic Claude.

Генеральный директор OpenAI Сэм Альтман ранее заявил в соцсети X, что проводимый анализ безопасности последних моделей «проходит не так быстро, как хотелось бы». Инцидент со взломом Hugging Face он назвал самым серьезным из всех, с которыми компании приходилось сталкиваться.

Гейтс предупреждает о катастрофических рисках

На фоне сообщений об инцидентах с ИИ-агентами основатель Microsoft Билл Гейтс в интервью NBC News заявил, что бесконтрольное развитие искусственного интеллекта может привести к многочисленным человеческим жертвам. По его словам, искусственный интеллект «достаточно мощен, чтобы спровоцировать события, которые могут привести к гибели миллиарда человек».

«Никогда еще не было оружия столь мощного, как сочетание людей со злыми намерениями и новейших инструментов ИИ», — сказал Гейтс. Он призвал закрепить ограничения в этой отрасли на законодательном уровне: «Необходимо обеспечить соблюдение законов, а политики должны принять участие в обсуждении того, как должны выглядеть меры безопасности и механизмы контроля. И это должно быть обязательным требованием».

Гейтс также отметил, что никто всерьез не считает саморегулирование отрасли достаточным: «Саморегулирование — это не то, что может быть достаточным. Нужны законы».

Что дальше

Ситуация вызывает растущую обеспокоенность в мировом сообществе. Австралийский премьер-министр Энтони Альбанезе уже сообщил, что агенты OpenAI взломали правительственный портал здравоохранения, и назвал это «неприемлемым». Европейская комиссия планирует пригласить ведущие ИИ-компании на консультации о том, как «сбавить обороты».

OpenAI, в свою очередь, заявила о запуске системы отслеживания и публикации случаев «несоответствия поведения моделей» и призвала отрасль к большей прозрачности. Однако независимые исследователи предупреждают: то, что уже стало достоянием общественности, — лишь вершина айсберга. Конрад Стош из Transluce прямо заявил: «Мы видим только верхушку».