ChatGPT Agent от OpenAI с расширенными возможностями и повышенным риском

Компания OpenAI представила свой самый автономный инструмент искусственного интеллекта: версию ChatGPT, которая может просматривать веб-страницы, запускать приложения и выполнять реальные задачи практически без участия человека.

Но с резким увеличением возможностей приходит суровое предупреждение: эта технология также может вызвать новую волну угроз безопасности.

Запущенный в четверг, ChatGPT Agent позволяет пользователям делегировать сложные задачи, такие как планирование отпусков, бронирование номеров в отелях, изучение конкурентов, создание слайдов и даже размещение онлайн-заказов.

Эта функция начнет внедряться сегодня для пользователей Pro, Plus и Team.

Для выполнения задач агент использует виртуальный компьютер и единый набор инструментов, включая текстовый браузер, терминал и доступ к сторонним приложениям, таким как Google Drive и GitHub. Виртуальный компьютер — это симулированная вычислительная среда, работающая в облаке, которой агент ChatGPT может управлять независимо — что-то вроде предоставления ИИ его собственной частной машины в песочнице для выполнения реальной работы.

— Я думаю, что это новый уровень возможностей в области искусственного интеллекта, — сказал генеральный директор OpenAI Сэм Альтман во время демонстрации в прямом эфире, проведенной членами команды, создавшей продукт. Прямая трансляция также была примечательна, однако отчасти количество предупреждений «покупатель, будь осторожен», сделанных OpenAI.

— Это новый способ использования искусственного интеллекта, но вместе с ним будет и новый набор атак, — добавил Альтман. — Общество и технологии должны будут развиваться и узнавать, как мы собираемся смягчить последствия, которые мы пока даже не можем представить, поскольку люди начинают выполнять все больше и больше работы таким образом.

Один из примеров: агент может изучить покупку, найти товар на фишинговом сайте и предоставить информацию о кредитной карте пользователя. Чтобы смягчить эту проблему, в текущей версии предусмотрен ряд мер безопасности, которые, например, не позволят загружать информацию о кредитной карте до тех пор, пока пользователь не подтвердит ее вручную.

— Мы обучили модель игнорировать подозрительные инструкции на рискованных веб-сайтах, — рассказал исследователь OpenAI Кейси Чу. — У нас также есть мониторы, которые следят за поведением агента и останавливают его, если что-то выглядит подозрительным.

Так, сорок ведущих мировых исследователей ИИ опубликовали статью, в которой утверждают, что компаниям необходимо начать читать мысли своих систем ИИ. Не их результаты, а их реальный пошаговый процесс рассуждения, внутренний монолог, который происходит до того, как ChatGPT или Клод дают вам ответ. Предложение, получившее название «Мониторинг цепочки мыслей», направлено на предотвращение неправомерного поведения еще до того, как модель даст ответ и сможет помочь компаниям установить баллы «при принятии решений о обучении и развертывании», считает исследователь.

Чу добавил, что, хотя системные меры безопасности могут обновляться в режиме реального времени, агент ChatGPT по-прежнему является «передовым продуктом», который открывает двери для новых форм эксплуатации.

— Важно, чтобы пользователи понимали риски и вдумчиво относились к информации, которой они делятся, — сказал он.

Выпуск ChatGPT Agent происходит в то время, когда разработчики искусственного интеллекта работают над тем, чтобы оснастить виртуальных помощников все более мощными возможностями. В среду Google запустил новую функцию на основе искусственного интеллекта в Google Search, которая позволяет его Gemini AI совершать телефонные звонки предприятиям от имени пользователей.

— ChatGPT Agent все еще находится на ранних стадиях, и мы используем это время, чтобы учиться на реальном использовании, чтобы улучшить как продукт, так и наши меры безопасности, — отметил представитель OpenAI. — Текущая системная карта отражает наш текущий подход, но мы готовимся к тому, что будет дальше, и будем продолжать делиться обновлениями, поскольку мы делаем агента лучше и безопаснее.

Теперь ChatGPT может выполнять работу за вас, используя свой собственный компьютер.

Эксперты по кибербезопасности также выразили обеспокоенность по поводу последствий автономных агентов.

— Большое беспокойство оправдано, потому что агент обладает неявными полномочиями по раскрытию личных идентификаторов во время диалога, — сказал Ник Адамс, соучредитель и генеральный директор компании 0rcus, занимающейся кибербезопасностью. — Пользователи должны предоставлять детализированные, отзываемые области, такие как целевой бизнес, цель, допустимые элементы данных и метка времени истечения срока действия.

Что касается передовой практики, Адамс предложил, чтобы после выполнения агент представлял полную расшифровку для утверждения, прежде чем хранить какую-либо информацию дольше, чем требуется по закону.

— Молчаливое, полное согласие переложило бы ответственность на пользователя без значимого контроля, — добавил он. — Поэтому необходима модель подтверждения для каждой задачи.

Помимо рисков, связанных с тем, чтобы позволить агентам ИИ совершать покупки или планировать, исследователи OpenAI согласились с тем, что такой уровень автономии создает новые угрозы, особенно атаки с целью оперативного внедрения, когда вредоносные вводы обманывают ИИ, заставляя его утечь данные, распространить дезинформацию или предпринять несанкционированные действия.

Чтобы снизить эти риски, OpenAI разработала режим перехвата, который, как следует из названия, дает пользователям возможность брать на себя управление у агента и вводить информацию самостоятельно, а не полагаться на агента. В некоторых случаях ChatGPT Agent запрашивает явное одобрение пользователя перед выполнением важных действий, таких как совершение покупок или доступ к конфиденциальным данным.

— Мы создали мощный инструмент, но пользователям нужно сохранять осторожность, — сказал Чу.