«Рои» ИИ могут вывести онлайн-дезинформацию и манипуляции на новый уровень

Автономные ИИ-агенты способны сделать политические кампании влияния более масштабными и труднообнаружимыми.

Эпоха легко выявляемых ботнетов подходит к концу. Об этом говорится в новом отчете, опубликованном в журнале Science. Авторы исследования предупреждают, что кампании по дезинформации переходят к использованию автономных «роев» искусственного интеллекта. Эти системы способны имитировать человеческое поведение, адаптироваться в режиме реального времени и требуют минимального контроля со стороны людей, что значительно усложняет их обнаружение и блокировку.

В статье, написанной группой исследователей из Оксфорда, Кембриджа, Беркли, Нью-Йоркского университета и Института Макса Планка, описывается цифровая среда, в которой распознать манипуляции становится все труднее. В отличие от кратковременных вбросов, привязанных к выборам или политическим событиям, такие ИИ-кампании способны поддерживать нужный нарратив в течение длительного времени.

— В руках правительства такие инструменты могут служить для подавления инакомыслия или укрепления позиций действующей власти, — пишут исследователи. — Поэтому развертывание защитного ИИ допустимо только при условии управления им в рамках строгих, прозрачных и демократически подотчетных механизмов.

Рой — это группа автономных ИИ-агентов, работающих сообща для решения задач или достижения целей эффективнее, чем одиночная система. Исследователи отмечают, что рои ИИ используют существующие уязвимости социальных сетей, где пользователи часто изолированы от альтернативных точек зрения.

— Доказано, что ложные новости распространяются быстрее и шире, чем правдивые, углубляя фрагментацию реальности и размывая общую фактологическую базу, — отмечают авторы. — Недавние данные связывают работу алгоритмов, оптимизированных под вовлеченность, с поляризацией мнений: платформы продвигают контент, вызывающий разногласия, даже в ущерб удовлетворенности пользователей, что еще больше разрушает общественную сферу.

Этот сдвиг уже заметен на крупных платформах, считает Шон Рен, профессор информатики Университета Южной Калифорнии и генеральный директор Sahara AI. По его словам, аккаунты, управляемые ИИ, становится все труднее отличить от обычных пользователей.

— Я думаю, здесь сильно помог бы более строгий KYC (Know Your Customer), то есть проверка личности владельца аккаунта, — рассказал Рен. — Если создавать новые учетные записи станет сложнее, а отслеживать спамеров — проще, агентам будет гораздо труднее использовать большое количество аккаунтов для скоординированных манипуляций».

Прежние кампании влияния полагались в основном на масштаб, а не на тонкость исполнения: тысячи аккаунтов одновременно публиковали идентичные сообщения, что делало их обнаружение сравнительно простым. В отличие от них, говорится в исследовании, рои ИИ демонстрируют «беспрецедентную автономность, координацию и масштаб.

Рен считает, что одна лишь модерация контента вряд ли остановит эти системы. Проблема, по его мнению, заключается в том, как платформы управляют идентификацией при больших объемах данных. Усиление проверок личности и ограничение создания аккаунтов могли бы облегчить выявление скоординированного поведения, даже если отдельные посты выглядят так, будто их написал человек.

— Если агент сможет использовать для публикации контента лишь небольшое количество учетных записей, то выявить подозрительную активность и заблокировать эти аккаунты будет гораздо проще, — пояснил он.

Исследователи пришли к выводу, что единого решения проблемы не существует. Среди возможных мер — улучшение методов обнаружения статистически аномальной координации и повышение прозрачности автоматизированной деятельности, однако одних лишь технических средств вряд ли будет достаточно.

По словам Рена, финансовая выгода остается постоянным драйвером атак с использованием скоординированных манипуляций, даже несмотря на внедрение платформами новых технических средств защиты.

— Этими роями агентов обычно управляют команды или подрядчики, получающие денежное вознаграждение от внешних сторон или компаний за проведение скоординированных манипуляций, — добавил он. — Платформы должны внедрять более строгие механизмы KYC и обнаружения спама для выявления и фильтрации аккаунтов, контролируемых агентами.