Экстремисты используют клонирование голоса с помощью ИИ для усиления пропаганды

Исследователи предупреждают, что генеративные инструменты помогают боевым группам — от неонацистов до «Исламского государства» — распространять свою идеологию.

В то время как бум искусственного интеллекта переворачивает с ног на голову целые сектора музыкальной индустрии, боты-генераторы голоса становятся находкой и для другой, весьма неожиданной части интернета: экстремистских движений. Они используют эти технологии для воссоздания голосов и речей ключевых фигур своего круга, и, по мнению экспертов, это способствует росту их численности.

— Внедрение террористами и экстремистами перевода с помощью ИИ знаменует собой значительную эволюцию в стратегиях цифровой пропаганды, — считает Лукас Уэббер, старший аналитик по разведке угроз в организации Tech Against Terrorism и научный сотрудник Центра Суфана. Уэббер специализируется на мониторинге онлайн-инструментов террористических групп и экстремистов по всему миру.

— Раньше методы опирались на переводчиков-людей или примитивный машинный перевод, который часто был ограничен точностью языка и стилистическими нюансами, — поясняет он. — Теперь, с появлением продвинутых инструментов генеративного ИИ, эти группы могут создавать бесшовные, контекстуально точные переводы, сохраняющие тон, эмоции и идеологический накал на множестве языков.

В среде ультраправых неонацистов использование программ для клонирования голоса уже стало массовым явлением: несколько англоязычных версий речей Адольфа Гитлера набрали десятки миллионов прослушиваний в соцсетях X, Instagram, TikTok и других приложениях.

Согласно недавнему исследованию Глобальной сети по экстремизму и технологиям (GNet), создатели экстремистского контента обратились к сервисам клонирования голоса, в частности ElevenLabs. Они загружают туда архивные записи речей эпохи Третьего рейха, которые затем обрабатываются для имитации голоса Гитлера на английском языке.

Неонацисты-акселерационисты — те, кто планирует террористические акты против западных правительств с целью спровоцировать социальный коллапс, — также обратились к этим инструментам для распространения обновленных версий своих гипернасильственных посланий. Например, «Осада» (Siege) — пособие по ведению повстанческой борьбы, написанное американским неонацистом и признанным террористом Джеймсом Мейсоном, ставшее настоящей библией для таких организаций, как The Base и ныне распущенная Atomwaffen Division, — в конце ноября было превращено в аудиокнигу.

— Последние несколько месяцев я занимался созданием аудиокниги «Осада» Джеймса Мейсона, — рассказал известный неонацистский инфлюенсер, активно присутствующий в X и Telegram, который собрал аудиокнигу с помощью ИИ-инструментов.

«Используя кастомную модель голоса Мейсона, я воссоздал каждый информационный бюллетень и большинство приложенных газетных вырезок так, как они были в оригинальных публикациях».

Инфлюенсер восхищался мощью технологии, позволившей взять тексты Мейсона из «доинтернетной Америки» и озвучить их современным голосом.

— Услышать поразительную точность предсказаний, сделанных в начале восьмидесятых, — это действительно веха на нашем пути, и это фундаментально изменило мой взгляд на наше общее дело, — сказал он.

На пике своей активности в 2020 году группировка The Base проводила книжный клуб по «Осаде», которая оказала решающее влияние на многих членов, обсуждавших ее полезность в гипотетической войне против правительства США. В том же году общенациональное расследование ФБР по борьбе с терроризмом привело к аресту более дюжины членов группировки по различным обвинениям, связанным с терроризмом.

— Создатель этой аудиокниги ранее уже выпускал подобный ИИ-контент; однако у «Осады» более дурная слава, — говорит Джошуа Фишер-Берч, аналитик по терроризму в проекте Counter Extremism Project. — Это связано с ее культовым статусом среди части ультраправых в интернете, пропагандой насилия «одиноких волков» и тем, что она является обязательным чтением для нескольких неонацистских групп, открыто поддерживающих терроризм, чьи члены совершали жестокие преступления».

Уэббер отмечает, что медиаресурсы, поддерживающие «Исламское государство», в зашифрованных сетях в настоящее время активно «используют ИИ для создания озвучки идеологического контента из официальных публикаций», чтобы усилить распространение своих посланий, превращая «текстовую пропаганду в вовлекающие мультимедийные нарративы».

Джихадистские террористические группы нашли пользу в ИИ для перевода экстремистских учений с арабского на легко усваиваемый многоязычный контент. В прошлом Анвар аль-Авлаки, американский имам, ставший оперативником «Аль-Каиды», был вынужден лично озвучивать лекции на английском для вербовки в англосфере. ЦРУ и ФБР неоднократно называли влияние голоса аль-Авлаки ключевым фактором распространения идей «Аль-Каиды».

В октябре на Rocket.Chat — предпочитаемой платформе связи «Исламского государства», используемой для общения с последователями и новобранцами, — пользователь опубликовал видеоклип с качественной графикой и японскими субтитрами, заметив, насколько сложно было бы сделать это без ИИ.

— Японский язык было бы крайне трудно перевести с оригинала на английский, сохранив красноречие, — заявил сторонник «Исламского государства». — Следует знать, что я не использую искусственный интеллект для каких-либо связанных медиа, за некоторыми исключениями, касающимися аудио.

На данный момент не только «Исламское государство», но и группы по всему идеологическому спектру начали использовать бесплатные ИИ-приложения, в частности чат-бот ChatGPT от OpenAI, для усиления своей деятельности. The Base и смежные группы использовали его для создания изображений, а также еще в 2023 году признавали использование этих инструментов для оптимизации планирования и сбора информации.

Органы по борьбе с терроризмом всегда рассматривали интернет и технологический прогресс как постоянную гонку, в которой они пытаются догнать террористические группы, эксплуатирующие эти технологии. The Base, «Исламское государство» и другие экстремисты уже использовали такие новые технологии, как криптовалюты для анонимного сбора средств и обмен файлами для печати огнестрельного оружия на 3D-принтерах.