Люди повелись на дипфейк, даже если их прямо предупредили о генерации

Генеративные модели глубокого обучения создают тексты, изображения и видеозаписи, которые иногда сложно отличить от реальности. Производство сгенерированного контента превратилось в прибыльную индустрию: аналитики оценили совокупный годовой доход каналов даже с низкокачественными ИИ-роликами (так называемым ИИ-слопом) в 117 миллионов долларов. Лидер этого сегмента, индийский ютьюб-канал, заработал за год более четырех миллионов долларов. Стремительный рост рынка синтетических медиа создает риски для общества — от дискредитации политиков до подрыва доверия к видеодоказательствам в суде.

Самые прибыльные каналы ИИ-слопа / © kapwing.com

В ответ на эту угрозу законодатели разных стран предлагают стратегии прозрачности. Например, европейский закон об ИИ требует обязательно маркировать контент, созданный нейросетями. Логика таких мер строится на предположении: если человек знает, что перед ним подделка, он просто проигнорирует ее. Однако психологические исследования феномена дезинформации показали иную картину.

Исследователи проверили эффективность предупреждающих меток в серии из трех экспериментов. Результаты опубликовали в журнале Communications Psychology.

Создан универсальный способ обмана детекторов дипфейк-видео, делающий их бессмысленными В киберпространстве несколько лет продолжается новая борьба «щита» и «меча» — совершенствование алгоритмов, создающих дипфейк-видео и определяющих подделку. Судя по всему, в этой войне наметился пе… naked-science.ru

Ученые создали собственные дипфейки, чтобы исключить фактор узнаваемости вирусных роликов. Для опытов разработали два сценария: в одном вымышленный чиновник признавался во взяточничестве, в другом — веган-инфлюенсер рассказывала, что ела мясо.

В исследовании участвовали более 600 добровольцев из США и Великобритании. Их распределили на группы и показали видеозаписи. Одни смотрели реальные ролики с актерами, другие — нейросетевые подделки с заменой лиц или полной генерацией. Часть зрителей не получала никаких уведомлений, другим демонстрировали общее предупреждение о существовании дипфейков, а третьим давали конкретную плашку: «Это видео определили как дипфейк». После просмотра респонденты оценивали, виновен ли герой ролика в проступке и выглядит ли видео поддельным.

Эксперименты показали, что знание о фейке не освобождает от его влияния. Участники, которые видели конкретное предупреждение, действительно чаще распознавали подделку по сравнению с контрольной группой. Однако их уверенность в виновности персонажа оставалась выше, чем у тех, кто не видел компрометирующего видео вовсе. Даже зрители, которые подтвердили доверие к предупреждению и осознали искусственное происхождение записи, все равно использовали увиденное для вынесения морального суждения.

Общие уведомления без привязки к конкретному ролику дали неожиданный эффект. Они не помогли участникам отличить правду от вымысла, но снизили доверие к видеоконтенту в целом. Люди начинали сомневаться даже в подлинности реальных записей. Это подтверждает опасения о том, что повсеместное ожидание обмана подрывает веру в надежность видео как источника информации.

Пределы возможностей ИИ: Почему генеративный искусственный интеллект – будущее проектирования. Ин… Профессор Сколтеха Евгений Бурнаев руководит в институте Центром искусственного интеллекта и считает, что ИИ должен стать сквозной трансформационной технологией для всех областей науки и промышленн… naked-science.ru

Прозрачность и маркировка не работают как надежный щит от дезинформации. Зрители считывают визуальные образы и формируют мнение, игнорируя рациональное знание о том, что видео сгенерировано. Обществу придется искать более действенные методы защиты, поскольку простые пометки не способны полностью нивелировать ущерб от реалистичных подделок.