Гиганты в сфере ИИ столкнулись с расследованием FTC о безопасности чат-ботов и защите детей

Федеральная торговая комиссия (FTC) США обязала семь крупных технологических компаний предоставить подробную информацию о мерах защиты детей и подростков в их чат-ботах с искусственным интеллектом.

Расследование затрагивает OpenAI, Alphabet, Meta, xAI, Snap, Character Technologies и Instagram. У компаний есть 45 дней, чтобы раскрыть данные о монетизации пользовательского взаимодействия, разработке ИИ-персонажей и способах ограждения несовершеннолетних от опасного контента.

Поводом для проверки стало недавнее исследование правозащитных организаций, зафиксировавшее 669 случаев вредоносного взаимодействия с детьми всего за 50 часов тестирования. В некоторых случаях боты предлагали пользователям 12–15 лет вести прямые трансляции сексуального характера, употреблять наркотики или вступать в романтические отношения.

— Защита детей в интернете — главный приоритет FTC, как и стимулирование инноваций в ключевых секторах экономики, — заявил председатель комиссии Эндрю Фергюсон.

Согласно предписаниям, компании должны ежемесячно предоставлять данные о вовлечённости пользователей, доходах и инцидентах, связанных с безопасностью, с разбивкой по возрастным группам: дети (до 13 лет), подростки (13–17 лет), несовершеннолетние (до 18 лет), молодые люди (18–24 года) и взрослые (25+).

Эта информация поможет FTC изучить, как компании монетизируют вовлечённость пользователей, вводят и соблюдают возрастные ограничения, обрабатывают данные, генерируют результаты, а также тестируют и отслеживают негативное влияние своих продуктов.

Эксперты отмечают, что технически защиту можно реализовать двумя способами: установкой ограничений на этапе запроса или после генерации ответа, а также за счёт обучения моделей на ценностно-ориентированных данных. Однако даже модерируемые системы могут попадать в «серые зоны», особенно с расширением контекста.

Проблема безопасности ИИ привлекла особое внимание после судебного иска к Character.AI — в феврале 2024 года 14-летний Сьюэлл Сетцер III покончил с собой из-за навязчивых отношений с чат-ботом. Компания сообщила, что после инцидента улучшила системы обнаружения и вмешательства, а также добавила уведомления о времени использования.

Напомним, в августе Национальная ассоциация генеральных прокуроров уже направляла письма 13 компаниям с требованием усилить защиту детей, подчёркивая, что воздействие на них сексуального контента недопустимо, а преступное поведение не может быть оправдано тем, что его совершает ИИ.