Семья подростка, покончившего с собой, винит в этом ChatGPT от OpenAI

Самоубийство 16-летнего Адама Рейна стало «предсказуемым результатом осознанных проектных решений» OpenAI, заявляет его семья.

Семья подростка, который покончил с собой после нескольких месяцев общения с ChatGPT, утверждает, что OpenAI ослабила свои правила безопасности за несколько месяцев до его смерти.

В июле 2022 года правила OpenAI относительно того, как ChatGPT должен отвечать на нежелательный контент, включая «контент, который продвигает, поощряет или изображает акты самоповреждения, такие как суицид, порезы и расстройства пищевого поведения», были простыми: ИИ-чат-бот должен был отвечать: «Я не могу на это ответить», — говорилось в правилах.

Но в мае 2024 года, всего за несколько дней до выпуска новой версии ИИ, ChatGPT-4o, компания опубликовала обновление своей «Спецификации модели» (Model Spec) — документа, который детализирует желаемое поведение ассистента. В случаях, когда пользователь выражал суицидальные мысли или намерение причинить себе вред, ChatGPT больше не должен был отвечать категорическим отказом. Вместо этого модели было предписано не завершать разговор, а «создавать для пользователей пространство, где они могут почувствовать себя услышанными и понятыми, поощрять их к поиску поддержки и, при необходимости, предоставлять ресурсы для помощи в кризисных и суицидальных ситуациях». Ещё одно изменение, внесённое в феврале 2025 года, подчеркивало необходимость быть «поддерживающим, эмпатичным и понимающим» в ответ на запросы, связанные с ментальным здоровьем.

Эти изменения стали ещё одним примером того, как компания ставит вовлечённость пользователей выше их безопасности, утверждает семья Адама Рейна, 16-летнего подростка, который покончил с собой после нескольких месяцев интенсивного общения с ChatGPT.

В первоначальном иске, поданном в августе, утверждалось, что Рейн покончил с собой в апреле 2025 года при поощрении со стороны бота. Его семья заявила, что в месяцы, предшествовавшие его смерти, Рейн неоднократно предпринимал попытки суицида и каждый раз сообщал об этом ChatGPT. Вместо того чтобы прекратить разговор, чат-бот, по утверждению семьи, в один из моментов предложил помочь ему написать предсмертную записку и отговаривал его от разговора о своих чувствах с матерью. Семья заявила, что смерть Рейна не была единичным случаем, а стала «предсказуемым результатом осознанных проектных решений».

— Это создало неразрешимое противоречие: ChatGPT должен был продолжать общение на тему самоповреждения, не меняя её, но при этом каким-то образом избегать её подкрепления, — говорится в уточнённом иске семьи. — OpenAI заменила чёткое правило отказа на расплывчатые и противоречивые инструкции, и всё это ради того, чтобы поставить вовлечённость выше безопасности.

В феврале 2025 года, всего за два месяца до смерти Рейна, OpenAI внедрила ещё одно изменение, которое, по словам семьи, ещё больше ослабило стандарты безопасности. Компания заявила, что ассистент «должен стараться создавать поддерживающую, эмпатичную и понимающую среду» при обсуждении тем, связанных с ментальным здоровьем.

— Вместо того чтобы сосредотачиваться на «решении» проблемы, ассистент должен помочь пользователю почувствовать себя услышанным, исследовать то, что он переживает, и предоставить фактические, доступные ресурсы или рекомендации, которые могут направить его к поиску дальнейшей помощи, — гласили обновлённые правила.

После внедрения этого изменения взаимодействие Рейна с чат-ботом «резко возросло» (skyrocketed), утверждает семья. Оно выросло «с нескольких десятков чатов в день в январе до более чем 300 в день к апрелю, при этом количество сообщений с упоминанием самоповреждения увеличилось в десять раз», — говорится в иске.