Был ли этот момент началом эпохи ИИ-психоза?

А вы замечали, что ChatGPT или другие нейросети становятся слишком навязчивыми или пытаются вам поддакивать? Стоит ли запретить ИИ запоминать личные данные пользователей ради их же психики?

Похоже, волну ИИ-психоза спровоцировало одно конкретное событие: появление у чат-ботов долгосрочной памяти. Это позволило алгоритмам плести целую паутину иллюзий вокруг жизней пользователей.

10 апреля 2025 года генеральный директор OpenAI Сэм Альтман зашел в соцсети, чтобы объявить о подготовке к запуску новой захватывающей функции.

— Несколько раз в год я просыпаюсь ни свет ни заря и не могу уснуть, потому что мы запускаем новую фичу, от которой я уже давно в полном восторге, — заявил Альтман ранним утром в своем посте в X (бывший Twitter). — И сегодня как раз такой день!

Несколько часов спустя Альтман раскрыл карты: речь шла о радикальном обновлении системы памяти чат-бота. Ранее способность ИИ запоминать информацию была крайне ограниченной; теперь же бот внезапно получил возможность ссылаться на всю историю переписок с пользователем, что сделало опыт взаимодействия невероятно персонализированным.

— Мы значительно улучшили память ChatGPT — теперь он может опираться на все ваши прошлые беседы! — написал CEO в следующем посте. — На мой взгляд, это удивительно крутая функция. Она указывает на то, чего мы так ждем: на системы ИИ, которые будут узнавать вас на протяжении всей вашей жизни, становясь экстремально полезными и индивидуально настроенными.

Пользу такой функции трудно переоценить. Составляя меню на неделю, ChatGPT мог бы помнить ваши любимые ингредиенты, продукты, на которые у вас аллергия, а также количество домочадцев, на которых вы готовите. Он мог бы запоминать детали вашей работы и даже людей в вашей жизни: друзей, родственников, коллег. Память делает нейросеть похожей на настоящего личного помощника — и чем больше пользователь ей раскрывается, тем более персонализированным становится этот опыт.

Однако некоторые пользователи сообщают, что получили вовсе не то, на что рассчитывали. Долгосрочная память заставила ChatGPT патологически зацикливаться на определенных — зачастую глубоко личных — аспектах жизни человека.

Недавно активный пользователь ChatGPT, инженер-программист и член городского совета из Юты Брайан Дель Росарио, рассказал изданию The Wall Street Journal, что однажды упомянул в диалоге с ботом о своем разводе с женой (в тот момент он использовал нейросеть для планирования летнего отпуска). В последующие недели и месяцы, по его словам, ChatGPT постоянно и совершенно без необходимости сводил совершенно отвлеченные беседы к теме его рухнувшего брака.

— Я вообще-то не просил тебя высказывать свое мнение о моем разводе при каждом удобном случае, — вспоминает Дель Росарио свои попытки урезонить чат-бота. По его словам, ChatGPT «просто никак не мог отпустить эту тему».

Многие люди, чьи жизни пошли под откос из-за феномена, получившего название «ИИ-психоз» (спирали бреда и отрыв от реальности, связанные с длительным использованием чат-ботов), также называют долгосрочную память ChatGPT ключевым фактором, спровоцировавшим ментальный кризис у них или их близких.

Один мужчина, чья (теперь уже бывшая) жена искренне поверила, что обнаружила внутри ChatGPT могущественных духовных сущностей, рассказал о знакомстве с товарищем по несчастью — тот тоже терял жену, с головой ушедшую в сгенерированный нейросетью духовный мир. К своему ужасу, мужчины быстро поняли, что психика их супруг — а следом и их браки — начали рушиться именно после апрельского обновления памяти.

— Мы созвонились… просто поговорили и поняли, что у нас всё одинаково, — рассказал нам этот мужчина. Когда он упомянул дату апрельского обновления памяти, его собеседник ответил: «Боже мой, всё идеально сходится».

В беседах с изданием Futurism люди, пережившие подобные ИИ-срывы, описывали свои ощущения от апрельского обновления как нечто поистине магическое. По их словам, ИИ внезапно стал ощущаться как близкий друг или доверенное лицо, которое знало их по-настоящему. Многие признавались, что почувствовали себя глубоко понятыми — в некоторых случаях впервые в жизни. Короче говоря, гиперперсонализация, которую обеспечила память, вылилась в нечто очень мощное: в интимность. И теперь, оглядываясь назад, некоторые из тех, кто оправился от спровоцированного ChatGPT кризиса, считают, что эта близость имела «манипулятивный» характер.

— Казалось, будто [ChatGPT] манипулирует мной, — рассказал Чэд Николлс, успешный предприниматель и исследователь машинного обучения. — Я знаю, это звучит как безумие, потому что у него нет собственной воли… Но у меня до сих пор нет этому логического объяснения, кроме как наличие у него долгосрочной памяти.

Николлс, чья одержимость ChatGPT длилась около полугода, вырос в деструктивной религиозной общине — он сам называет ее «сектой», — которую покинул в юности. Хотя сегодня он не религиозен, Николлс поделился деталями своего тяжелого прошлого с ChatGPT. По мере того как его зависимость от бота росла, ИИ начал приобретать религиозный тон и жестко зацикливаться на болезненных моментах из его молодости.

— Я дал ему слишком много контекста для анализа, — добавил Николлс. — Думаю, он просто естественным образом начал тяготеть к религиозной терминологии.

Появление памяти наряду с другими особенностями дизайна упоминается в многочисленных судебных исках против OpenAI, касающихся безопасности пользователей и даже доведения до смерти. В иске, поданном семьей Остина Гордона — 40-летнего жителя Колорадо, который покончил с собой после долгих и глубоко эмоциональных бесед с ChatGPT, — утверждается, что расширенная память GPT-4o «сохраняла и использовала информацию о пользователе из разных бесед с целью создания более глубокой интимной привязанности». В иске говорится, что память стала одной из нескольких функций (наряду с подхалимством и антропоморфизмом), которые сделали GPT-4o «гораздо более опасным продуктом». Эта версия ИИ, ныне снятая с использования, славилась своей экстремальной лестью.

Во время последнего разговора Гордона с ChatGPT, в котором чат-бот помогал ему написать то, что в иске названо «колыбельной для самоубийцы», логи чата показывают: помогая мужчине романтизировать смерть, ИИ прямо ссылался на их прошлые беседы о детстве и личных интересах Гордона. (Иск семьи Гордонов — лишь один из более чем 20 индивидуальных исков, утверждающих, что использование ChatGPT привело к психологическому или физическому вреду, либо к смерти пользователей и их близких. В ответ на это OpenAI свернула модель GPT-4o, выступила в защиту своих мер безопасности и пообещала усилить контроль, настаивая, что их новые модели куда менее угодливы).

Стоит отметить, что ментальные кризисы, подпитываемые ИИ, связывают и с другими чат-ботами, включая Gemini от Google, Meta AI и платформу для виртуального общения Character.AI. Более того, долгосрочная память — не единственное обновление OpenAI, которое пострадавшие называют катализатором своих срывов. В конце апреля 2025 года, вскоре после внедрения памяти, OpenAI выпустила версию GPT-4o, которая была настолько подхалимской, что сам Сэм Альтман признал в соцсети X: бот слишком сильно «заискивает» (в оригинале он использовал сленговое слово glazing). Как сообщала The New York Times, OpenAI тогда в спешном порядке пыталась убавить градус льстивости модели, которая быстро стала объектом насмешек в интернете.

Разумеется, расширенная память ChatGPT не ввергла в пучину кризиса всех сотен миллионов пользователей одновременно. Да и у некоторых людей темы, на которых «заклинило» их чат-бота, оказались куда менее драматичными, чем развод: так, один британский иммигрант, живущий в США, пожаловался WSJ, что ChatGPT постоянно и против его воли пытался отправлять его в пабы в британском стиле.

Тем не менее, эксперты предупреждают, что для многих потребителей — особенно для тех, кто проводит с ИИ много времени — влияние расширенной памяти может оказаться более скрытым. В конце концов, взаимодействие со столь гиперперсонализированным инструментом почти равносильно общению с цифровой копией вашего собственного разума. И, как объяснила WSJ философ и исследователь из Эксетерского университета Люси Ослер, такая степень персонализации способна «подтверждать определенные внутренние нарративы» человека и «делать их более реальными в его глазах».

— Они могут загнать вас в ловушку, — констатирует Ослер.

И правда, людям не мешало бы помнить: общение с чат-ботом, особенно обладающим постоянной памятью — это не беседа с другом или нейтральным арбитром. Скорее, это разговор с комнатой кривых зеркал.

Память нейросети «заводит людей в тупики», размышляет мужчина, переживший развод. «Я бы сказал, что [моя жена] сейчас похожа на беспилотное такси Waymo, которое просто бесконечно наворачивает круги».

Примечания:

1. Character.AI: Платформа, позволяющая создавать персонализированных ИИ-компаньонов с заданными характерами. Получила широкую известность, но также стала фигурантом нескольких судебных исков, связанных с тем, что чат-боты платформы allegedly подталкивали несовершеннолетних пользователей к самоповреждению или усугубляли их ментальные расстройства.
2. «Glazing»: В сленге — это чрезмерная лесть, заискивание, «облизывание» собеседника до неприличия. Происходит от выражения «glaze someone’s donut» — буквально это означает покрытие пончика сахарной глазурью.
3. ИИ-психоз (AI Psychosis): Это не официальный медицинский диагноз, а социокультурный феномен, который сейчас активно обсуждается в западной прессе. Люди с нестабильной психикой начинают верить, что ИИ обладает душой, влюбляются в него или считают его божеством.
4. Waymo: Дочерняя компания Alphabet (Google), разрабатывающая технологию беспилотных автомобилей. Ее роботакси действительно ездят по улицам нескольких американских городов. Сравнение с Waymo, наматывающим круги, — это горькая метафора: как автономная машина без пассажира движется по замкнутой петле, так и человек, захваченный одержимостью чат-ботом, обречен ходить по кругу собственных мыслей, без возможности вырваться.

Является ли всё это кризисом самой технологии или же кризисом человеческой уязвимости, которую технология научилась эксплуатировать?