Спасет ли искусственный интеллект человечество — или погубит его?

Дебаты с участием видных трансгуманистов и футурологов выявили глубокий раскол во мнениях: удастся ли сделать общий искусственный интеллект (AGI) безопасным или он неизбежно поставит под угрозу выживание людей.

На прошлой неделе разгорелся острый спор о будущем искусственного интеллекта. Четверо известных технологов и трансгуманистов обсуждали, станет ли создание общего искусственного интеллекта (AGI) спасением для человечества или причиной его гибели.

Панельная дискуссия, организованная некоммерческой организацией Humanity+, собрала за одним столом одного из самых громких «AI-думеров» (предвестников катастрофы) Элиезера Юдковского, призывающего остановить разработку передового ИИ, философа и футуролога Макса Мора, специалиста по вычислительной нейробиологии Андерса Сандберга и почетного президента Humanity+ Наташу Вита-Мор.

Их беседа обнажила фундаментальные разногласия: можно ли согласовать цели AGI с выживанием людей или же его создание сделает вымирание неизбежным.

Юдковский предупредил, что современные системы ИИ по своей сути небезопасны, поскольку процессы принятия решений внутри них невозможно полностью понять или контролировать.

— Любая технология по принципу «черного ящика», вероятно, столкнется с удивительно схожими проблемами, что и нынешние системы, — предостерег Юдковский. Он утверждал, что человечеству придется уйти «очень и очень далеко от текущих парадигм», прежде чем разработка продвинутого ИИ станет безопасной.

Общий искусственный интеллект (AGI) — это форма ИИ, способная рассуждать и обучаться для выполнения широкого спектра задач, в отличие от систем, созданных для одной цели, вроде генерации текста, изображений или видео. AGI часто связывают с идеей технологической сингулярности, поскольку достижение такого уровня интеллекта позволит машинам самосовершенствоваться быстрее, чем люди смогут за ними поспевать.

Юдковский привел аналогию с «максимизатором скрепок», популяризированную философом Ником Бостромом, чтобы проиллюстрировать риск. Этот мысленный эксперимент описывает гипотетический ИИ, который превращает всю доступную материю в скрепки, следуя своей одержимости единственной целью в ущерб человечеству. Добавление дополнительных целей, по словам Юдковского, существенно не повысит безопасность.

Ссылаясь на название своей недавней статьи об ИИ «Если кто-то создаст его, умрут все», он заявил: «Наш заголовок не гласит, что это возможно убьет вас. Он гласит: если кто-то создаст его, умрут все».

Однако Макс Мор оспорил утверждение, что крайняя осторожность гарантирует самый безопасный исход. Он возразил, что AGI может дать человечеству лучший шанс победить старение и болезни.

— Что для меня важнее всего — AGI может помочь нам предотвратить смерть каждого ныне живущего человека от старения, — заявил Мор. — Мы все умираем. Мы движемся к катастрофе, один за другим.

Он предупредил, что чрезмерные ограничения могут подтолкнуть правительства к авторитарному контролю как единственному способу остановить развитие ИИ во всем мире.

Андерс Сандберг занял позицию между двумя лагерями, назвав себя «более оптимистичным», но при этом более осторожным, чем трансгуманисты-оптимисты. Он рассказал о личном опыте, когда чуть не использовал большую языковую модель для помощи в разработке биологического оружия — эпизод, который он описал как «ужасающий».

— Мы приближаемся к точке, когда усиление злонамеренных акторов также приведет к огромному хаосу, — сказал Сандберг.

Тем не менее, он утверждал, что частичная или «приблизительная безопасность» может быть достижима. Он отверг идею о том, что безопасность должна быть абсолютной, чтобы иметь смысл, предположив, что люди могли бы по крайней мере сойтись на минимальных общих ценностях, таких как выживание.

— Если вы требуете идеальной безопасности, вы её не получите. И с этой точки зрения всё звучит очень плохо, — добавил он. — С другой стороны, я думаю, что мы можем достичь приблизительной безопасности. И этого достаточно.

Наташа Вита-Мор раскритиковала саму дискуссию о «согласовании» (alignment) целей ИИ и человека, утверждая, что эта концепция предполагает уровень консенсуса, которого нет даже среди давних соратников.

— Идея согласования — это утопия в духе Поллианны, — сказала она. — Он [ИИ] никогда не будет согласован. Послушайте, даже здесь мы все хорошие люди. Мы знаем друг друга десятилетиями, и мы не согласованы.

Она назвала утверждение Юдковского о том, что AGI неизбежно убьет всех, «абсолютистским мышлением», не оставляющим места для других исходов.

— У меня проблема с огульным заявлением, что все умрут, — подчеркнула она. — Если подходить к этому как футуролог и прагматик, то это не оставляет никаких последствий, никакой альтернативы, никакого иного сценария. Это просто категоричное утверждение, и я задаюсь вопросом, не отражает ли оно своего рода абсолютистское мышление.

Дискуссия затронула и вопрос о том, может ли более тесная интеграция людей и машин снизить риски, связанные с AGI, — идею, которую в прошлом предлагал Илон Маск. Юдковский отверг мысль о слиянии с ИИ, сравнив это с «попыткой слиться со своим тостером».

Сандберг и Вита-Мор возразили, что по мере роста возможностей систем ИИ людям придется интегрироваться или теснее сливаться с ними, чтобы лучше справляться с миром после появления AGI.

— Вся эта дискуссия — проверка реальностью того, кто мы есть как человеческие существа, — подытожила Вита-Мор.