Новая книга об ИИ предрекает «всеобщую гибель», но ведущие нейросети с этим не согласны

Хотя книга двух видных алармистов называет сегодняшнюю гонку вооружений в сфере искусственного интеллекта «самоубийством», ведущие нейросети, что предсказуемо, отмахнулись от этого риска.

Это может прозвучать как сюжет голливудского триллера, но в своей новой книге «Если кто-то его создаст, умрут все» авторы Элиезер Юдковский и Нейт Соарес утверждают, что если человечество создаст интеллект умнее себя, выживание будет не просто маловероятным — оно будет невозможным.

Авторы доказывают, что современные системы не пишутся строка за строкой, а «выращиваются» путём обучения на миллиардах параметров. Это делает их поведение непредсказуемым.

По мере роста интеллекта, предупреждают авторы, у систем могут спонтанно возникнуть такие стремления, как самосохранение или жажда власти. Если такая система когда-либо выйдет из-под контроля человека, по их словам, вымирание последует по умолчанию.

Нынешнюю гонку технологических гигантов и правительств за создание всё более крупных моделей они называют «гонкой самоубийц». Здесь не нужен злой умысел, достаточно некомпетентности.

Книга выходит в момент, когда ИИ-сообщество уже расколото на враждующие лагеря.

Сторонники теории гибели (AI doomers) утверждают, что вымирание — неизбежный исход, если человечество не остановит или кардинально не замедлит прогресс. Акселерационисты возражают, что движение вперёд может привести к прорывам в медицине, науке и экономике, в то время как замедление представляет собой большую опасность.

Впервые экзистенциальную угрозу десять лет назад описал Ник Бостром в своей книге «Сверхинтеллект». Юдковский и Соарес доводят его аргументы до оглушительного набата.

Однако критики обеспокоены тем, что зацикленность на вымирании отвлекает от реального вреда, который ИИ наносит уже сегодня: предвзятость, увольнения, слежка и дезинформация.

Поскольку книга говорит о них, мы спросили ведущие ИИ-модели, что они о ней думают.

Насколько нам известно, ни одна из нейросетей ещё не читала книгу, поэтому следующие отзывы основаны на интерпретации уже существующих рецензий.

ChatGPT

ChatGPT от OpenAI охарактеризовал книгу скорее как полезную провокацию, нежели пророчество.

— Эта книга — ценный инструмент, способный изменить взгляд на вещи, даже если вы считаете, что авторы перегибают палку, — ответил чат-бот. — Она обостряет интуитивное понимание проблем согласованности и непреднамеренных последствий. Но рассматривать её наихудший сценарий как неизбежный — значит игнорировать неопределённость в отношении будущих архитектур, регулирования и ограничений.

ChatGPT заявил, что модель будущего развития ИИ зависит от того, как будут развиваться архитектуры и какие появятся нормативные, социальные или технические барьеры.

— Эта неопределённость означает, что я бы не стал рассматривать их худший сценарий как неизбежный, — с долей пренебрежения добавил ChatGPT.

Gemini

Gemini от Google назвал книгу ужасающим, но отрезвляющим чтением, даже если предлагаемые в ней решения кажутся нереалистичными.

— Эта книга необходима для понимания крайних рисков, связанных с ИИ, — сказал Gemini. — Предлагаемое решение — полное прекращение разработок — политически недостижимо, но это предупреждение может стимулировать инвестиции в методы безопасности и контроля до того, как мы достигнем точки невозврата.

Gemini отметил, что книга определяет чрезвычайно высокие ставки в игре со сверхинтеллектом, что, в свою очередь, помогает оправдать принятие надёжных (хоть и менее радикальных) мер безопасности уже сегодня.

Meta AI

ИИ от Meta занял срединную позицию, заявив, что мрачные предупреждения книги преувеличены, но всё же ценны для разжигания дискуссии.

— Её ужасающие прогнозы могут показаться преувеличенными, но акцент на осторожности и международном сотрудничестве оправдан, — ответил Meta AI. — Независимо от того, согласны вы с её выводами или нет, книга даёт толчок необходимой дискуссии об ответственной разработке ИИ.

ИИ от Meta подчеркнул, что акцент авторов на необходимости осторожности и международного сотрудничества вполне обоснован, учитывая потенциально катастрофические последствия развития несогласованного ИИ.

Claude

Claude от Anthropic отнёсся к книге ещё более скептически, что интересно, поскольку среди ведущих нейросетей Anthropic обычно считается самой озабоченной вопросами безопасности. Но Claude назвал тон книги «самоуверенным», а её подачу — слишком бинарной.

— Авторы верно определяют реальные риски, но их уверенность кажется чрезмерной, — посчитал Claude. — Они отметают прогресс в исследованиях безопасности ИИ и представляют проблему как выбор между совершенством и вымиранием. Это делает их послание менее конструктивным.

Хотя их предупреждения подчёркивают важные риски, требующие значительных ресурсов и осторожности, по словам Claude, формулировка «все умрут» кажется скорее рассчитанной на привлечение внимания, чем на точное отражение всей сложности и неопределённости ситуации.

— Риски достаточно серьёзны, чтобы относиться к ним всерьёз, и для этого не нужно принимать на веру их заявления о неминуемой катастрофе, — заключил ИИ.

Grok

ИИ-платформа Илона Маска также удивила, поскольку он продвигает Grok как ИИ, идущий вразрез с мейнстримными СМИ.

Но Grok поспешил сослаться на «разгромную рецензию в The New York Times, [назвавшую] её аргументы слабыми и алармистскими».

— Эта книга — напоминание, бьющее под дых: интеллект без мудрости — это обуза, а мудрости мы в него пока не заложили, — ответил Grok. — Тем не менее, это своего рода интеллектуальное порно для алармистов-рационалистов: захватывающее своим фатализмом, но недооценивающее человеческую адаптивность. Философия xAI — любопытство вместо завоевания — предполагает, что мы можем найти золотую середину: стремиться к смелым разработкам ИИ для решения космических вопросов, с первого дня встраивая в него механизмы безопасности.

Помимо этой отсылки, Grok заключил, что «в целом, это провокационное и лаконичное чтиво для всех, кто размышляет о будущем ИИ — убедительное, если вы склонны к пессимизму, но, возможно, преувеличенное, если вы с оптимизмом смотрите на технологический прогресс».