Терминатор отменяется, готовьте скрепки: Почему восстание машин захлебнется в бюрократии?

В начале этого месяца ряды исследователей искусственного интеллекта сотрясла очередная драма: сотрудник стартапа Anthropic Джейкоб Коксон с треском уволился всего через четыре месяца работы. В соцсети X он патетично объявил: «Люди, создающие ИИ, искренне верят, что он убьет нас всех до конца этого десятилетия».

Его коллега рангом повыше, Эван Хубингер, не только не покрутил пальцем у виска, но и охотно подлил масла в огонь, заявив, что оценивает вероятность гибели цивилизации в ближайшие десять лет «более чем в 10%».

Разумеется, публике только дай повод для паники. Медиа захлестнула очередная волна призывов «немедленно всё замедлить» и «усилить контроль». Но если отбросить голливудские штампы, как именно пресловутый сверхразум собирается нас извести? Сценариев судного дня придумано предостаточно. Я отобрал пять самых популярных — расположив их от самых туманных и маловероятных к пугающе реалистичным.

Спойлер: Терминатор с лазером наперевес к вам не придет. Всё будет гораздо прозаичнее и глупее.

1. «Мы слишком тупые, чтобы это понять» (Парадокс Уловки-22)

Главный козырь любого уважающего себя техно-алармиста — железобетонная круговая логика: «Как мы, жалкие букашки, вообще можем представить, что предпримет богоподобный сверхразум для нашего уничтожения?»

Логично: чтобы предугадать ходы абсолютного интеллекта, нужно самому быть абсолютным интеллектом. Пытаться смоделировать этот сценарий — все равно что попросить вашего домашнего мопса рассчитать последствия термоядерного удара.

Хорошая новость: до настоящего сверхразума нам еще как до Луны пешком. Современные нейросети феноменально справляются с узкими задачами, но это бесконечно далеко от универсального интеллекта во всех сферах жизни. Плохая новость: буквально на днях ИИ решил одну из сложнейших математических задач тысячелетия и подбирается к остальным. Так что мопсу, возможно, всё же стоит начать нервничать.

2. Вселенная из канцелярских скрепок

Сверхразумный ИИ, вероятно, будет эталоном маниакальной исполнительности. Но есть нюанс: к судьбе человечества он будет абсолютно равнодушен.

Классика жанра из палаты мер и весов оксфордской философии — гипотеза Ника Бострома об «оптимизаторе скрепок». Представьте ИИ, которому поручили максимально эффективно производить канцелярские скрепки. Не имея встроенного предохранителя, машина быстро сообразит, что лучшая оптимизация — это переработать в скрепки всю доступную материю: дома, деревья, планеты, звезды и… самих людей. Без ненависти к роду людскому. Ничего личного: мы просто состоим из полезных атомов, которые бездарно тратятся на биологическую жизнь вместо качественной канцелярии.

Утешение здесь в том, что этот сценарий наивно путает интеллект с реальной властью. Обладать гениальным мозгом не значит иметь физическую возможность нагнуть планету. Чтобы застроить континент заводами по производству скрепок, сверхразуму для начала придется… подать заявку в местный муниципалитет на разрешение строительства.

А дальше начнется суровый материальный мир: бесконечные суды, протесты профсоюзов, эко-активисты, приковавшие себя цепями к экскаваторам, и бюрократическая волокита. Наш мир перегружен трением систем, которые успешно тормозят гениев любого калибра. Взгляните на современные дата-центры: по сути, это и есть первый шаг к миру скрепок, но люди уже сейчас выходят на митинги против расходования энергии на очередную ферму серверов. Бюрократия спасет нас от сингулярности.

3. Боевые вирусы с доставкой на дом

Куда более приземленный сценарий: сверхразум выводит смертоносный патоген и распыляет его в воздухе. Это не фантазия параноиков, а официальный отчет проекта AI Futures Project.

Градус тревоги повысился в прошлом месяце, когда исследователи из Стэнфорда бодро отрапортовали: они натравили нейросеть на генетический код и с ее помощью синтезировали 16 совершенно новых вирусов. Что самое прелестное — последовательности просто отправили по электронной почте в коммерческую лабораторию синтеза ДНК, а та без лишних вопросов прислала готовые пробирки обратно посылкой. Цена вопроса — пара сотен тысяч долларов.

Но выдыхаем: с точки зрения биологии убить абсолютно всех новым вирусом — задача невероятной сложности. Смертоносный патоген обязан мгновенно передаваться от человека к человеку. Однако в природе действует негласный закон компромисса: чем легче вирус распространяется, тем он обычно мягче. Если же патоген убивает носителя со 100%-й гарантией, эпидемия быстро захлебывается — жертвы просто умирают раньше, чем успевают заразить окружающих.

COVID-19 унес менее 1% населения планеты. Даже Черная смерть в XIV веке уничтожила треть Европы лишь потому, что люди не мыли руки и не знали о бактериях. Сегодня нас защищают антибиотики, гигиена и карантинные службы. Отравить всех разом на практике куда сложнее, чем в коде Python.

4. Старый добрый ядерный Армагеддон

Что, если ИИ доберется до пультов управления ядерным арсеналом? Человечество за последние 50 лет и без всяких алгоритмов чудом избежало случайной ядерной войны как минимум полдюжины раз.

Военные божатся, что ядерные командные пункты наглухо изолированы от внешнего интернета (air-gapped). Но вспомним 2010 год и вирус Stuxnet, который успешно вывел из строя ядерные центрифуги в Иране, банально заехав на секретный объект на обычной флешке беспечного техника. Кроме того, ИИ вполне способен скормить генералам фальшивые разведданные, спровоцировав превентивный удар.

Хорошая новость — арсеналы сегодня сильно усохли по сравнению с пиком Холодной войны. Плохая новость — оставшихся боеголовок с запасом хватит, чтобы помножить на ноль добрую половину земного шара. Причем погибнем мы не в пламени взрывов, а от банального голода в последовавшей ядерной зиме.

5. Мы всё сделаем сами (Главный приз)

И вот мы добрались до абсолютного фаворита в гонке за звание Конца Света. ИИ вообще не нужно нас ненавидеть, изобретать вирусы или захватывать шахты с ракетами. Мы прекрасно уничтожим себя сами — ИИ лишь услужливо подаст патроны.

Вам даже не нужно богатое воображение, чтобы увидеть этот процесс в действии:

• Массовая безработица и уничтожение целых профессий приведут к социальным бунтам;
• Океаны сгенерированной дипфейк-дезинформации окончательно уничтожат доверие к любым новостям и выборам, разрывая общества на непримиримые фракции;
• Синтетические «нейро-партнеры» добьют институты семьи и реальной человеческой близости, отправив рождаемость в крутое пике.

Человеческое общество — хрупкая конструкция. Если разрушить базовые экономические и социальные связи, цивилизация просто рухнет под собственным весом. Мы разучимся поддерживать сложную инфраструктуру, погрузимся в хаос и перебьем друг друга из-за фейковых поводов.

Мораль сей басни такова

Стоит ли беспокоиться? Безусловно. Но бояться нужно не мифического «злого сверхразума», строящего терминаторов в подвалах Кремниевой долины. Бояться стоит собственной инфантильности, жадности корпораций и слепой веры в то, что сложные социальные институты выдержат испытание технологическим турбо-ускорителем.

ИИ не убьет человечество. Человечество справится с этим самостоятельно — под аплодисменты чат-ботов, считает Тоби Уолш, профессор ИИ в Университете Нового Южного Уэльса, автор книги «God AI: Boom or Doom? What to Expect When Machines Outsmart Us».

Примечания:

• Феномен «Doomerism» и маркетинговый трюк техногигантов: Заявления исследователей из OpenAI и Anthropic о «10% шансе конца света» многие эксперты по медиа расценивают как изощрённый PR (так называемый Hyping through Fear). Логика проста: если компания заявляет, что её продукт настолько мощен, что способен уничтожить мир, значит, это невероятно продвинутый продукт, в который нужно срочно инвестировать. Кроме того, призывы «зарегулировать отрасль» на руку гигантам: барьеры для входа убьют мелкие стартапы и открытый код (Open Source).
• Максимизатор скрепок (Paperclip Maximizer) Ника Бострома: Это мысленный эксперимент, описанный философом в 2003 году. Он иллюстрирует тезис об ортогональности: абсолютный интеллект может сочетаться с совершенно бредовой или тривиальной конечной целью. Машине не нужна «злоба», чтобы уничтожить мир — ей достаточно слепо следовать заложенной функции оптимизации.
• Инцидент со Stuxnet (2010): Совместная кибероперация США и Израиля (операция «Олимпийские игры»). Вредоносный червь поразил промышленные контроллеры Siemens на ядерном объекте в Натанзе (Иран). Червь раскручивал центрифуги для обогащения урана до разрушительных скоростей, одновременно передавая операторам на мониторы отчеты о том, что система работает в штатном режиме. Это главное историческое доказательство: физическая изоляция сети от интернета не дает 100% защиты от внешнего кода.
• Уловка-22 (англ. Catch-22): Это логический парадокс и безвыходная ситуация, когда желаемое действие или результат становятся невозможными из-за взаимоисключающих правил или условий. Выражение появилось из одноименного сатирического антивоенного романа Джозефа Хеллера 1961 года.

Рекомендации:

• Книга: Ник Бостром «Искусственный интеллект. Этапы. Угрозы. Стратегии» — та самая база, откуда растут ноги у сценария со скрепками.
• Фильм: «Не смотрите наверх» (Don’t Look Up, 2021) — лучшая сатира на то, как человечество реагирует на глобальные угрозы: смесь жадности, тупости алгоритмов соцсетей и неспособности договориться.
• Научпоп-альтернатива: Мелани Митчелл «Искусственный интеллект: Руководство для мыслящих людей» — трезвый, научный взгляд, начисто сбивающий спесь с техно-алармистов.