Цифровой Франкенштейн на коротком поводке — создатели ИИ требуют ограничить собственный прогресс

Взрыв интеллекта или шквал хайпа? «Крёстные отцы» ИИ и топ-менеджеры Кремниевой долины пугают мир потерей контроля.

Нобелевский лауреат Джеффри Хинтон, Йошуа Бенджио, а также научные лидеры OpenAI и Anthropic выпустили манифест о неминуемом «интеллектуальном взрыве». Политикам предлагают ввести госрегулирование скорости вычислений и внедрить ревизоров в IT-лаборатории.

В лагере создателей искусственного интеллекта — очередной приступ апокалиптической тревоги. Группа из более чем двадцати ведущих мировых учёных и топ-менеджеров индустрии опубликовала совместный доклад с предупреждением: человечество стоит на пороге «самого судьбоносного технологического сдвига в истории», совладать с которым цивилизация рискует не успеть.

Среди подписантов — фигуры монументальные: лауреат Нобелевской премии по физике 2024 года Джеффри Хинтон и канадский учёный Йошуа Бенджио (обоих называют «крёстными отцами» современных нейросетей), сооснователь компании Anthropic Джек Кларк, а также главный научный сотрудник OpenAI Якуб Пахоцкий.

Лейтмотив их 20-страничного труда — призвать мировые правительства к экстренным превентивным мерам до того, как прогресс сорвётся в неуправляемое пике.

Ловушка рекурсии: когда код начнёт писать код

Главный кошмар авторов доклада носит название «интеллектуальный взрыв» (intelligence explosion). Под этим термином исследователи понимают сценарий, при котором развитие ИИ перестаёт зависеть от человеческих инженеров и переходит в режим автономного самоускорения: эволюция технологий, ранее занимавшая десятилетия, будет спрессована в считанные недели или дни.

Триггером катастрофы, по мнению учёных, станет автоматизация сектора R&D (исследований и разработок). Механизм прост: как только нейросеть научится самостоятельно проектировать, тестировать и обучать более совершенные версии самой себя — запустится цикл так называемого «рекурсивного самосовершенствования».

В документе утверждается: когда алгоритмы достигнут экспертного уровня в компьютерной инженерии, всего один разработчик-человек сможет дирижировать виртуальным штатом, эквивалентным по производительности миллионам первоклассных исследователей.

Причём фундамент под этот процесс закладывается прямо сейчас:

1. В компании Anthropic признают, что их внутренний ИИ уже генерирует до 80 процентов собственного рабочего кода;
2. OpenAI всё активнее делегирует обучение новых флагманских моделей автономным ИИ-агентам;
3. По расчётам исследователей, порог полной автоматизации научных разработок в машинном обучении может быть пройден уже к 2028 году.

— Интеллектуальный взрыв способен сокрушить существующую систему сдержек и противовесов внутри государств, между сверхдержавами и технологическими корпорациями. Как только цепная реакция запустится, окно возможностей для государственного вмешательства захлопнется навсегда, — предупреждают авторы. — Предварительные данные говорят, что программно-управляемый интеллектуальный взрыв возможен. Это приведёт к крайне быстрому появлению высокоспособных или сверхчеловеческих систем.

Что предлагают «закрутить»?

Дабы не допустить выхода сингулярности из-под контроля, авторы предлагают чиновникам радикальный пакет мер, больше напоминающий протоколы нераспространения ядерного оружия:

1. Государственные аудиторы в штате: обязать IT-гигантов открывать двери лабораторий для независимых проверяющих и регулярно публиковать прозрачные отчёты о ходе разработок;
2. Лимиты на скорость эволюции: законодательно ограничить темпы модернизации моделей за фиксированный период времени;
3. «Красная кнопка» на уровне дата-центров: обязать операторов серверных мощностей иметь техническую возможность мгновенно ставить на паузу подозрительные исследовательские проекты;
4. Режим «стерильного бокса»: изолировать автоматизированные R&D-системы от открытого интернета (air-gap), исключая малейшую возможность их несанкционированного «побега».

Реальность против антиутопии: почему паника преувеличена

Впрочем, сквозь патетический тон документа проглядывают и куда более трезвые оговорки, которые авторы вынуждены признать: масштабы и сроки угроз пока остаются крайне неопределёнными.

При внимательном чтении становится ясно: концепция «взрыва интеллекта» страдает давней болезнью теоретического IT — она путает чистое программное обеспечение с физической материей реального мира.

1. Физический барьер: Допустим, нейросеть за час придумает идеальный чип или новый реактор. Но алгоритм не способен «накодить» фабрику литографии TSMC, поставки редкоземельного кремния или линии электропередач. Любое материальное внедрение упирается в годы логистики, строительства, дефицита сырья и бюрократических согласований.
2. Энергетический тупик: Сверхмощные дата-центры требуют гигаватт чистой энергии. Уже сегодня корпорации выкупают мощности закрытых АЭС, потому что энергосети развитых стран физически не справляются с аппетитами серверных стоек.
3. Саморегуляция угроз: В докладе справедливо отмечается, что тот же сверхразумный ИИ с равным успехом может использоваться и для купирования рисков — например, для мгновенного патчинга уязвимостей в киберпространстве или моделирования антидотов к новым токсинам.

Человечество за последние триста лет пережило изобретение парового двигателя, появление электричества, расщепление атома и рождение микропроцессоров. Каждый раз луддиты и встревоженные мыслители пророчили цивилизации гибель, восстание машин и закат гуманизма.

Однако на поверку перед нами — не предвестие Апокалипсиса, а классическая, пусть и форсированная новая промышленная революция. Да, она неизбежно перекроит рынок труда, сделает базовое программирование копеечным ремеслом и породит волну технологической безработицы. Но попытка представить очередной скачок производительности как мистическое восстание «цифрового Франкенштейна» выглядит скорее симптомом коллективного невроза Кремниевой долины, чем объективным сценарием будущего.

Примечания:

• Что такое «Regulatory Capture» (Регуляторный захват): Когда главы крупнейших монополистов (OpenAI, Anthropic, Google) призывают правительства: «Пожалуйста, зарегулируйте нас, введите строгие лицензии и аудит!», у экономистов это вызывает скепсис. Жёсткое государственное лицензирование разработки ИИ — лучший способ убить конкуренцию. Стартапы без миллиардных бюджетов и открытые проекты (Open Source, такие как LLaMA от Meta) просто не смогут оплатить работу государственных аудиторов и юридическое сопровождение. Для гигантов это идеальный способ возвести вокруг своего бизнеса непробиваемый ров.
• Фигура Джеффри Хинтона: 76-летний британско-канадский учёный весной 2023 года со скандалом уволился из Google именно для того, чтобы «открыто предупреждать мир об экзистенциальной опасности ИИ». В октябре 2024 года он получил Нобелевскую премию по физике за фундамент нейросетей (машины Больцмана), использовав свою нобелевскую трибуну для очередного раунда алармизма. При всём уважении к научным заслугам Хинтона, критики часто упрекают его в скатывании в философский эсхатологизм на склоне лет.
• Проблема «Галлюцинаций в петле обратной связи» (Model Collapse): Идея о том, что ИИ будет бесконечно самосовершенствоваться, тренируясь на собственных данных, сталкивается с доказанным математическим барьером — коллапсом моделей. Если нейросеть обучается исключительно на синтетическом контенте, созданном другими нейросетями, ошибки, мусор и погрешности в каждом поколении накапливаются экспоненциально, приводя к деградации («цифровому вырождению») модели, а не к её богоподобному всемогуществу.

Рекомендации:

• Почитайте эссе Марка Андриссена (одного из создателей первого веб-браузера Mosaic и венчурного гуру) «Почему искусственный интеллект спасёт мир» (Why AI Will Save the World) — блестящий контраргумент против догм апокалиптиков.
• Выступления Яна Лекуна (главный учёный по ИИ в Meta, третий «крёстный отец» нейросетей, получивший премию Тьюринга вместе с Хинтоном и Бенджио). Лекун открыто высмеивает страхи коллег, утверждая, что сегодняшние языковые модели глупее домашней кошки, а страх перед ними сродни панике перед «сверхзвуковым самолётом, для которого ещё даже не изобрели реактивный двигатель».

Мнение:

Читать этот доклад надо как ещё один голос в бесконечном споре «бум или гибель». Тема угроз от ИИ сильно раздута: это действительно новая технологическая революция, сопоставимая с электричеством или компьютерами, а не мгновенный апокалипсис. Реальные риски — концентрация власти у нескольких компаний, потеря рабочих мест в отдельных отраслях, дезинформация, зависимость от непрозрачных систем — гораздо ближе и конкретнее, чем гипотетический «взрыв интеллекта» к 2028 году.

Если вас тревожит ИИ — лучше думать о регулировании данных, авторских правах, энергетике дата-центров и том, кто будет владеть этими системами, чем о сценариях из научной фантастики. Доклад стоит просмотреть как документ эпохи, но воспринимать его как руководство к немедленным паническим действиям не стоит. История технологий учит: революции случаются, люди адаптируются, а самые громкие пророчества конца света обычно не сбываются в предсказанные сроки.