Глава Anthropic предупреждает об опасной мощи ИИ — и тут же выпускает новую сверхмощную модель

В своем новом эссе Дарио Амодей призывает ввести строгие правила безопасности для передовых ИИ-моделей. И делает он это прямо накануне выхода своей компании на биржу (IPO).

В среду генеральный директор Anthropic заявил, что правительства больше не могут относиться к регулированию искусственного интеллекта просто как к вопросу для изучения. По его словам, Соединенным Штатам необходимы жесткие, обязательные требования безопасности для самых мощных ИИ-систем.

В эссе под названием «Политика в эпоху экспоненциального роста ИИ» (Policy on the AI Exponential) Амодей утверждает, что одних лишь требований к прозрачности уже недостаточно, и призывает к обязательному государственному регулированию передовых (frontier) ИИ-моделей.

— ИИ развивается молниеносными темпами: всего за четыре года нейросети прошли путь от неуверенного написания пары строчек кода до создания большей части программного обеспечения в крупнейших ИИ-корпорациях, — пишет он.

Публикация эссе совпала с расширением доступа к Claude Mythos: во вторник состоялся релиз Mythos 5 — закрытой передовой ИИ-модели, предназначенной исключительно для организаций в сфере кибербезопасности и правительственных партнеров. Исследователи, включая экспертов британского Института безопасности ИИ, обнаружили, что эта модель способна автономно проводить сложнейшие кибератаки.

По словам Амодея, его инициатива во многом заимствует принципы работы Федерального управления гражданской авиации США (FAA).

— Передовые ИИ-модели, подобно самолетам, должны проходить обязательное техническое тестирование и аудит. Если они не соответствуют строгим стандартам безопасности, их релиз должен блокироваться или отзываться как прямая угроза обществу, — поясняет он. — Я рад видеть, что указ администрации Трампа постепенно усиливает роль государства в сфере ИИ, однако предложение Anthropic подразумевает еще более решительные действия.

Согласно концепции СЕО, новая нормативная база должна включать обязательное независимое тестирование передовых ИИ-моделей третьими лицами и наделять правительство полномочиями блокировать запуск небезопасных систем. Компании будут обязаны надежно защищать «веса» моделей, проводить строгие тесты на безопасность и отчитываться о серьезных инцидентах.

Кроме того, глава Anthropic призывает правительства подготовиться к массовой потере рабочих мест из-за ИИ и прорывам в разработке лекарств, ограничить использование технологий слежки и автономного оружия в правоохранительных органах, а также укрепить сотрудничество демократических стран в сфере критических технологий.

— Во-первых, долгосрочное вытеснение людей с рабочих мест нежелательно и крайне опасно. Мы должны сделать всё возможное, чтобы минимизировать или предотвратить этот процесс, а не способствовать ему, — пишет Амодей, напоминая о своих прошлых предупреждениях на эту тему. — Во-вторых, любая реакция на спровоцированную ИИ безработицу должна учитывать две вещи: необходимость экономически обеспечить каждого человека и потребность людей в поиске смысла жизни, цели и свободы воли.

Публикация совпала и с другим событием: на этой же неделе Anthropic запустила Claude Fable 5 — публичную версию закрытого Claude Mythos 5. В качестве меры защиты от злоупотреблений эта система незаметно перенаправляет определенные запросы (касающиеся кибербезопасности, биологии, химии и разработки ИИ) к менее мощной модели Claude Opus 4.8. Этот релиз вызвал шквал критики со стороны разработчиков и исследователей из-за высокого расхода токенов в Fable, обязательного 30-дневного хранения данных пользователей и скрытых фильтров безопасности, которые урезают возможности модели без предупреждения.

Призыв Амодея к изменению политики звучит на фоне масштабной подготовки Anthropic к выходу на биржу. Ранее в этом месяце компания подала документы в Комиссию по ценным бумагам и биржам США (SEC) для проведения IPO. Этому предшествовало закрытие инвестиционного раунда Серии H на колоссальную сумму в 65 миллиардов долларов при оценке компании в 965 миллиардов долларов.

И хотя сам Амодей преподносит ситуацию как гонку между технологическим прогрессом и государственной политикой, критики сомневаются, что призывы к жесткому регулированию действительно служат общественному благу. В апреле генеральный директор OpenAI Сэм Альтман обвинил Anthropic в использовании «маркетинга, основанного на страхе» (fear-based marketing) для продвижения Claude Mythos. По его мнению, опасения по поводу продвинутого ИИ используются как предлог для концентрации контроля над технологией в руках узкой группы компаний.

— Это можно оправдывать по-разному, и в чем-то они правы — реальные угрозы безопасности действительно существуют, — отметил Альтман. — Но если ваша истинная цель звучит как «только мы должны контролировать ИИ, потому что мы надежные и хорошие ребята», то маркетинг на основе страха — вероятно, самый эффективный способ это оправдать.

Амодей категорически отверг идею о том, что разговоры об опасностях ИИ — это лишь пиар-стратегия. Он настаивает, что тревога общества отражает реальные угрозы, которые требуют решения.

— Люди боятся ИИ, потому что верно осознают реальность рисков, а не потому, что руководители ИИ-компаний оказались недостаточно «панглоссианскими», — заявил он, отсылая к вымышленному философу Панглоссу из повести Вольтера «Кандид», известному своим слепым, непоколебимым оптимизмом.

— Я считаю своим долгом как лидера ИИ-индустрии оставаться честным в отношении этих рисков. А то, что общество реагирует на эту прозрачность обеспокоенностью — это и есть показатель того, что демократическая подотчетность работает как надо, — подытожил он.

Примечания:

1. Дарио Амодей (Dario Amodei, р. 1983) — итало-американский учёный в области ИИ, генеральный директор и сооснователь Anthropic. До основания Anthropic в 2021 году занимал должность вице-президента по исследованиям в OpenAI, откуда ушёл вместе с группой сотрудников из-за разногласий по вопросам безопасности и коммерциализации. Его сёстра Даниэла Амодей — соосновательница и президент Anthropic. Амодей — одна из наиболее заметных фигур в дискуссии об «выравнивании» (alignment) ИИ: он последовательно выступает за то, что безопасность должна предшествовать коммерческому развертыванию.
2. Фронтальные модели ИИ (frontier models) — термин, укоренившийся в отрасли для обозначения наиболее продвинутых моделей ИИ, превосходящих все существующие аналоги на момент создания. Концепция «фронтальной модели» центральна для дискуссии о регулировании: именно эти модели рассматриваются как потенциально наиболее опасные. Термин широко используется в отчётах Frontier Model Forum (industry group, куда входят Anthropic, Google DeepMind, OpenAI и Microsoft) и в Белтсвилльском определении (Bletchley Declaration, 2023) — международном соглашении о безопасности ИИ, подписанном 28 странами.
3. Британский институт безопасности ИИ (UK AI Security Institute, AISI) — государственное научное учреждение Великобритании, созданное в ноябре 2023 года на базе существовавшего Frontier AI Taskforce при Белтсвилльском саммите по безопасности ИИ. Институт занимается независимой оценкой безопасности фронтальных моделей ИИ и сотрудничает с ведущими ИИ-компаниями. Его оценка того, что Claude Mythos способен «автономно выполнять сложные кибератаки», — одна из наиболее тревожных публичных характеристик модели на сегодняшний день.
4. Федеральное авиационное управление (FAA, Federal Aviation Administration) — ведомство США, отвечающее за регулирование гражданской авиации. Аналогия Амодея с FAA — не случайна: это одна из наиболее уважаемых и эффективных регуляторных структур в мире. FAA сертифицирует самолёты перед допуском к полётам, проводит расследования инцидентов и имеет право приостанавливать эксплуатацию — вплоть до запрета полётов целых типов воздушных судов (как это было с Boeing 737 MAX в 2019 году). Предложение Амодея — по сути, аналогичный механизм для ИИ: «сертификация перед запуском» с правом «приземления» модели в случае обнаружения проблем.
5. Указ администрации Трампа — речь идёт об исполнительном указе президента Трампа по регулированию ИИ, который пришёл на смену указу Байдена от октября 2023 года. Указ Байдена вводил наиболее всеобъемлющие на тот момент требования к безопасности ИИ, включая обязательное тестирование наиболее мощных моделей. Администрация Трампа частично отменила эти положения, сделав акцент на «инновациях» и «конкурентоспособности», но сохранила некоторые элементы государственного надзора. Амодей дипломатично приветствует «шаги» Трампа, одновременно подчёркивая, что Anthropic предлагает «ещё более решительные действия» — то есть фактически критикует администрацию за недостаточную активность.
6. Веса модели (model weights) — числовые параметры нейронной сети, определяющие её поведение. Веса крупных ИИ-моделей — это, по сути, «секретный ингредиент» компании: их утечка может позволить воссоздать модель или использовать её без ограничений безопасности. Утечка весов модели — одна из наиболее серьёзных угроз в области ИИ-безопасности. В 2023 году, например, произошла утечка весов модели Meta LLaMA, что привело к появлению неограниченных копий без встроенных защитных механизмов.
7. Токены (tokens) — минимальные единицы текста, которые обрабатывает языковая модель. Примерно: 1 токен ≈ 4 символа по-английски или ≈ 0,75 слова. Потребление токенов — основа монетизации API ИИ-моделей: компании платят за каждый обработанный токен. Повышенное потребление токенов у Claude Fable 5 означает, что модель обходится дороже для конечного пользователя, что особенно актуально для независимых разработчиков и небольших компаний.
8. IPO (Initial Public Offering) — первичное публичное размещение акций. Подача документов в SEC — формальный запуск процесса. Для Anthropic IPO станет одним из крупнейших технологических размещений в истории: при оценке в 965 миллиардов долларов компания будет стоить дороже, чем Meta на момент IPO в 2012 году ($104 млрд), и сопоставима с крупнейшими технологическими гигантами.
9. Серия H (Series H) — стадия венчурного финансирования. Обычный путь стартапа: Series A → B → C → D… Серия H — экстремально поздний раунд, свидетельствующий о том, что компания откладывала IPO, продолжая привлекать частный капитал. Для контекста: за всю историю Кремниевой долины единицы компаний дошли до раундов серии H до IPO — это, как правило, сверхуспешные «единороги» с астрономическими оценками.
10. Сэм Альтман (Sam Altman, р. 1985) — генеральный директор OpenAI. Бывший президент акселератора Y Combinator. Альтман и Амодей — бывшие коллеги, ставшие конкурентами: оба работали в OpenAI, после чего Амодей ушёл и основал Anthropic. Их публичный спор о «маркетинге на страхе» — одна из центральных дискуссий ИИ-индустрии 2025 года. По сути, это столкновение двух философий: Альтман считает, что чрезмерный акцент на рисках ведёт к регуляторному захвату (regulatory capture), при котором крупные компании, «достаточно ответственные» для соблюдения правил, получают конкурентное преимущество; Амодей утверждает, что риски реальны и замалчивание опаснее честного обсуждения.
11. Панглосс (Pangloss) — персонаж сатирического романа Вольтера «Кандид, или Оптимизм» (1759). Панглосс — наставник Канда, последователь философии Лейбница, утверждающий, что «всё к лучшему в этом лучшем из миров» — несмотря на землетрясения, войны, болезни и прочие катастрофы, которые обрушиваются на героев. Реплика Амодея — остроумный интеллектуальный жест: он утверждает, что его критики (и, косвенно, Альтман) подобны Панглоссу, отрицающему очевидные опасности. При этом он фактически присваивает себе позицию Вольтера-сатирика, разоблачающего слепой оптимизм.

Мнение:

• Anthropic одновременно предупреждает об опасностях ИИ и выпускает мощный ИИ-продукт. Этот парадокс — не риторическая уловка, а фундаментальное противоречие бизнес-модели Anthropic: компания зарабатывает на продаже доступа к моделям, которые сама же характеризует как потенциально опасные.
• Дискуссия Амодея — Альтмана имеет глубокие корни в экономике регулирования. «Захват регулятора» (regulatory capture) — хорошо изученный феномен, при котором регулирование, формально направленное на защиту общества, на практике служит интересам регулируемых компаний. Альтман прямо намекает, что Anthropic использует страх для обоснования регуляторной среды, в которой только крупнейшие игроки смогут выжить. Амодей, в свою очередь, указывает, что отсутствие регулирования ведёт к «гонке на дно», где безопасность приносится в жертву скорости вывода продукта на рынок.
• Истина, как обычно, где-то посередине — но для России, где развитие ИИ (по политическим и экономическим мотивам) катастрофически отстает от США, Китая и Европы, и стран СНГ важно отметить, что ни Амодей, ни Альтман не учитывают интересы «глобального Юга» и незападных стран: их дискуссия ведётся в рамках «демократических государств» и не затрагивает вопрос о том, кто именно будет устанавливать «глобальные» стандарты безопасности.