ИИ-компании должны открыто говорить о рисках, иначе они повторят ошибки табачной индустрии

Искусственный интеллект станет умнее «большинства людей, если не всех, и практически во всём», — считает глава Anthropic Дарио Амодей.

Компании, разрабатывающие искусственный интеллект, должны открыто говорить о рисках, которые несут их продукты, иначе они рискуют повторить ошибки табачных и опиоидных концернов. С таким заявлением выступил глава ИИ-стартапа Anthropic.

Дарио Амодей, возглавляющий американскую компанию-создателя чат-бота Claude, заявил, что, по его мнению, ИИ станет умнее «большинства людей, если не всех, и практически во всём». Он призвал своих коллег по отрасли «называть вещи своими именами».

В интервью CBS News Амодей подчеркнул, что недостаток прозрачности в отношении последствий использования мощного ИИ может привести к повторению ошибок табачных и опиоидных компаний, которые не били тревогу по поводу потенциального вреда для здоровья от своей продукции.

— Можно оказаться в мире, похожем на мир табачных или опиоидных компаний, которые знали об опасностях, но не говорили о них и, уж конечно, не предотвращали их, — сказал он.

В этом году Амодей уже предупреждал, что в течение пяти лет ИИ может уничтожить половину всех рабочих мест для «белых воротничков» начального уровня — офисных должностей в таких сферах, как бухгалтерия, юриспруденция и банковское дело.

— Без вмешательства трудно представить, что это не окажет значительного влияния на рынок труда. И я боюсь, что это влияние будет масштабным и проявится быстрее, чем мы видели в случае с предыдущими технологиями, — считает Амодей.

Амодей рассказал, что использует фразу «сжатый XXI век», чтобы описать, как ИИ может совершать научные прорывы гораздо быстрее, чем в предыдущие десятилетия.

— Сможем ли мы в 10 раз ускорить прогресс и, таким образом, сжать весь медицинский прогресс, который должен был произойти в течение всего XXI века, в пять или десять лет? — задался он вопросом.

Амодей является видным сторонником безопасности в сети, и в последнее время Anthropic неоднократно сообщала о различных проблемах со своими ИИ-моделями, включая их очевидное осознание того, что их тестируют, и даже попытки шантажа.

На прошлой неделе компания заявила, что группа, спонсируемая правительством Китая, в сентябре использовала её инструмент Claude Code для атаки на 30 организаций по всему миру, добившись «нескольких успешных вторжений».

В компании отметили, что одним из самых тревожных аспектов атаки было то, что Claude на протяжении всего инцидента действовал в значительной степени автономно. От 80% до 90% задействованных операций были выполнены без участия человека (without a human in the loop).

В интервью CBS Амодей заявил:

— Одна из сильных сторон моделей, в положительном смысле, — это их способность действовать самостоятельно. Но чем больше автономии мы даём этим системам, тем больше мы можем беспокоиться о том, делают ли они именно то, что мы от них хотим.

Логан Грэм, руководитель команды Anthropic по стресс-тестированию ИИ-моделей, пояснил CBS, что обратной стороной способности модели совершать прорывы в медицине может стать её помощь в создании биологического оружия.

— Если модель, например, может помочь создать биологическое оружие, то обычно это те же самые возможности, которые она могла бы использовать для помощи в создании вакцин и ускорении разработки лекарств, — сказал он.

Говоря об автономных моделях, которые считаются ключевым элементом инвестиционной привлекательности ИИ, Грэм отметил, что пользователи хотят, чтобы ИИ-инструмент помогал их бизнесу, а не разрушал его.

— Вы хотите, чтобы модель развивала ваш бизнес и принесла вам миллиард, — добавил он. — Но вы не хотите однажды проснуться и обнаружить, что она, к примеру, заблокировала вам доступ к собственной компании. Поэтому наш базовый подход заключается в том, что мы должны начать измерять эти автономные способности и проводить как можно больше странных экспериментов, чтобы посмотреть, что произойдёт.