такое кино
Насколько опасен ИИ Mythos от Anthropic?
Мощь этой системы сопоставима с аналогами, но ее появление всё равно сулит пугающие перспективы для будущего хакерских атак.
В прошлом месяце компания Anthropic сделала громкое заявление о своей новой ИИ-модели Claude Mythos Preview. По их словам, она оказалась настолько эффективной в поиске уязвимостей программного обеспечения, что компания решила не выпускать ее в открытый доступ. Вместо этого доступ к ней получит лишь избранная группа компаний для сканирования и исправления собственного софта.
Это заявление требует контекста, однако в нем кроется непреложная истина.
Да, модель Anthropic действительно отлично находит программные уязвимости, но то же самое делают и другие нейросети. Британский Институт безопасности ИИ выяснил, что уже находящаяся в открытом доступе модель GPT-5.5 от OpenAI обладает сопоставимыми возможностями. А компания Aisle и вовсе воспроизвела опубликованные результаты Anthropic с помощью менее масштабных и более дешевых моделей.
В то же время отказ Anthropic от публичного релиза — это попытка выдать вынужденную меру за добродетель. Эксплуатация Mythos обходится очень дорого, и у компании, судя по всему, просто нет ресурсов для массового запуска. А что может быть лучше для искусственного раздувания капитализации, чем намекнуть на сверхспособности продукта, не доказывая их, и заставить всех вокруг повторять эти заявления как мантру?
Тем не менее, правда пугает. Современные генеративные ИИ-системы — не только от Anthropic, но и от OpenAI, а также модели с открытым исходным кодом — становятся пугающе хороши в поиске и эксплуатации уязвимостей в ПО. И это имеет серьезные последствия для кибербезопасности: как для нападающих, так и для защищающихся.
Злоумышленники будут использовать эти возможности для поиска уязвимостей и автоматического взлома самых разных систем. Они смогут проникать в критически важные инфраструктуры по всему миру: иногда — чтобы внедрить программы-вымогатели и заработать, иногда — чтобы украсть данные в целях шпионажа, а иногда — чтобы перехватить контроль над системами во время военных конфликтов. Это сделает мир куда более опасным и нестабильным местом.
Но в то же время защитники будут использовать те же самые инструменты для поиска и последующего «патчинга» (устранения) этих уязвимостей. Например, Mozilla использовала Mythos, чтобы найти 271 брешь в браузере Firefox. Теперь они исправлены и навсегда закрыты для хакеров. В будущем использование ИИ для автоматического поиска и устранения уязвимостей во всем софте станет привычной частью процесса разработки, что приведет к созданию гораздо более безопасного программного обеспечения.
Конечно, не всё так просто. Нас ждет лавина атак с использованием свеженайденных уязвимостей, но одновременно с этим — и гораздо более частые обновления для каждого приложения или устройства. Проблема в том, что множество систем вообще не поддаются патчингу, а те, что поддаются, обновляются далеко не всегда. Это значит, что многие бреши останутся открытыми. К тому же, судя по всему, найти и взломать систему легче, чем найти и исправить ошибку в ней. Всё это указывает на то, что в краткосрочной перспективе наше будущее станет более опасным. Организациям придется адаптировать свои протоколы безопасности к этой новой реальности.
Однако фокусироваться нужно на долгосрочной перспективе. Mythos не уникальна, хотя и превосходит по возможностям многие предыдущие модели. И она точно уступает тем моделям, которые появятся после нее. ИИ пишет код уже намного лучше, чем всего полгода назад. Есть все основания полагать, что этот прогресс продолжится, а значит, нейросети научатся писать более безопасный софт. В конечном итоге, в противостоянии ИИ-защитников и ИИ-хакеров преимущество окажется на стороне защиты.
Но еще интереснее более широкие последствия. Те же способности к поиску, распознаванию паттернов и логическому анализу, которые делают эти модели гениальными взломщиками ПО, почти наверняка применимы и к аналогичным системам. Налоговый кодекс — это не программный код, но это тоже набор алгоритмов с вводными данными и результатами. У него есть свои уязвимости — мы называем их налоговыми лазейками. У него есть свои эксплойты — мы называем их схемами уклонения от уплаты налогов. И у него есть свои «черные хакеры»: юристы и бухгалтеры.
Так же, как эти модели находят сотни брешей в сложных программных системах, они будут столь же эффективны в поиске новых, еще никем не открытых налоговых лазеек. Я уверен, что крупные инвестиционные банки уже тайно работают над этим прямо сейчас. Они скормили ИИ налоговые кодексы США, Великобритании, а возможно, и всех индустриально развитых стран, поставив задачу: найти стратегии экономии денег.
Сколько лазеек найдет такой ИИ? Десять? Сто? Тысячу? Знаменитый «Двойной ирландский с голландским сэндвичем» — это схема ухода от налогов, затрагивающая сразу несколько юрисдикций. Сможет ли ИИ придумать нечто еще более сложное? Мы понятия не имеем.
Безусловно, ИИ выдаст кучу уловок, которые на практике не сработают. Но именно здесь в игру вступят юристы и бухгалтеры — чтобы проверить и юридически обосновать эти лазейки. А затем продать их своим богатым клиентам.
То, что верно для налогового кодекса, верно и для любой другой сложной системы правил. Этим моделям можно поручить поиск брешей в экологическом законодательстве или стандартах безопасности пищевых продуктов — везде, где существуют сложные системы регулирования и влиятельные люди, желающие эти правила обойти.
И последствия этого будут куда страшнее, чем просто уязвимые компьютеры. Налоговые лазейки лишают государства доходов, а нормативные бреши позволяют сильным мира сего обходить закон, что влечет за собой целый клубок социальных проблем. При этом, если разработчики ПО могут выпустить патч за пару дней, то на внесение поправок в налоговый кодекс у страны обычно уходят годы. Это политический процесс, в котором лоббисты давят на законодателей, чтобы те не ставили эти «патчи». Взгляните хотя бы на лазейку с carried interest (долей в прибыли) — американскую налоговую схему, которая эксплуатируется десятилетиями. Разные администрации пытались закрыть эту уязвимость, но законодатели никак не могут противостоять лоббистам достаточно долго, чтобы наконец выпустить этот «закон-патч».
ИИ-технологии готовы перекроить значительную часть нашего общества. Подобно тому, как промышленная революция дала людям возможность массово потреблять физическую энергию вне своего тела, революция ИИ даст нам возможность масштабно выполнять когнитивные задачи вне нашего разума. Наши системы к этому не готовы; они спроектированы под человеческую скорость мышления. Мы видим это прямо сейчас на примере лавины программных уязвимостей, которые эти модели находят и взламывают. И вскоре мы увидим такую же лавину уязвимостей в любых других сводах правил. Адаптироваться к этой новой реальности будет сложно, но выбора у нас нет.
Брюс Шнайер — эксперт по кибербезопасности и криптографии, преподаватель Гарвардской школы Кеннеди при Гарвардском университете.
Примечания:
- Mythos — это не просто очередная модель. Anthropic позиционировала её как значительный скачок в способности модели к глубокому анализу и рассуждению, особенно в сфере безопасности. Однако, как верно отмечает Шнайер, монополии на это качество уже нет.
- Фраза «perform cognitive tasks outside of their bodies at scale» — одна из самых точных и глубоких метафор текущей технологической революции. Шнайер использует её уже несколько лет, и она становится всё актуальнее.
- Сравнение налогового кодекса с компьютерным кодом очень характерно для Шнайера. Он давно говорит, что право, экономика и регуляции — это тоже «код», просто написанный на человеческом языке, и поэтому уязвим для автоматизированного анализа.
- Double Dutch Irish Sandwich («Двойной ирландский с голландским сэндвичем»): Знаменитая легальная схема оптимизации налогов, которую годами использовали корпорации вроде Apple и Google. Она заключалась в перегонке прибыли между дочерними компаниями в Ирландии и Нидерландах, чтобы выводить деньги в офшоры (например, на Бермуды) практически без налогов.
- Carried interest loophole: Налоговая лазейка в США, которая позволяет управляющим инвестиционными и хедж-фондами платить налог со своей доли прибыли не по ставке обычного подоходного налога (около 37%), а по ставке налога на прирост капитала (около 20%). Это экономит финансистам миллиарды долларов.