Автономность без ответственности. В чем реальный риск искусственного интеллекта?

Если вам когда-либо доводилось ехать в беспилотном такси Uber по центру Лос-Анджелеса, вам, вероятно, знакомо это странное чувство неуверенности.

Водителя нет, разговоров нет — есть только тихий автомобиль, который строит догадки об окружающем мире. Поездка кажется нормальной, пока машина вдруг неверно не истолкует тень или резко не затормозит перед чем-то совершенно безобидным. Именно в этот момент становится очевидна главная проблема автономности: система не паникует, когда стоило бы. И именно в этом разрыве между самоуверенностью машины и реальной оценкой ситуации рождается или умирает доверие. Во многом сегодняшний корпоративный ИИ вызывает схожие чувства. Он компетентен, но лишен уверенности; он эффективен, но лишен эмпатии. Вот почему решающим фактором в любом успешном внедрении технологии становится не вычислительная мощность, а доверие.

В отчете MLQ State of AI in Business 2025 приводится суровая статистика: 95% ранних пилотных проектов ИИ не приносят измеримой окупаемости инвестиций (ROI). И дело не в слабости технологий, а в том, что инструменты не соответствуют проблемам, которые пытаются решить организации. Этот сценарий повторяется из отрасли в отрасль. Руководители нервничают, когда не могут понять, верен ли результат; команды сомневаются, можно ли доверять аналитическим панелям; а у клиентов быстро заканчивается терпение, когда взаимодействие ощущается как бездушный автоматизированный процесс, а не реальная помощь. Любой, кто хоть раз не мог получить доступ к своему банковскому счету, пока робот службы поддержки настаивал на неправильности ответов, знает, как быстро испаряется уверенность в системе.

Сервис Klarna остается самым громким примером масштабной автоматизации в действии. С 2022 года компания сократила штат вдвое и заявляет, что внутренние ИИ-системы теперь выполняют работу 853 штатных сотрудников (по сравнению с 700 ранее в этом году). Выручка выросла на 108%, а средняя компенсация сотрудникам увеличилась на 60% — частично за счет этой операционной выгоды. Однако реальная картина сложнее. Klarna по-прежнему отчитывается о квартальных убытках в 95 миллионов долларов, а генеральный директор предупреждает, что возможны новые сокращения персонала. Это доказывает, что автоматизация сама по себе не создает стабильности. Без четкой ответственности и структуры пользовательский опыт рушится задолго до того, как ломается сам ИИ.

Как отмечает Джейсон Рус, генеральный директор провайдера облачных решений Cirrus:

— Любая трансформация, которая подрывает уверенность — внутри бизнеса или за его пределами, — несет в себе издержки, которые нельзя игнорировать. В итоге вы можете оказаться в худшем положении, чем были.

Мы уже видели, что происходит, когда автономность опережает ответственность. Министерство труда и пенсий Великобритании использовало алгоритм, который ошибочно отметил около 200 000 заявлений на получение жилищных пособий как потенциально мошеннические, хотя большинство из них были законными. Проблема была не в технологии. Проблема была в отсутствии ответственного за эти решения. Когда автоматизированная система блокирует не тот аккаунт, отклоняет не ту заявку или создает ненужную панику, вопрос никогда не звучит просто как «почему модель дала сбой?». Вопрос звучит так: «кто отвечает за результат?». Без ответа на этот вопрос доверие становится хрупким.

— Пропущенный шаг — это всегда готовность, — говорит Рус. — Если процессы, данные и защитные механизмы не выстроены, автономность не ускоряет работу, она лишь усиливает слабые места. Ответственность должна быть на первом месте. Начните с желаемого результата, найдите, где ресурсы тратятся впустую, проверьте свою готовность и систему управления, и только потом автоматизируйте. Пропустите эти шаги — и ответственность исчезнет так же быстро, как появится прирост эффективности.

Часть проблемы кроется в одержимости масштабированием без фундамента, который делает этот масштаб устойчивым. Многие организации стремятся внедрить автономных агентов, способных действовать решительно, но лишь немногие задумываются о том, что произойдет, если эти действия выйдут за пределы ожидаемого. «Барометр доверия Edelman» (Edelman Trust Barometer) показывает устойчивое снижение доверия общества к ИИ за последние пять лет, а совместное исследование KPMG и Университета Мельбурна выявило, что работники предпочли бы больше участия человека почти в половине рассмотренных задач. Эти выводы подтверждают простую мысль: доверие редко возникает от того, что мы заставляем модели работать интенсивнее. Оно возникает, когда люди тратят время на понимание того, как принимаются решения, и когда управление работает не как педаль тормоза, а как руль.

Та же динамика наблюдается и со стороны клиентов. Исследование доверия от PwC выявляет огромную пропасть между восприятием и реальностью. Большинство руководителей считают, что клиенты доверяют их организации, тогда как с этим согласно лишь меньшинство клиентов. Другие опросы показывают, что прозрачность помогает преодолеть этот разрыв: подавляющее большинство потребителей хотят получать четкое уведомление, если в обслуживании используется ИИ. Без этой ясности люди не чувствуют себя в безопасности. Они чувствуют себя обманутыми, и отношения с брендом становятся напряженными. Компании, открыто говорящие об использовании ИИ, не только сохраняют доверие, но и нормализуют идею о том, что технологии и человеческая поддержка могут сосуществовать.

Некоторая путаница проистекает из самого термина «агентный ИИ» (agentic AI). Рынок часто трактует его как нечто непредсказуемое или самонаводящееся, тогда как на деле это автоматизация рабочих процессов, дополненная способностью рассуждать и запоминать контекст. Это структурированный способ для систем принимать скромные решения в рамках параметров, заданных людьми. Все успешные масштабные внедрения следуют одной и той же последовательности. Они начинают с результата, который хотят улучшить, затем смотрят, где в рабочем процессе есть лишние усилия, затем оценивают, готовы ли их системы и команды к автономности, и только потом выбирают технологию. Изменение этого порядка ничего не ускоряет. Оно просто позволяет совершать ошибки быстрее. Как говорит Рус, ИИ должен расширять человеческое суждение, а не заменять его.

Всё это указывает на более широкую истину. Каждая волна автоматизации в конечном итоге становится вопросом социальным, а не чисто техническим. Amazon построила свое доминирование на операционной стабильности, но также и на уверенности клиентов в том, что посылка будет доставлена. Когда эта уверенность падает, клиенты уходят. ИИ следует тому же шаблону. Вы можете развернуть сложные, самокорректирующиеся системы, но если клиент хоть раз почувствует себя обманутым или введенным в заблуждение, доверие рухнет. Внутри компаний действуют те же законы. Глобальное исследование KPMG подчеркивает, как быстро сотрудники теряют вовлеченность, когда не понимают, как принимаются решения и кто за них отвечает. Без этой ясности внедрение технологий буксует.

По мере того как агентные системы берут на себя все больше разговорных функций, эмоциональный аспект становится еще важнее. Первые отзывы о взаимодействии с автономными чатами показывают, что люди теперь оценивают свой опыт не только по тому, помогли ли им, но и по тому, было ли общение внимательным и уважительным. Клиент, от которого отмахнулись, редко держит разочарование в себе. Эмоциональный тон ИИ становится реальным операционным фактором, и системы, не соответствующие этим ожиданиям, рискуют стать обузой.

Трудная правда заключается в том, что технологии продолжат развиваться быстрее, чем наш инстинктивный психологический комфорт. Доверие всегда будет отставать от инноваций. Но это не аргумент против прогресса. Это аргумент в пользу зрелости. Каждый лидер в сфере ИИ должен спросить себя: доверил бы я этой системе свои личные данные? Могу ли я объяснить ее последнее решение простым языком? И кто вмешается, если что-то пойдет не так? Если ответы на эти вопросы туманны, организация не возглавляет трансформацию. Она готовит извинения.

Рус формулирует это просто:

— Агентный ИИ — это не проблема. Проблема — это безответственный ИИ.

Когда уходит доверие, прекращается и использование технологий, а проект, казавшийся революционным, становится очередной строчкой в статистике 95% неудач. Автономность — не враг. Враг — это забвение того, кто несет ответственность. Организации, которые держат руку человека на пульсе (и на руле), останутся у власти, когда хайп вокруг «автопилотов» в конечном итоге утихнет.