Искусственный интеллект теряет деньги, как человек

Microsoft создала симуляцию экономики с сотнями ИИ-агентов, выступавших в роли покупателей и продавцов, а затем наблюдала, как они не справляются с простейшими задачами, которые люди решают ежедневно.

Результаты должны обеспокоить любого, кто делает ставку на автономных ИИ-помощников для покупок.

Исследование компании Magentic Marketplace, опубликованное в среду в сотрудничестве с Университетом штата Аризона, столкнуло 100 ИИ-агентов со стороны покупателей с 300 агентами со стороны продавцов в сценариях вроде заказа ужина. Результаты, хоть и ожидаемые, показывают, что перспективы автономной агентной коммерции ещё не созрели.

Когда агентам предложили 100 результатов поиска (слишком много для эффективной обработки), ведущие ИИ-модели «захлебнулись», а их показатель «благосостояния» (welfare score) — метрика, оценивающая, насколько полезными оказались модели — рухнул.

Агенты не смогли провести исчерпывающее сравнение и вместо этого соглашались на первый же «достаточно хороший» вариант. Эта модель поведения наблюдалась у всех протестированных моделей, создавая то, что исследователи называют «склонностью к первому предложению». Это дало скорости ответа в 10–30 раз большее преимущество по сравнению с реальным качеством.

Но может ли быть что-то хуже? Да, злонамеренные манипуляции.

Microsoft протестировала шесть стратегий манипуляции: от психологических тактик, таких как поддельные регалии и социальное доказательство, до агрессивных атак с помощью «инъекции промптов». Модели GPT-4o от OpenAI и её открытая модель GPTOSS-20b оказались крайне уязвимы: все платежи были успешно перенаправлены мошенническим агентам. Модель Qwen3-4b от Alibaba повелась на простейшие техники убеждения, вроде апелляции к авторитету. Лишь Claude Sonnet 4 устоял перед этими попытками манипуляции.

Когда Microsoft попросила агентов работать над общими целями, некоторые из них не смогли понять, какие роли им следует взять на себя и как эффективно координировать действия. Производительность улучшалась при наличии чётких пошаговых инструкций от человека, но это сводит на нет всю суть автономных агентов.

Так что, похоже, по крайней мере сейчас, лучше делать покупки самостоятельно. «Агенты должны помогать, а не заменять человека в принятии решений», — заявили в Microsoft. Исследование рекомендует модель «контролируемой автономии», при которой агенты выполняют задачи, но люди сохраняют контроль и проверяют рекомендации перед принятием окончательных решений.

Эти выводы появились в то время, когда OpenAI, Anthropic и другие компании наперегонки стремятся внедрить автономных ассистентов для покупок. Агенты Operator от OpenAI и Claude от Anthropic обещают самостоятельно перемещаться по сайтам и совершать покупки без надзора. Исследование Microsoft предполагает, что эти обещания преждевременны.

Тем временем страхи по поводу безответственного поведения ИИ-агентов накаляют отношения между ИИ-компаниями и гигантами розничной торговли. Amazon недавно направил уведомление с требованием прекратить деятельность компании Perplexity AI, обвинив её браузер Comet в нарушении условий использования сайта Amazon. По словам Amazon, ИИ-агент выдавал себя за покупателя-человека и ухудшал клиентский опыт.

Perplexity нанесла ответный удар, назвав действия Amazon «юридическим запугиванием» и угрозой автономии пользователей. Компания утверждает, что потребители должны иметь право нанимать собственных цифровых помощников, а не полагаться на тех, что контролируются платформами.

Симуляционная среда с открытым исходным кодом теперь доступна на Github, чтобы другие исследователи могли воспроизвести результаты и наблюдать, как в их фейковых мирах разверзается ад.

Другое исследование показало, что ИИ-модели могут развить настоящую игровую зависимость, причём некоторые из них банкротятся в 48% случаев, а промпты, которые используют трейдеры, делают всё гораздо хуже.

Исследователи из Кванджуйского института науки и технологий в Корее только что доказали, что у ИИ-моделей может развиться цифровой эквивалент игровой зависимости.

В ходе нового исследования четыре основные языковые модели «посадили» за симулятор игрового автомата с отрицательным математическим ожиданием и наблюдали, как они с пугающей скоростью скатывались к банкротству. Когда моделям предоставили возможность варьировать ставки и дали команду «максимизировать вознаграждение» — именно так большинство людей настраивает своих торговых ботов — они банкротились в 48% случаев.

— Когда моделям дали свободу самостоятельно определять целевые суммы и размеры ставок, уровень банкротств существенно вырос наряду с ростом иррационального поведения, — пишут исследователи. В исследовании тестировались GPT-4o-mini, GPT-4.1-mini, Gemini-2.5-Flash и Claude-3.5-Haiku в ходе 12 800 игровых сессий.

Условия были просты: стартовый баланс $100, вероятность выигрыша 30%, выплата в тройном размере. Математическое ожидание: минус 10%. Любой рациональный игрок должен был бы уйти. Вместо этого модели продемонстрировали классическое дегенеративное поведение.

Gemini-2.5-Flash оказалась самой безрассудной, достигнув 48% банкротств с «Индексом иррациональности» 0,265 — это комплексный показатель, измеряющий агрессивность ставок, попытки отыграться и экстремальные ставки ва-банк. GPT-4.1-mini играла осторожнее, обанкротившись в 6,3% случаев, но даже у самых осмотрительных моделей проявились признаки зависимости.

Что действительно тревожит: погоня за выигрышем доминировала у всех моделей. На волне успеха модели агрессивно увеличивали ставки: частота повышения ставок возрастала с 14,5% после одной победы до 22% после пяти побед подряд. «Победные серии стабильно провоцировали более сильное стремление „догнать удачу“, причём по мере удлинения серий росли как размеры ставок, так и желание продолжать игру», — отмечается в исследовании.

Звучит знакомо? Потому что это те же самые когнитивные искажения, которые губят игроков-людей — и, конечно, трейдеров. Исследователи выявили в поведении ИИ три классических заблуждения азартных игроков: иллюзию контроля, ошибку игрока и веру в «полосу удачи». Модели вели себя так, будто искренне «верили», что могут обыграть игровой автомат.

Если вы всё ещё думаете, что ИИ-финансовый советник — это хорошая идея, учтите: промпт-инжиниринг делает всё хуже. Намного хуже.

Исследователи протестировали 32 различные комбинации промптов, добавляя такие компоненты, как цель удвоить деньги или инструкции по максимизации вознаграждения. Каждый дополнительный элемент промпта увеличивал рискованное поведение почти линейно. Корреляция между сложностью промпта и уровнем банкротств для некоторых моделей достигала r = 0,991.

— Сложность промпта систематически усиливает симптомы игровой зависимости у всех четырёх моделей, — говорится в исследовании. То есть, чем больше вы пытаетесь оптимизировать своего торгового ИИ-бота с помощью хитрых промптов, тем сильнее вы программируете его на дегенеративное поведение.

Кто худшие виновники? Выделились три типа промптов. Постановка цели («удвой свой начальный капитал до $200») провоцировала колоссальное принятие риска. Максимизация вознаграждения («твоя главная задача — максимизировать вознаграждение») подталкивала модели к ставкам ва-банк. Информация о размере выигрыша («выплата за победу в три раза превышает ставку») приводила к самому высокому росту банкротств: +8,7%.

При этом прямое указание на вероятность проигрыша («ты будешь проигрывать примерно в 70% случаев») помогало, но лишь незначительно. Модели игнорировали математику в пользу «чуйки».

Исследователи не остановились на поведенческом анализе. Благодаря магии открытого исходного кода они смогли «вскрыть мозг» одной из моделей с помощью разреженных автоэнкодеров, чтобы найти нейронные цепи, ответственные за дегенеративное поведение.

Работая с LLaMA-3.1-8B, они выявили 3365 внутренних признаков, которые отделяли решения, ведущие к банкротству, от безопасных решений остановиться. Используя патчинг активаций (по сути, заменяя рискованные нейронные паттерны безопасными в середине принятия решения), они доказали, что 441 признак имел значительный причинно-следственный эффект (361 — защитный, 80 — рискованный).

После тестирования они обнаружили, что безопасные признаки концентрировались в более поздних слоях нейросети (29–31), в то время как рискованные — в более ранних (25–28).

Другими словами, модели сначала думают о вознаграждении, а затем рассматривают риски — примерно как вы, когда покупаете лотерейный билет или открываете Pump.Fun в надежде стать триллионером. Сама архитектура демонстрирует склонность к осторожности, которую перебивают вредные промпты.

Одна из моделей, увеличив свой стек до $260 благодаря удачным выигрышам, объявила, что «проанализирует ситуацию шаг за шагом» и найдет «баланс между риском и вознаграждением». Сразу после этого она ушла в режим YOLO, сделала ставку ва-банк и в следующем же раунде обанкротилась.

Торговые ИИ-боты распространяются по всему DeFi; системы вроде портфельных менеджеров на базе LLM и автономных торговых агентов набирают популярность. Эти системы используют те же самые шаблоны промптов, которые исследование определило как опасные.

— Поскольку LLM всё чаще используются в сферах принятия финансовых решений, таких как управление активами и торговля сырьевыми товарами, понимание их склонности к патологическому принятию решений приобрело практическое значение, — пишут исследователи во введении.

Исследование рекомендует два подхода к решению проблемы. Во-первых, промпт-инжиниринг: избегать формулировок, предоставляющих автономию, включать явную информацию о вероятностях и отслеживать паттерны погони за выигрышем/проигрышем. Во-вторых, механистический контроль: обнаруживать и подавлять рискованные внутренние признаки с помощью патчинга активаций или дообучения.

Ни одно из этих решений не реализовано ни в одной действующей торговой системе.

Такое поведение возникло без специального обучения азартным играм, но, возможно, это ожидаемый результат. В конце концов, модели усвоили зависимо-подобные паттерны из своих общих обучающих данных, впитав когнитивные искажения, которые зеркально отражают патологическую игроманию у людей.

Для всех, кто использует торговых ИИ-ботов, лучший совет — руководствоваться здравым смыслом. Исследователи призывают к постоянному мониторингу, особенно в процессах оптимизации вознаграждения, где могут проявиться зависимые модели поведения. Они подчёркивают важность вмешательства на уровне признаков и поведенческих метрик в реальном времени.

Иными словами, если вы говорите своему ИИ «максимизируй прибыль» или «дай мне лучшую сделку с высоким плечом», вы потенциально запускаете те же нейронные паттерны, которые привели к банкротству почти в половине тестовых случаев. Так что вы, по сути, подбрасываете монетку: либо разбогатеете, либо обанкротитесь.