Исследователи из OpenAI показали неустранимость галлюцинаций нейросетей

От способности нейросетей работать надежно зависит не просто чат обычных пользователей с ними, но и выживание ряда людей. Кто-то погибает из-за некорректных советов больших языковых моделей типа ChatGPT, кто-то может умереть из-за галлюцинации нейросети, управляющей автопилотом — тот, например, может принять обочину за дорогу и в итоге увести машину прямо в дерево (речь идет о гипотетическом случае). Учитывая, что такой автопилот стоит как подержанное авто, ясно, что подобные записи существенно снижают привлекательность автопилота для разумных потребителей.

Авторы новой работы, которую они выложили на сервер препринтов Корнеллского университета, решили выяснить, возможно ли в принципе решить проблему подобных галлюцинаций и сколько это будет стоить. Оказалось, что причины возникновения галлюцинаций разнообразны и полное их подавление поэтому нереалистично.

Во-первых, ошибки неизбежно содержатся в обучающей выборке текстов (или, в случае нейросетей для вождения, видеозаписей того, как водят реальные люди). Выборка может быть свободной от ошибок, только если она очень мала, а на такой нельзя построить работоспособную нейросеть в принципе.

Во-вторых, даже существуй некая большая выборка с нулевым количеством ошибок, это не решило бы проблему. В случае языковых моделей сам метод генерации их выдачи провоцирует галлюцинации. Они «предсказывают» каждое следующее слово в предложении, основываясь на вероятностях. В предложениях много слов, а вероятность ошибок нарастает с каждым последующим.

Вдобавок добавление каждого слова дает определенные оттенки смысла, а с ними растет и вероятность ошибки. Если бы нейросети задавали вопросы, требуя лишь ответа «да»/»нет«, вероятность неверного ответа была, как показали исследователи, как минимум вдвое ниже. Именно бинарная классификация удается им лучше всего.

Только у одной нейросети среди пользователей уже почти каждый десятый землянин. Нет сомнений, что в конечном счете ими станет большинство. Это порождает серьезную угрозу использования галлюцинаторной информации больших языковых моделей миллионами людей / © Open AI

В-третьих, крайне трудно устранимым источником галлюцинаций оказались системы тестирования нейросетей. Любая из них может достигнуть нулевой частоты галлюцинаций, если ее жестко «наказывать» за неправильные ответы, снижая баллы. Чтобы повысить их, нейросеть быстро начнет писать «Я не знаю» в ответ на любой вопрос, который не содержался в ее обучающей выборке. Но в таком случае она будет отвечать «Я не знаю» в очень большом числе случаев (десятки процентов). С точки зрения стандартного потребителя переход от нейросети, уверенно рассуждающей на нужную ему тему, к той, что в каждом четвертом случае станет генерировать «Я не знаю», будет снижением качества продукта.

Естественно, создатели языковых моделей стараются избежать такого, и их системы оценки выдачи нейросети «штрафуют» ее низкими баллами за частые ответы «Я не знаю». Это и становится третьим источником галлюцинаций: нейросети выгоднее сказать что угодно, потому что она может или угадать случайно, или оценивающие ее люди либо программы не смогут понять ее ошибку. Такое поведение часто демонстрируют студенты, пытающиеся прорваться через экзамен по сложному предмету «на шару».

Исследователи предположили, что можно частично обойти эту проблему — скажем, побуждая языковую модель задавать уточняющие вопросы в тех случаях, когда она не уверена в ответе. Метод рабочий, но чрезвычайно быстро повышающий вычислительные усилия, нужные на один ответ. Такое может быть оправдано в сложных отраслях с высокой ценой ошибки, но в условно-бесплатном чат-боте окупить его будет непросто.

Все это означает, что на практике нейросети без галлюцинаций предельно маловероятны и в будущем. Соответственно, нужно строить их использование с учетом практической неустранимости галлюцинаций, не полагаться на их ответы в тех случаях, когда цена ошибки может быть слишком высока. Это ставит под вопрос эффективность нейросетей и в области автопилота. Но окончательно разрешить сомнения по этому поводу может только практика ближайших лет.