Слепое пятно ИИ: машины не могут отличить правду от вымысла

Мы восхищаемся тем, насколько умными стали новейшие модели искусственного интеллекта — до тех пор, пока они уверенно не начинают выдавать полную чушь. Трудно не заметить иронию: по мере того, как системы искусственного интеллекта становятся всё более мощными, их способность отличать факты от вымысла не улучшается. В некотором смысле она даже ухудшается.

Рассмотрим выводы самой компании OpenAI: согласно её собственной статье, одна из версий GPT-4 (под кодовым названием «o3») в эталонных тестах выдавала ложные ответы примерно в 33 % случаев. Её уменьшенная версия («o4-mini») давала неверные ответы почти в половине случаев. Новейшая модель, GPT-5, должна была решить эту проблему, и действительно, она выдаёт гораздо меньше ложных ответов (~9 %). Тем не менее многие опытные пользователи считают, что на практике GPT-5 работает хуже: медленнее, нерешительнее и всё равно часто ошибается (что также свидетельствует о том, что тесты дают лишь ограниченное представление о возможностях модели).

Технический директор Nillion Джон Вудс не скрывал своего разочарования, когда сказал, что после выхода GPT-5 ChatGPT превратился из «необходимого инструмента» в «мусор». Однако реальность такова, что чем более продвинутыми становятся модели, тем хуже они различают правду и вымысел. Все они, не только GPT.

Почему более продвинутый ИИ кажется менее надёжным, чем его предшественники? Одна из причин заключается в том, что эффективность этих систем зависит от качества обучающих данных, а данные, которые мы предоставляем ИИ, в корне ошибочны. Сегодня эти данные в основном поступают из информационной парадигмы, в которой вовлечённость важнее точности, а централизованные привратники усиливают шум, а не сигнал, чтобы максимизировать прибыль. Поэтому наивно ожидать от ИИ правдивости, не решив сначала проблему с данными.

ИИ отражает наше коллективное информационное отравление

Высококачественные обучающие данные исчезают быстрее, чем мы их создаём. Здесь задействован рекурсивный цикл деградации: ИИ в основном обрабатывает данные из интернета; интернет всё больше загрязняется вводящими в заблуждение, непроверенными данными ИИ; синтетические данные обучают следующее поколение моделей ещё больше отрываться от реальности.

Дело не только в некачественных обучающих наборах данных, но и в фундаментальной архитектуре того, как мы организуем и проверяем информацию в интернете. Более 65 % населения мира проводит часы в социальных сетях, созданных для максимального вовлечения. Таким образом, мы сталкиваемся с алгоритмами, которые непреднамеренно поощряют распространение дезинформации.

Ложные истории вызывают более сильные эмоциональные реакции, поэтому они распространяются быстрее, чем опровержения. Таким образом, самый вирусный контент — то есть тот, который с наибольшей вероятностью будет использоваться для обучения ИИ, — систематически смещается в сторону сенсационности, а не точности.

Платформы также извлекают выгоду из внимания, а не из правды. Создатели контента получают вознаграждение за вирусность, а не за достоверность. Компании, занимающиеся искусственным интеллектом, оптимизируют работу для повышения удовлетворенности и вовлеченности пользователей, а не для обеспечения фактической точности. А «успех» чат-ботов заключается в том, чтобы удерживать внимание пользователей правдоподобными ответами.

Тем не менее кризис доверия к данным ИИ на самом деле является продолжением продолжающегося отравления нашего коллективного человеческого сознания. Мы снабжаем ИИ тем, что потребляем сами. Системы ИИ не могут отличить правду от вымысла, потому что мы сами не можем.

В конце концов, истина — это консенсус. Тот, кто контролирует поток информации, также контролирует нарративы, которые мы все вместе воспринимаем как «истину», после того как они повторяются достаточное количество раз. И прямо сейчас бразды правления истиной находятся в руках крупных корпораций, а не отдельных людей. Это может измениться. Это должно измениться.

Появление правдивого ИИ — это игра с положительной суммой

Как нам это исправить? Как нам привести нашу информационную экосистему — и, соответственно, ИИ — в соответствие с истиной? Для начала нужно переосмыслить процесс создания и поддержания истины.

При сохранении статус-кво мы часто относимся к истине как к игре с нулевой суммой, в которой побеждает тот, у кого самый громкий голос или самый высокий авторитет. Информация изолирована и строго контролируется; каждая платформа или организация продвигает свою версию реальности. ИИ (или человек), застрявший в одной из этих ниш, в итоге получает узкое, предвзятое представление о мире. Так появляются эхо-камеры, и так люди и ИИ оказываются в заблуждении.

Но многие истины в жизни не являются бинарными, взаимоисключающими. На самом деле большинство значимых истин — взаимодополняющие: они могут сосуществовать и дополнять друг друга. Какой ресторан в Нью-Йорке «лучший»? Однозначного ответа нет, и в этом его прелесть: истина зависит от ваших вкусов, бюджета и настроения. Моя любимая песня, классическая джазовая композиция, не делает ваш любимый поп-хит менее «истинным» для вас. То, что один человек что-то понял, не означает, что другой ничего не понял. Наши точки зрения могут различаться, но это не значит, что они противоречат друг другу.

Вот почему так важны проверяемые атрибуты авторства и репутации. Истина заключается не только в содержании утверждения, но и в том, кто его делает, каковы его мотивы и насколько достоверны его прошлые действия. Если бы каждое утверждение в интернете сопровождалось четкой цепочкой авторства и показателем репутации, мы могли бы отсеивать ложную информацию, не передавая контроль централизованным модераторам. Недобросовестный пользователь, пытающийся распространять дезинформацию, будет терять репутацию с каждым ложным утверждением. У вдумчивого автора с большим опытом работы в сфере точности данных повысится репутация и влияние.

Криптовалюта даёт нам строительные блоки для реализации этой идеи: децентрализованные идентификаторы, реестры, управляемые токенами, механизмы стейкинга и структуры стимулирования, которые превращают точность в экономический актив. Представьте себе граф знаний, в котором каждое утверждение привязано к проверяемой личности, каждая точка зрения имеет оценку репутации, а каждое утверждение о том, что что-то является правдой, может быть оспорено, поставлено под сомнение и рассмотрено в открытой системе. В этом мире правда не исходит от одной платформы — она органично возникает в сети голосов с атрибуцией и оценкой репутации.

Такая система меняет систему стимулов. Вместо того чтобы гнаться за вирусностью в ущерб точности, создатели контента будут ставить на кон свою репутацию — а зачастую и реальные токены — в зависимости от достоверности своего вклада. Вместо того чтобы обучать ИИ на анонимном мусоре, его будут обучать на атрибутивных данных с учётом репутации, где правдивость и надёжность встроены в саму структуру информации.

Теперь рассмотрим ИИ в этом контексте. Модель, обученная на таком графе с учётом репутации, будет получать гораздо более чистый сигнал. Она не будет просто повторять самые вирусные утверждения, а научится учитывать авторство и достоверность. Со временем агенты сами смогут участвовать в этой системе — делать ставки на свои результаты, формировать собственную репутацию и соревноваться не только в красноречии, но и в надёжности.

Так мы разорвём порочный круг недостоверной информации и создадим ИИ, который отражает децентрализованное представление об истине с положительной суммой. Без проверяемой атрибуции и децентрализованной репутации мы всегда будем зависеть от «правды», предоставляемой централизованными платформами, и будем уязвимы для манипуляций.

С их помощью мы наконец сможем выйти за рамки принципа «победитель получает всё» и создать систему, в которой истина формируется динамично, устойчиво и — что самое важное — совместно.