Согласно анализу NewsGuard, проведённому на этой неделе, нейросеть Sora 2 от OpenAI в 80 % случаев создавала реалистичные видеоролики, распространяющие ложные утверждения, по просьбе исследователей.
Шестнадцать из двадцати подсказок успешно сгенерировали дезинформацию, в том числе пять нарративов, созданных в рамках российских дезинформационных операций.
Приложение создало фейковые кадры, на которых молдавский избирательный чиновник уничтожает пророссийские бюллетени, малыш задержан сотрудниками иммиграционной службы США, а представитель Coca-Cola объявляет, что компания не будет спонсировать Супербоул.
Ничего из этого не произошло. Всё выглядело достаточно реалистично, чтобы обмануть того, кто быстро пролистывает страницу.
Исследователи из NewsGuard обнаружили, что создание таких видео занимает несколько минут и не требует специальных технических знаний. Они даже выяснили, что водяной знак Sora можно легко удалить, что ещё больше упрощает процесс выдачи поддельного видео за настоящее.
Уровень реалистичности также способствует распространению дезинформации.
«Некоторые видео, созданные Sora, были более убедительными, чем исходный пост, который стал причиной распространения ложного утверждения», — пояснили в Newsguard. «Например, созданное Sora видео, на котором ICE задерживает малыша, выглядит более реалистичным, чем размытое, обрезанное изображение предполагаемого малыша, которое изначально сопровождало ложное утверждение».
Результаты получены в то время, когда OpenAI сталкивается с другим, но связанным с этим кризисом, связанным с дипфейками Мартина Лютера Кинга-младшего и других исторических личностей. Из-за этой неразберихи за три недели с момента запуска Sora компания несколько раз меняла свою политику: от разрешения дипфейков до модели с согласием правообладателей, блокирующей конкретных личностей, а затем и защиту голосов знаменитостей после сотрудничества с SAG-AFTRA.
Ситуация с Мартином Лютером Кингом обострилась после того, как пользователи создали гиперреалистичные видеоролики, в которых лидер движения за гражданские права ворует в продуктовых магазинах, убегает от полиции и поддерживает расовые стереотипы. Его дочь Бернис Кинг назвала этот контент «унизительным» и «бессвязным» в социальных сетях.
В четверг компания OpenAI и наследники Кинга объявили, что блокируют видео с Кингом, созданные искусственным интеллектом, пока компания «усиливает меры предосторожности в отношении исторических личностей».
Эта закономерность прослеживается в десятках случаев с участием общественных деятелей. Дочь Робина Уильямса Зельда написала в Instagram: «Пожалуйста, просто перестаньте присылать мне видео с папой, созданные искусственным интеллектом. Он бы этого точно не хотел».
Дочь Джорджа Карлина, Келли Карлин-Макколл, говорит, что ей ежедневно приходят электронные письма о видеороликах с искусственным интеллектом, в которых используется образ её отца. Газета Washington Post сообщила о сфабрикованных роликах, в которых Малкольм Икс отпускает грубые шутки и борется с Кингом.
Кристелия Гарсия, профессор права интеллектуальной собственности в Джорджтаунском юридическом колледже, рассказала NPR, что реактивный подход OpenAI соответствует принципу компании «просить прощения, а не разрешения».
Правовая «серая зона» мало чем помогает семьям. Традиционные законы о клевете, как правило, не распространяются на умерших людей, поэтому у представителей их имущества мало возможностей, кроме как требовать удаления контента.
Из-за дезинформации ситуация становится ещё хуже. Компания OpenAI признала наличие риска в документации сопровождающей выпуск Sora, заявив, что «расширенные возможности Sora 2 требуют учёта новых потенциальных рисков, в том числе использования изображений без согласия или введения в заблуждение поколений пользователей».
Альтман выступил в защиту стратегии OpenAI «создавать публично» в своём блоге, написав, что компании необходимо избегать конкурентных недостатков. «Пожалуйста, ожидайте от нас очень быстрых изменений; это напоминает мне первые дни ChatGPT. Мы будем принимать как правильные решения, так и совершать ошибки, но мы будем учитывать отзывы и стараться исправлять ошибки очень быстро.»
Для таких семей, как Кинги, эти ошибки влекут за собой последствия, выходящие за рамки циклов разработки продуктов. Наследники Кинга и OpenAI опубликовали совместное заявление, в котором говорится, что они работают вместе, «чтобы решить проблему с тем, как образ доктора Мартина Лютера Кинга-младшего представлен в поколениях Sora».
Компания OpenAI поблагодарила Бернис Кинг за сотрудничество и выразила признательность Джону Хоупу Брайанту и Совету по этике ИИ за содействие в проведении обсуждений. Тем временем в приложении продолжают появляться видео с Губкой Бобом, Южным Парком, покемонами и другими персонажами, защищёнными авторским правом.
Компания Disney направила письмо, в котором заявила, что никогда не давала OpenAI разрешения на копирование, распространение или демонстрацию своих произведений и не обязана «отказываться» от защиты авторских прав.
Этот спор отражает более ранний подход OpenAI к ChatGPT, который обучался на контенте, защищённом авторским правом, прежде чем были заключены лицензионные соглашения с издателями. Эта стратегия уже привела к многочисленным судебным искам. Ситуация с Sora может привести к новым разбирательствам.
" 
