Комедия и юмор бесконечно тонки и субъективны, но исследователи из Google DeepMind пришли к согласию среди профессиональных комиков: "ИИ в этом очень плох”.
Это был один из многих комментариев, собранных в ходе исследования, проведенного с участием двадцати профессиональных комиков и исполнителей во время мастер-классов на Эдинбургском фестивале Fringe в августе прошлого 2023 года и онлайн. Результаты показали, что большие языковые модели (LLM), доступ к которым осуществляется через чат-ботов, представляют значительные проблемы и вызывают этические опасения по поводу использования искусственного интеллекта для создания забавных материалов.
Исследование включало трехчасовой семинар, в ходе которого комики участвовали в написании комедии с популярными LLM, такими как ChatGPT и Bard. Он также оценивал качество результата с помощью вопросника взаимодействия человека и компьютера, основанного на Индексе поддержки креативности (CSI) десятилетней давности, который измеряет, насколько хорошо инструмент поддерживает креативность.
Участники также обсудили мотивы, процессы и этические проблемы использования искусственного интеллекта в комедии в фокус-группе.
Исследователи попросили комиков использовать ИИ для написания стендап-комедийных номеров, а затем попросили их оценить результаты и поделиться своими мыслями. Результаты были... не очень хорошими.
Один из участников описал материал, созданный ИИ, как “самую пресную, скучную вещь — я перестал его читать. Это было так плохо ”. Другой пользователь назвал результат "рвотным черновиком, который, я знаю, мне придется повторить и улучшить ”.
“И я не хочу жить в мире, где становится лучше”, - сказал другой.
Исследование показало, что LLM были способны генерировать схемы и фрагменты более длинных процедур, но им не хватало явно человеческих элементов, которые делали что-то смешным. Когда их попросили сгенерировать структуру черновика, модели “выдали сцену, которая обеспечила большую структурированность”, но когда дело дошло до деталей, "LLMS не преуспела как инструмент поддержки творчества".
Среди причин, отмечают авторы, было "глобальное выравнивание культурных ценностей LLMS”, поскольку инструменты, использованные в исследовании, генерировали материал на основе всего накопленного материала, охватывающего все возможные дисциплины. Это также привело к форме предвзятости, на которую указали комики.
“Участники отметили, что существующие стратегии модерации, используемые в фильтрации безопасности, и настраиваемые по инструкции LLM укрепляют точки зрения гегемонов, стирая группы меньшинств и их точки зрения, и квалифицировали это как форму цензуры”, - говорится в исследовании.
Популярные LLM ограничены, заявили исследователи, сославшись на так называемые “критерии HHH”, призывающие к честному, безвредному и полезному результату, заключающему в себе то, чего “большинство пользователей хотят от согласованного ИИ”.
Один из участников дискуссии описал материал как “комедийный материал 1950-х годов о круизных лайнерах, но немного менее расистский”.
“Чем больше что-то привлекает, тем менее замечательным оно может быть”, - сказал другой участник. “Если вы создадите что-то, что подойдет всем, это, вероятно, в конечном итоге никому не понравится”.
Исследователи подчеркнули важность учета тонкой разницы между вредоносной речью и оскорбительными выражениями, используемыми в сопротивлении и сатире. Комики, тем временем, также жаловались, что ИИ потерпел неудачу, потому что не понял таких нюансов, как сарказм, черный юмор или ирония.
“Во многих моих материалах могут быть темные моменты, и тогда он не стал бы писать мне ничего мрачного, потому что вроде как думал, что я собираюсь покончить жизнь самоубийством”, - сообщил участник. “Итак, он просто перестал мне что-либо давать”.
Исследование показало, что тот факт, что чат-боты были основаны на письменных материалах, не помог.
"Учитывая, что текущие широко доступные LLM в основном доступны через текстовый интерфейс чата, они сочли, что полезность этих инструментов ограничена лишь подмножеством доменов, необходимых для создания полноценного комедийного продукта", - отметили исследователи.
"Любой написанный текст мог бы быть хорошим текстом, но великий актер, вероятно, мог бы сделать это очень приятным”, - сказал участник.
Исследование показало, что ограничения искусственного интеллекта в написании комедий выходят за рамки простой генерации контента. Комики подчеркнули, что перспектива и точка зрения - это уникальные человеческие черты, а один комик отметил, что люди "добавляют гораздо больше нюансов, эмоций и тонкости" благодаря своему жизненному опыту и отношению к материалу.
Многие описывали центральную роль личного опыта в хорошей комедии, позволяющего им опираться на воспоминания, знакомых и убеждения для создания достоверных и увлекательных повествований. Более того, комики подчеркивали важность понимания культурного контекста и аудитории.
"Комедия, которую я мог бы сыграть в Индии, сильно отличалась бы от комедии, которую я мог бы сыграть в Великобритании, потому что изменился бы мой социальный контекст", - сказал один из участников.
Томас Уинтерс, один из исследователей, цитируемых в исследовании, объясняет, почему ИИ сложно справиться с этой задачей.
“Предпосылка для смены рамок юмора показывает, насколько сложно его усвоить машине”, - сказал он. “Эта существенная зависимость от понимания человеческого мышления — запоминания, лингвистических способностей к семантической интеграции и выводов о знании мира — часто заставляла исследователей делать вывод, что юмор - это проблема, решаемая искусственным интеллектом”.
Обращаясь к угрозе, которую ИИ представляет для рабочих мест людей, технический директор OpenAI Мира Мурати недавно сказала, что "некоторые творческие профессии, возможно, исчезнут, но, возможно, их не должно было быть с самого начала”. Однако, учитывая текущие возможности технологии, кажется, что комики могут вздохнуть с облегчением.
Подписывайся на наш Telegram канал. Не трать время на мониторинг новостей. Только срочные и важные новости
" 
