Созданные видеоролики, особенно с человеческими лицами, очень реалистичны — настолько, что члены сообщества искусствоведов быстро сравнили их с еще не выпущенным, но долгожданным Sora от OpenAI.
“Даже если они отборные, они уже выглядят лучше, чем Sora", - написал один из пользователей Reddit в комментарии, набравшем наибольшее количество голосов в теме обсуждения Runway Gen-3. “У Sora стилизованный внешний вид, “ ответил другой пользователь. - Эти люди выглядят действительно настоящими, лучшее, что я видел до сих пор”.
“Если бы вы показали мне этих сгенерированных людей, я бы предположил, что они настоящие”, - говорится в другом комментарии к субредиту видео с искусственным интеллектом, насчитывающему 66 000 участников.
Изображение: Искусственный интеллект взлетно-посадочной полосы
“Эти клипы Runway GEN-3 действительно кажутся мне визуально привлекательными — они выглядят кинематографично”, - написал в твиттере режиссер с псевдонимом AI PZF, который также называет себя творческим партнером Runway. “Плавный, сдержанный (в хорошем, натуралистичном ключе), правдоподобный”.
Эти клипы Runway GEN-3 действительно кажутся мне привлекательными визуально. Они выглядят кинематографично.
Плавный, сдержанный (в хорошем, натуралистичном ключе), правдоподобный.
Рад опробовать его, как только он станет доступен. https://t.co/kZfGQ4Vz83
— PZF (@pzf_ai) 17 июня 2024 г.
Наряду с видеогенератором Gen-3, Runway также представляет набор инструментов тонкой настройки, включая более гибкое управление изображением и камерой.
“Gen-3 Alpha усилит инструменты преобразования текста в видео, изображения в видео и текста в изображение от Runway, существующие режимы управления, такие как кисть движения, расширенные элементы управления камерой и режим режиссера, а также новые инструменты для обеспечения еще более детального контроля структуры, стиля и движения”, - написала компания в твиттере.
Совместно обученный работе с видео и изображениями, Gen-3 Alpha включит инструменты преобразования текста в видео, изображения в видео и текста в изображение от Runway, существующие режимы управления, такие как кисть движения, расширенные элементы управления камерой и режим режиссера, а также новые инструменты для обеспечения еще более детального контроля над ... pic.twitter.com/sWXIb3NXgm
— Runway (@runwayml) 17 июня 2024 г.
Runway утверждает, что Gen-3 является значительным шагом на пути к реализации их амбициозной цели создания "Моделей общего мира". Эти модели позволили бы системе искусственного интеллекта создавать внутреннее представление среды и использовать его для моделирования будущих событий в этой среде. Такой подход отличает Runway от традиционных методов, которые фокусируются на прогнозировании следующего вероятного кадра на определенной временной шкале.
Хотя Runway не раскрыла конкретную дату выпуска Gen-3, соучредитель и технический директор Anastasis Germanidis объявил, что Gen-3 Alpha “скоро будет доступен в продукте Runway”. Это включает в себя существующие режимы, а также “некоторые новые, которые только сейчас возможны с более производительной базовой моделью", - поддразнил он.
Runway Gen-3 Alpha скоро будет доступен в продукте Runway и будет поддерживать все существующие режимы, к которым вы привыкли (преобразование текста в видео, изображения в видео, видео в видео), а также некоторые новые, которые только сейчас возможны в более производительной базовой модели.
— Анастасис Германидис (@agermanidis) 17 июня 2024 г.
Путешествие Runway в области искусственного интеллекта началось в 2021 году, когда они совместно с исследователями Мюнхенского университета создали первую версию Stable Diffusion. Позже вмешался стабильный искусственный интеллект, чтобы компенсировать вычислительные затраты на проект и превратил его в глобальное явление.
С тех пор Runway стала значительным игроком в области создания видео с искусственным интеллектом, наряду с конкурентами, такими как Pika Labs. Однако ситуация изменилась после анонса OpenAI Sora, которая превзошла возможности существующих моделей. Голливудский актер Эштон Катчер недавно вызвал переполох, заявив, что такие инструменты, как Sora, могут серьезно подорвать производство телевидения и фильмов.
Однако, пока мир ждет публичного релиза Sora, появились новые конкуренты, такие как Kling от Kuaishou и Dream Machine от Luma AI.
Китайский видеогенератор Kling может создавать видеоролики продолжительностью до двух минут в разрешении 1080p со скоростью 30 кадров в секунду, что является существенным улучшением по сравнению с существующими моделями. Эта китайская модель уже доступна, но пользователям необходимо указать китайский номер телефона. Kuaishou заявила, что выпустит глобальную версию.
С другой стороны, Dream Machine - это бесплатная платформа, которая преобразует письменный текст в динамичные видеоролики, а также обеспечивает результаты, которые легко превосходят Runway Gen-2 по качеству, согласованности и оперативности выполнения. Для этого требуется базовая учетная запись Google, но он был настолько популярен, что появление generations занимает очень много времени — если они вообще появляются.
В сфере открытого исходного кода стабильное распространение видео, хотя и не способно обеспечить сопоставимые результаты, обеспечивает прочную основу для улучшения и разработки. Vidu, еще один китайский видеогенератор искусственного интеллекта, разработанный ShengShu Technology и Университетом Цинхуа, использует запатентованную архитектуру модели визуального преобразования под названием Universal Vision Transformer (U-ViT) для создания 16-секундных видеороликов в разрешении 1080p одним щелчком мыши.
Что касается Pika Labs, то она не выпускала серьезных обновлений, оставляя свои возможности сопоставимыми с возможностями Runway Gen-2.
" 
