Seaweed APT2 - новая модель по генерации видео

Seaweed APT2 представляет собой прорывную модель для генерации видео в реальном времени, сочетающую авторегрессивные и adversarial-методы. Разработанная командой исследователей, она позволяет создавать интерактивное 720p-видео со скоростью 24 кадра/с всего на одном GPU. Эта технология открывает новые возможности для потоковой передачи, игровой индустрии и AR/VR-приложений.

Технические инновации

Архитектура модели основана на adversarial post-training, где генератор и дискриминатор совместно обучаются для улучшения детализации. Ключевые улучшения включают:

• Модифицированные слои внимания для обработки пространственно-временных зависимостей

• Оптимизированные функции потерь с акцентом на текстуры и движение

• Динамическая подстройка разрешения в процессе генерации

Интерактивность реализована через:

• Возможность изменения угла камеры в реальном времени

• Корректировку сюжета через текстовые промпты

• Бесшовное расширение видео до 60 секунд

Производительность

• Генерация 2-секундного ролика 1280×720 за 83 мс на NVIDIA A100

• Поддержка непрерывного стриминга с задержкой менее 50 мс414

• Эффективное использование памяти: 8 ГБ VRAM для 480p3

Ограничения и перспективы

Текущие проблемы включают артефакты при быстром движении объектов и частичное несоответствие текстовым описаниям2. Исследователи планируют:

• Интеграцию диффузионных моделей для улучшения детализации

• Расширение до 4K-разрешения

• Добавление мультимодального ввода (аудио, жесты)

Сравнение с аналогами