Новый генератор изображений искусственного интеллекта превосходит SDXL с меньшими затратами

По заявлению компании, модель обеспечивает коэффициент сжатия, отличный от всего, что ранее наблюдалось в традиционных моделях стабильного распространения, и она способна выдавать результаты с большим разрешением и детализацией - сравнимые с современными генераторами, такими как SDXL или MidJourney (которые обычно работают с разрешениями 1024x1024).

Stable Cascade использует трехэтапный процесс, в отличие от традиционного конвейера Stable Diffusion:

• Этап A: Компрессор изображений: В отличие от обычных моделей, на этом начальном этапе изображения обрабатываются как сложные головоломки. Используя векторно-квантованную генеративную состязательную сеть (VQGAN), изображение разбивается на компактные секции размером 256x256. Каждая секция получает отдельный "токен" из специализированной кодовой книги. Этот шаг открывает путь для молниеносной обработки на последующих этапах.
• Этап B: Перестроитель (модель скрытой диффузии) На этом этапе выполняется работа по восстановлению изображения после сжатия. Думайте о нем как об опытном ремонтнике здания, использующем подробные инструкции и чертежи для своей работы.
• Этап C: генератор латентных данных с текстовыми условиями Этап C фокусируется исключительно на обработке текстовых инструкций и создании сжатых латентных данных. Такой подход к созданию несвязанного текста значительно снижает сложность и стоимость точной настройки для конкретных случаев использования.

Другими словами, он делает то, что предполагает его название. Все начинается с текстового генератора, который создает крошечные снимки изображений, которые преобразуются в более подробные, а затем должным образом представляются вашим глазам в виде высококачественного изображения с полным разрешением.

Модульные преимущества

По словам его разработчиков, модульная конструкция Stable Cascade дает несколько неоспоримых преимуществ. Во-первых, это чрезвычайная эффективность: благодаря сжатому скрытому пространству (способ, которым искусственный интеллект оценивает композицию изображения в отличие от пространства пикселей, которое видят люди) и сфокусированной модели Stage C, Stable Cascade обеспечивает более быстрое время вывода, а это значит, что он быстрее вычисляет свои прогнозы. И это достигается за счет значительно сниженных требований к оборудованию по сравнению с более крупными моделями стабильного распространения, такими как SDXL.

Стабильность Внутренние тесты AI продемонстрировали способность Stable Cascade стабильно превосходить сопоставимые модели, такие как SDXL, как с точки зрения качества изображения, так и эстетической привлекательности. Более того, модель достигает этих результатов на очень высоких скоростях, требуя при этом значительно меньших вычислительных ресурсов.

Еще одним преимуществом, на которое претендует Stability AI, является его универсальность. Многие инструменты, которые художники Stable Diffusion сейчас используют для улучшения своей работы, такие как ControlNets или LoRas, совместимы. И, благодаря его чрезвычайной эффективности, пользователи могут добавлять больше этих инструментов в свои рабочие процессы, не разрушая свою память.

Облегченная архитектура модели, меньшие габариты модели и совместимость с менее мощным вычислительным оборудованием снижают барьер для входа, повышая доступность передовых методов преобразования текста в изображение как для обычных пользователей, так и для исследователей.

Делаем больше за меньшие деньги

Наши тесты показали, что модель точна и детализирована и не демонстрирует размытой, резиновой эстетики предыдущих моделей Stability AI SDXL turbo или LCM. Вместо этого он генерирует высокодетализированные изображения наравне с точно настроенными моделями SDXL.

Он также обладает некоторыми базовыми возможностями генерации текста, которые могут быть дополнительно расширены с помощью LORAS, которые уже доступны в онлайн-репозиториях, таких как Civitai.

Стабильный искусственный интеллект сообщает, что, несмотря на большее количество параметров, чем Stable Diffusion XL, Stable Cascade по-прежнему обеспечивает более быстрое время вывода и отличается быстрым выравниванием.

Точная настройка стабильного каскада также требует меньших ресурсов по сравнению с моделями стабильной диффузии аналогичного размера. Исследователи и энтузиасты потенциально могут обучать модель на меньших наборах данных и со значительно меньшей вычислительной мощностью, что делает ее очень экономичной.

Stable Cascade выпущен по лицензии некоммерческого исследования и легко доступен в репозитории GitHub Stability AI, а также уже доступен поддерживаемый сообществом рабочий процесс ComfyUI, который автоматически загружает модели для большего удобства использования.