SDXL: Как использовать стабильную диффузию

Недавно был разработан плагин WordPress на основе Stable Diffusion XL (SDXL). Подведем итоги, кстати.

1. Что такое стабильная диффузия?

Stable Diffusion — это большая модель с открытым исходным кодом для генерации изображений.

В настоящее время в основном используется версия Stable Diffusion XL, также известная как SDXL.

Официальный веб-сайт:Стабильность ИИ

2. Является ли Stable Diffusion бесплатным?

Stable Diffusion и другие крупные модели Stability AI (включая видео, голос, 3D) бесплатны и имеют открытый исходный код. Вы можете развернуть код непосредственно на свой компьютер или сервер с официального сайта.

Однако в большинстве случаев мы не будем развертывать его самостоятельно, поскольку стоимость относительно высока, а сложность относительно высока. Поэтому чаще всего при разработке продукта на основе Stable Diffusion нам необходимо обращаться к официальному сайту или к стороннему Stable Diffusion API, но в этом случае нам необходимо оплатить плату за использование интерфейса.

3. Как развернуть Stable Diffusion? (создано Google Gemini)

Разверните модель стабильной диффузии

Способ 1. Используйте готовый образ Docker.

1. Загрузите образ Docker:
   • docker pull Sustainableai/stable-Diffusion:latest
2. Создайте и запустите контейнер:
   • docker run -it --gpus all Sustainableai/stable-Diffusion:latest

Способ 2. Развертывание вручную.

1. Установите зависимости:
   • Питон 3.10.x
   • PyTorch 1.13.0+
   • факелвидение 0.14.0+
   • топор-платформа 0.3.11
   • трансформеры 4.28.0+
   • ускорение 0.9.1+
   • корния 0.6.2+
   • эйнопс 0.4.1+
   • Huggingface_hub 0.10.0+
2. Клонируйте репозиторий Stable Diffusion:
   • git клон https://github.com/huggingface/diffusers
3. Установите библиотеку Stable Diffusion:
   • диффузоры для компакт-дисков
   • установка пипа.
4. Скачать вес модели:
   • wget https://huggingface.co/CompVis/stable-diffusion-v1-5/resolve/main/sd-v1-5.ckpt
5. Модель развертывания:
   • Создайте скрипт Python, который загружает модель и устанавливает для нее входные данные.
   • использовать диффузоры.pipelines.stable_diffusion.StableDiffusionPipeline Класс запускает генерацию изображения.

Инструкции по использованию

После развертывания модели Stable Diffusion с помощью описанных выше шагов вы можете использовать следующую команду для создания образа:

из диффузоров import StableDiffusionPipeline # Загрузить конвейер модели = StableDiffusionPipeline.from_pretrained("YOUR_MODEL_PATH") # Запустить генерацию образа image = конвейер("YOUR_PROMPT")

намекать

• использовать --gpus все Отметьте, чтобы использовать все доступные графические процессоры.
• Корректирование размер партии и num_outputs Параметры для управления количеством и качеством генерируемых изображений.
• использовать сохранить изображение() Метод сохраняет изображение на локальный диск.

4. Как использовать API Stable Diffusion?

https://replicate.com/

На этом веб-сайте вы можете легко развернуть свои собственные большие модели с открытым исходным кодом. Вы также можете использовать API больших моделей, развернутых другими.

1. Войдите на этот сайт, используя свою учетную запись GitHub.

2. Войдите в панель управления

3. Выберите модель генерации изображения.

https://replicate.com/collections/text-to-image

Здесь перечислены все рекомендуемые модели создания изображений.

4. Использование API модели

Существует несколько моделей стабильной диффузии и sdxl, просто выберите одну. Мы можем выбрать первое. Нажмите и найдите страницу HTTP API:

Stability-ai/stable-diffusion — запуск с помощью API при репликации.

Вот API и пример кода вызова этой модели.

Вы также можете использовать упакованные js, python и другие SDK.

5. Резюме

Stable Diffusion бесплатен, имеет открытый исходный код и универсален. SDXL также является наиболее широко используемой моделью генерации больших изображений в настоящее время. Она может помочь вам реализовать различные продукты AIGC для генерации изображений.