Stable Diffusion — это основанная на машинном обучении модель преобразования текста в изображение, способная генерировать графику на основе текста.
Сразу к делу!
Если вы счастливые обладатели видеокарты Nvidia, то установка приложения Stable Diffusion пройдет в пару кликов. Переходим на сайт гитхаб github.com/serpotapov/stable-diffusion-portable
Жмем на кнопку – «code» и в открывшемся окошке – скачиваем zip архив с установочными файлами.
Когда скачаете – распакуйте архив на любой диск, можно переименовать, но только латиницей.
Пока качаете – посмотрите видео с подробной инструкцией по установке
Как использовать Stable Diffusion без видеокарты Nvidia или на слабых компьютерах
Если у вас нет видеокарты Nvidia – не проблема, можно использовать мощности Google Colab, который предоставляет возможность для обучения на своих серверах для студентов. Вам понадобится гугл аккаунт, чтобы у вас был гугл диск, куда будут сохраняться картинки и модели для SD.
Идем на Google Colab по ссылке colab.research.google.com/github/
Далее, перед тем как начнем запуск SD – нам понадобится готовая модель, с которой мы будем работать. Рекомендую модель «Protogen Infinity Official Release» которая позволяет работать в разных жанрах и хорошо оптимизирована под разные арты. Переходим на сайт-каталог моделей, и качаем модель «Protogen Infinity», нам нужна версия с расширением .ckpt
Ссылка civitai.com/models/4398/protogen-infinity-official-release
Качаем на комп, в любую папку.
Скачанный файл нам надо закачать на свой гугл диск, закачивайте просто в дефолную директорию.
Далее нам нужна ссылка на модель из гугл диска, если вы ничего не переименовывали, то получится такой путь до файла модели:
/content/gdrive/MyDrive/protogenInfinity_protogenX86.ckpt
Где «protogenInfinity_protogenX86.ckpt» файл модели. Если поставили в какую-то папку, то допишите название папки в путь до файла.
Все, мы готовы запускать Stable Diffusion в Google Colab colab.research.google.com/github/
Возвращаемся на страничку Google Colab, нам нужно по очереди запустить все процессы, для этого кликаем по иконкам плей. Сначала на первую. Выскочит окошко, в котором вас попросят залогиниться через гугл аккаунт. Входим. Потом выскочит окошко, где вас попросят доступ к вашему гугл диску, это нужно для того, чтобы на ваш гугл диск установился Stable Diffusion (потребуется как минимум 4гб на гугл диске). Жмем – разрешить. Далее кликаем на второй пункт, ждем пока все установится, затем на третий пункт, ждем пока установится.
В четвертом пункте перед запуском нам необходимо добавить ссылку на модель, которую мы загрузили к себе на гугл диск /content/gdrive/MyDrive/protogenInfinity_protogenX86.ckpt
Прописали путь, только затем жмем запустить.
И затем жмем запуск пятого пункта, это сам запуск Stable Diffusion в Google Colab
Запустится процесс, ждем. Когда все будет готово, появится ссылка вида:
Кликаем по ней и откроется окошко приложения, где можно творить. Google Colab дает возможность поработать до 6 часов в сутки, затем останавливает процесс, через сутки можно запустить снова. Если завести второй гугл аккаунт в другом браузере, то можно работать еще +6 часов и т.д. Если не уловили какие-то моменты, то посмотрите более подробную инструкцию по запуску Stable Diffusion в Google Colab:
Приступаем к генерированию картинок. На самом деле все намного проще, чем кажется на первый взгляд.
Основные функции
txt2img
Самая первая вкладка — конвертация текста в изображение.
1 — строка, куда мы пишем наш текст. Воспринимается только английский.
2 — строка, куда мы пишем то, чего видеть не хотим.
Для моделей существует универсальные промпты, которые можно найти в нашем каталоге.
PROMT: masterpiece, best quality, (ваш текст)
NEGATIVE: deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, disgusting, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, blurry, ((((mutated hands and fingers)))), watermark, watermarked, oversaturated, censored, distorted hands, amputation, missing hands, obese, doubled face, double hands
3 — кнопка создания изображения. Немного тормозит во время первого использования, необходимо подождать пока все подгрузится.
4 — количество шагов в создании изображения. В теории, больше — лучше, но это не всегда так работает. Экспериментируйте.
5 — метод создания.
6 — размеры изображения
7 — разнообразные фиксы
8 — количество изображений
9 — значимость вашего промпта. Чем выше — тем больше вероятность, что ИИ учтёт весь ваш текст. Меньше 7 — нейросеть будет выдавать случайные результаты.
img2img
Возможность создания изображений на основе других.
1 — Сюда перетаскиваем изображение, которое должно стать «основой».
2 — Функции запросить информацию об изображении. CLIP лучше работает с реалистичными, Danbooru — с рисунками. После использования вы получите предполагаемый промт изображения, которое загрузили в ИИ.
3 — Степень ориентировки на оригинальное изображение. Работает по тому же принципу, как и кнопка выше, только наоборот — чем ниже значение, тем больше ИИ ориентируется на ваше изображение. Советуется использовать 70 или, если вам вот прямо так сильно хочется получить вариацию оригинала, то 50-60.
— Batch Size — количество параллельно обрабатываемых изображений.
— Batch Count — сколько раз нужно сгенерировать по Batch Size изображения за одно нажатие кнопки Generate.
Эти параметры лучше поставить на 1, чтобы не тратить мощности видеокарты зря.
Вкладка img2img позволяет подавать на вход изображения и изменять их тремя разными способами:
— img2img — входное изображение является образцом для генерации.
— inpaint — на вход подается изображение и маска, нейросеть рисует только по маске.
— outpaint — нейросеть пытается посмотреть за пределы изображения.
У масок есть дополнительные параметры:
— Mask mode (Inpaint masked/Inpaint not masked) — генерация применяется к маске или инвертированной маске.
— Masked content — определяет, что будет входными данными для генерации. Пояснение доступно на картинке выше.
— Inpaint Mode — определяет, как сгенерированный контент будет встроен в картинку.
— Whole picture — допускается изменять всю картинку.
— Only masked — работать исключительно в рамках маски.