Stable Diffusion Как пользоваться нейросетью online. Искусственный интеллект будущего! Сервисы на vc.ru
CFG Scale — это то, насколько точно Stable Diffusion следует нашему запросу. 1 — нейросеть совсем творчески подойдёт к запросу, может нарисовать что-то очень странное, 30 — максимально точное следование, выполнит запрос слово в слово. Почему просто нельзя выбрать при генерации тот же Full HD? Во первых резко возрастает требование к памяти видеокарты (что можно решить покупкой более дорогой). Нейросетка Stable Diffusion обучалась на картинках 512×512 пикселей, поэтому при таких разрешениях велика вероятность получить 2 головы или иные артефакты изображения.
- У неё открытый исходный код, а значит, любой желающий может использовать её для создания красивых картинок (и даже вносить изменения в код, если умеет программировать).
- Слева можно выбрать размер картинки и насколько сильно она должна соответствовать запросу.
- В базовом варианте интерфейс представляет собой командную строку ― это неудобно.
- Чем он выше, тем менее свободно нейросеть будет интерпретировать текстовое описание изображения, «додумывать» недостающие элементы и т.д.
На втором компьютере стояла довольно старая видеокарта Nvidia GTX 960 на 4 Гб (по производительности она примерно равна GTX 1050Ti), и она работала заметно медленнее. С размером 1024х768 она не справляется, не хватает видеопамяти и задача завершается с ошибкой. Так что на ней генерировали изображения в два раза меньше, 768х512 пикселей. На генерацию четырёх изображений такого размера уходило 6-9 минут.
Шкала соответствия запросу
При значениях меньше 0,7 Stable Diffusion продолжала рисовать доски по краям, а вот при 0,78 они исчезли и появился нормальный лес. Resize mode — отвечает за то, будет ли картинка обрезаться, дорисовываться по краям или растягиваться. Нам нужно сохранить исходные пропорции, так что выбираем just resize.
Это больше для пейзажей, архитектуры и композиций. Если хочется сгенерировать здание, но сохранить его основные части наподобие шпиля, то карта глубины справляется без проблем. Начните уже что-то генерировать, получайте от этого удовольствие и дарите его другим. Следите за тем, какие новые возможности и удачные примеры появляются в сообществе на гитхабе/реддите и других площадках. Попробуйте освоить генерацию по образцу, когда вы используете набор изображений в качестве маленькой обучающей выборки, и потом генерируете изображения в этом новом “стиле”. У СД есть замечательная функция, которая позволяет вам стилизовать собственные изображения и придавать им необходимый визуальный оттенок.
Изначально они применялись не в комплексе, а только по отдельности. Недавно появилась возможность использовать несколько моделей разом — функция называется Multi-ControlNet. Собственно, это именно то, для чего и затевалась вся статья. Способ предполагает установку нейросети на ваш компьютер и работу с ней через графическую оболочку программы. Он работает через браузер, не требует установки и поддерживается совершенно любыми устройствами. Однако в этом случае вам придется мириться с более медленной работой сервиса и его ограниченными возможностями.
Она была выпущена в августе 2022 года компанией Stability AI, автором идеи стал Эмад Мостак. С помощью нейросети Stable Diffusion можно, например, заменить лицо модели на сгенерированное нейросетью. Для этого нам понадобится вкладка inpaint в разделе img2img. Загружаем любое изображение (хоть из интернета), жмем “Interrogate CLIP” и изучаем результат в поле текстового запроса.
Следуя тренду роста вычислительной мощности, вероятно, что в будущем доступ к нейросетям будет осуществляться через смартфоны. Кроме того, разработка новых методов позволит обучать модели на более доступном оборудовании, что приведет к взрывному росту творческих результатов, подпитываемых искусственным интеллектом. В процессе обучения, модель связывает слова с изображениями, используя метод CLIP, разработанный OpenAI.
Stable Diffusion – как установить и как пользоваться нейросетью
Цель – познакомить с основами использования моделей текст-в-картинку и подсказать, что делать дальше.
В качестве пространства для экспериментов дизайнеры выбрали приложение для распознавания рецептов блюд по фото. Задача — выяснить, как встроить нейросети stable diffusion как пользоваться в процесс дизайна такого продукта. Активная дискуссия по поводу ИИ уже повсеместно перешла от вопроса «Когда нейросети заменят дизайнеров?
Примеры результатов генерации
Stable Diffusion занимает особое место в мире нейросетей. Ее авторы намеренно развивают свой проект открыто, чтобы его могло поддерживать сообщество энтузиастов. В итоге появились сотни модификаций нейросети, которые генерируют картинки в разных стилях.
Генерируем изображение по эскизу с помощью Stable Diffusion
Нейросеть создаёт картинку по запросу пользователя и при этом учитывает предложенный референс. Например, пейзаж совмещается с формой звезды или трава формирует слово, которое видно при отдалении от изображения. Нейросеть позволяет создавать анимационные изображения любой сложности, но для получения хорошего результата придётся повозиться со сборкой запроса. В детальных запросах стоит использовать дополнительные слова, которые помогут нейросети подобрать наиболее удачный вариант. Описывайте все характеристики, которые можете придумать для конкретной задачи.
Ну и если посмотреть на последнее изображение, где значение было выставлено в 12, то вы увидите практически полное соответствие запросу. При этом исчезает добавленная на предыдущих изображениях дымка и большая часть луга с травой. Stable Diffusion работает на локальном компьютере, а её интерфейс открывается во вкладке браузера. Нам нужна вкладка img2img (1), в которой есть ещё одна одноименная вкладка (4).
Требования те же самые, за исключением необходимости использования видеокарты с не менее чем 6 Гб VRAM. Количество генераций ограничено только периодом, на который выдается доступ к нейросети — несколько часов. После того как срок истечет, вы можете загрузить модель заново.
Но если вы будете использовать его, то получите сразу все возможности Stable Diffusion. Например, у варианта выше недоступна возможность обучения собственной модели ― чтобы Stable Diffusion генерировала картинки на основе ваших работ. В этой версии можно генерировать картинки любого размера, и инструментов в ней гораздо больше.
Вероятно, все уже слышали о Stable Diffusion — модели, способной создавать фотореалистичные изображения на основе текста. Благодаря библиотеке diffusers от HuggingFace, использование этой модели очень просто. В действительности, это именно то, о чем говорилось выше.