关于Stable Diffusion

Stable Diffusion(简称SD)是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的转变。

它是一种潜在扩散模型,由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。它是由初创公司StabilityAI、CompVis与Runway合作开发,并得到EleutherAI和LAION的支持。Stable Diffusion的源代码和模型权重已公开发布在GitHub,可以在大多数配备有适度GPU的电脑硬件上运行。而以前的专有文生图模型(如DALL-E和Midjourney)只能通过云计算服务访问。

Stable Diffusion建议在10GB以上的显存(GDDR或HBM)下运行, 但是显存较少的用户可以选择以float16的精度加载权重,而不是默认的float32,以降低显存使用率。

Stable Diffusion web UI

Stable Diffusion的web界面,使用Gradio库实现。它是Stable Diffusion的GUI,让你更方便的使用Stable Diffusion,源码已经公布在GitHub上https://github.com/AUTOMATIC1111/stable-diffusion-webui,让一件事情变得更容易往往是有价值的,下面我们看看如何在我的Mac上跑起来。

运行Stable Diffusion web UI

我们在电脑上找一个目录把代码clone下来

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

接着我们按照文档开始执行命令运行,安装过程中可能出现少包的情况,大家根据提示下载即可,遇到问题,可以去https://github.com/AUTOMATIC1111/stable-diffusion-webui找答案和留言。

./webui.sh

运行的时候需要下载依赖,看到下面这个,说明运行成功会直接打开浏览器

浏览器中,它长这个样子,上面选择的模型是我下载好的,后面会简单说下去哪里下载,以及如何安装。

这里的配置特别多,就不一一介绍了,如果想用的明白,自己探索比较有深刻的认识。

模型下载

C站(civitai.com)、拥抱脸(huggingface.co),这里可以下载到,之前拥抱脸(huggingface.co)不需要科学上网就可以下载,目前不行了。

这里分享一些小众的模型下载网站:(大家可以收藏,会持续更新...)

模型安装

这个更简单,直接放到对应的目录就行了,相对目录:stable-diffusion-webui/models ,找到对应的目录把对应的模型放入即可。其中存档点模型(checkpoint)放在stable-diffusion-webui/models/Stable-diffusion,Lora(微调)放在 stable-diffusion-webui/models/Lora 文件夹内。

体验一下

体验下文生图,直接输入描述,我们看看最基本的模型,默认参数,基本描述生成的图片如何吧

关键词:a cat (两张图片)

关键词:a girl (两张图片)

感觉还不错吧,当然还可以做更多的事情,当然需要了解的更多参数,学习更多技巧,更多的提示词以及了解更多的模型,后续继续给大家分享更好玩的东西...