百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

AI绘画教程之stable diffusion【3.模型介绍及使用】

bigegpt 2024-08-01 11:59 10 浏览

使用stable diffusion绘画时,第一步就是选择模型,选择模型非常重要,使用一个好的模型,提示词写的一般也可以画出好看的图片。

还没部署stable diffusion的朋友先参考以下文章(非高配电脑建议阅读第一篇):

AI绘画教程之stable diffusion【1.免费部署及初体验】

AI绘画教程之stable diffusion【2.Windows系统本地部署】

文章较长,建议先收藏再阅读。作者后续会写stable diffusion的一系列教程,关注公众号,与作者一起实战stable diffusion,从入门到精通。

一、什么是模型?

stable diffusion之所以能绘画,是因为收集了大量世界上已存在的图片来训练,这些图片训练得到的结果就是模型。使用什么图片训练出来的模型,就只能画什么样的图,假设有一个只用了狗的图片训练出来的模型,那么我们使用这个模型就没法画出人的照片。

下面我们直观体验一下模型的作用,使用同样的提示词和参数画一个女孩,看看不同模型的效果。

1.Realistic vision V30模型




masterpiece,ultra detailed face, 1 cute 10 years old girl walking on the street.Negative prompt: ugly,extra limbs,extra fingersSteps: 20, Sampler: Euler a, CFG scale: 7, Seed: 100, Size: 512x512, Model hash: c52892e92a, Model: realisticVisionV30_v30VAE


2.GuoFeng3模型




masterpiece,ultra detailed face, 1 cute 10 years old girl walking on the street.Negative prompt: ugly,extra limbs,extra fingersSteps: 20, Sampler: Euler a, CFG scale: 7, Seed: 100, Size: 512x512, Model hash: a83e25fe5b, Model: GuoFeng3

可以看到同样的提示词和参数,使用不同的模型画出来的图是截然不同的。

二、怎样找到合适的模型?

https://civitai.com/网站上有很多好的模型和图片,我们可以访问网站,使用下面两种方式找到自己喜欢的模型。

1. 直接搜索模型

我们可以在这里筛选模型:

浏览这些模型,找到与自己期望画的图片接近的模型,比如我现在想画真人,就可以使用这个:

点击进去,点击这个Download就可以下载:

鼠标移动到"Download"按钮上,右键可复制下载地址,后面使用命令下载时需要用到这个下载地址。

2. 通过图片找到模型

点击"Images"标签,这里都是网友画的图,找到自己喜欢的,点击进去:

这个就是该图片使用的模型名称,点击即可进入到模型详情页:

三、如何安装模型

有两种安装方式,一种是在stable-diffusion-webui的界面上安装,另一种是将模型文件下载下来,放在stable-diffusion-webui的models/Stable-diffusion目录下,模型的后缀一般为.ckpt或者.safetensors。下面展示第二种方法。

1. 如果你是参考的

2. 如果你是参考的AI绘画教程之stable diffusion【1.免费部署及初体验】,可以使用

!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://civitai.com/api/download/models/105674 -d /kaggle/working/stable-diffusion-webui/models/Stable-diffusion -o realisticVisionV30_v30VAE.safetensors

解释一下上面的命令:

这个命令使用了aria2c工具来下载文件,并包含了以下参数:1."--console-log-level=error":设置日志级别为error,只输出错误信息到控制台。2."-c" 或 "--continue":开启断点续传功能,如果之前已经下载了一部分文件,则可以从已下载的部分继续下载。3."-x 16" 或 "--max-connection-per-server=16":设置每个服务器使用的最大连接数为16,这样可以同时使用多个连接来下载文件,从而加快下载速度。4."-s 16" 或 "--split=16":将下载的文件分成16个片段进行下载,这样也可以加快下载速度。5."-k 1M" 或 "--min-split-size=1M":设置每个片段的最小大小为1M,这样可以避免将下载的文件分割成太小的块,从而减缓下载速度。6."https://civitai.com/api/download/models/105674 ↗":要下载的文件的URL。7."-d /kaggle/working/stable-diffusion-webui/models/Stable-diffusion" 或 "--dir=/kaggle/working/stable-diffusion-webui/models/Stable-diffusion":指定要将下载的文件保存到的目录。8."-o realisticVisionV30_v30VAE.safetensors" 或 "--out=realisticVisionV30_v30VAE.safetensors":指定要将下载的文件保存为的文件名。这个命令的参数设置可以让aria2c工具在下载文件时并行下载多个片段,并使用多个连接来加快下载速度,同时保证了断点续传和文件完整性。

将命令中的文件链接改为自己想要的模型链接,保存文件名改为自己想的模型的名字即可。

也可以直接复制我的代码

https://www.kaggle.com/liliangjava/stable-diffusion-webui-liliang


使用kaggle的用户建议在代码中下载,不要使用界面安装。因为kaggle每周有30小时的使用限制,每次使用之后最好关机以节省时间,如果使用界面安装,关机之后下次再启动,之前安装的模型就没有了,还需要再重新找链接安装,而代码可以保存下来,下次再运行会自动执行代码将之前使用的模型下载下来。

四、如何使用模型

按照上面的步骤安装好模型之后,重新启动stable-diffusion-webui。

kaggle重启方法:点击"Cancel Run"取消运行,再点击运行的图标重新运行。

重启之后,在界面的左上角选择相应的模型,写好提示词即可使用该模型生成图片。

五、模型合并

将模型合并起来得到一个新模型,新模型会兼具两个模型的特点。以下截图为操作步骤:

注:图中的权重表示Secondary model(B)的权重,设置为0.5表示两个模型权重相同,如果设置为0.8,则表示Secondary model(B)占80%,生成的图片风格会更接近于Secondary model(B)的风格。

合并后,左上角的模型选项中就多了一个选项,我们使用合并后的模型+之前的提示词,看看生成的效果:





masterpiece,ultra detailed face, 1 cute 10 years old girl walking on the street.Negative prompt: ugly,extra limbs,extra fingersSteps: 20, Sampler: Euler a, CFG scale: 7, Seed: 100, Size: 512x512, Model hash: 5f433ea755, Model: realistic_guofeng3


非常有意思,使用合并后的模型生成的图片,就是两种模型生成图片的混合体。

六、常见名词解释

解释一些和模型有关的名词,以便我们看到的时候能够理解是什么意思。

fine-tuning

Fine-tuning是机器学习中的一种常见技术,它在预训练模型的基础上进行微调,使用特定的数据集进行进一步的训练,经过fine-tuning的模型会倾向于生成与您的数据集类似的图像,同时保持原始模型的多样性。

Checkpoint

经过fine-tuning微调后的模型就是checkpoint,所以checkpoint就是模型,.ckpt就是模型文件的后缀,在civitai网站中标记checkpoint的都是模型。

七、后续教程内容

后续计划写提示词技巧、Lora、controlnet等一系列实战教程。关注公众号,与作者一起实战stable diffusion。

如果文章对您有用,请点击“赞”、“在看”、“分享”支持作者。





相关推荐

当Frida来“敲”门(frida是什么)

0x1渗透测试瓶颈目前,碰到越来越多的大客户都会将核心资产业务集中在统一的APP上,或者对自己比较重要的APP,如自己的主业务,办公APP进行加壳,流量加密,投入了很多精力在移动端的防护上。而现在挖...

服务端性能测试实战3-性能测试脚本开发

前言在前面的两篇文章中,我们分别介绍了性能测试的理论知识以及性能测试计划制定,本篇文章将重点介绍性能测试脚本开发。脚本开发将分为两个阶段:阶段一:了解各个接口的入参、出参,使用Python代码模拟前端...

Springboot整合Apache Ftpserver拓展功能及业务讲解(三)

今日分享每天分享技术实战干货,技术在于积累和收藏,希望可以帮助到您,同时也希望获得您的支持和关注。架构开源地址:https://gitee.com/msxyspringboot整合Ftpserver参...

Linux和Windows下:Python Crypto模块安装方式区别

一、Linux环境下:fromCrypto.SignatureimportPKCS1_v1_5如果导包报错:ImportError:Nomodulenamed'Crypt...

Python 3 加密简介(python des加密解密)

Python3的标准库中是没多少用来解决加密的,不过却有用于处理哈希的库。在这里我们会对其进行一个简单的介绍,但重点会放在两个第三方的软件包:PyCrypto和cryptography上,我...

怎样从零开始编译一个魔兽世界开源服务端Windows

第二章:编译和安装我是艾西,上期我们讲述到编译一个魔兽世界开源服务端环境准备,那么今天跟大家聊聊怎么编译和安装我们直接进入正题(上一章没有看到的小伙伴可以点我主页查看)编译服务端:在D盘新建一个文件夹...

附1-Conda部署安装及基本使用(conda安装教程)

Windows环境安装安装介质下载下载地址:https://www.anaconda.com/products/individual安装Anaconda安装时,选择自定义安装,选择自定义安装路径:配置...

如何配置全世界最小的 MySQL 服务器

配置全世界最小的MySQL服务器——如何在一块IntelEdison为控制板上安装一个MySQL服务器。介绍在我最近的一篇博文中,物联网,消息以及MySQL,我展示了如果Partic...

如何使用Github Action来自动化编译PolarDB-PG数据库

随着PolarDB在国产数据库领域荣膺桂冠并持续获得广泛认可,越来越多的学生和技术爱好者开始关注并涉足这款由阿里巴巴集团倾力打造且性能卓越的关系型云原生数据库。有很多同学想要上手尝试,却卡在了编译数据...

面向NDK开发者的Android 7.0变更(ndk android.mk)

订阅Google官方微信公众号:谷歌开发者。与谷歌一起创造未来!受Android平台其他改进的影响,为了方便加载本机代码,AndroidM和N中的动态链接器对编写整洁且跨平台兼容的本机...

信创改造--人大金仓(Kingbase)数据库安装、备份恢复的问题纪要

问题一:在安装KingbaseES时,安装用户对于安装路径需有“读”、“写”、“执行”的权限。在Linux系统中,需要以非root用户执行安装程序,且该用户要有标准的home目录,您可...

OpenSSH 安全漏洞,修补操作一手掌握

1.漏洞概述近日,国家信息安全漏洞库(CNNVD)收到关于OpenSSH安全漏洞(CNNVD-202407-017、CVE-2024-6387)情况的报送。攻击者可以利用该漏洞在无需认证的情况下,通...

Linux:lsof命令详解(linux lsof命令详解)

介绍欢迎来到这篇博客。在这篇博客中,我们将学习Unix/Linux系统上的lsof命令行工具。命令行工具是您使用CLI(命令行界面)而不是GUI(图形用户界面)运行的程序或工具。lsoflsof代表&...

幻隐说固态第一期:固态硬盘接口类别

前排声明所有信息来源于网络收集,如有错误请评论区指出更正。废话不多说,目前固态硬盘接口按速度由慢到快分有这几类:SATA、mSATA、SATAExpress、PCI-E、m.2、u.2。下面我们来...

新品轰炸 影驰SSD多款产品登Computex

分享泡泡网SSD固态硬盘频道6月6日台北电脑展作为全球第二、亚洲最大的3C/IT产业链专业展,吸引了众多IT厂商和全球各地媒体的热烈关注,全球存储新势力—影驰,也积极参与其中,为广大玩家朋友带来了...