【SD潜工具书①】入门-卸载 | 是什么、如何使用


更新

1.  基础链接 | 奠定一切的基础理论

a. 相关资料

● stable diffusion

- SD本体论文:[2112.10752]

- SD官网:Stability AI Image Models — Stability AI

- git仓库:CompVis/stable-diffusion

- SD3论文:[2403.03206]

- SD3底层解析:〈琥珀漫談〉── SD3底層架構淺析

● diffusers

- Diffusers

● CLIP

- 论文[2103.00020]

● LyCORIs

- LyCORIs论文:[2309.14859]

- LyCORIs git仓库KohakuBlueleaf/LyCORIS: Lora beYond Conventional methods

● xformers

- git仓库facebookresearch/xformers

● 其他论文合集:

- 【AI绘画】一坨论文送给大家 AI绘画相关论文

这是西天取来的经文.jpg

图片来自(https://www.bilibili.com/read/cv21564981/

b. SD相关常用的本地UI

● SD webui:

- SD WebUI:AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

- DirectML:lshqqytiger/stable-diffusion-webui-directml

- SD.Next(Vlad):vladmandic/automatic: SD.Next

- SD Webui Forgelllyasviel/stable-diffusion-webui-forge

● ComfyUI&ComfyBox的git仓库:

- space-nuko/ComfyBox: Customizable Stable Diffusion frontend for ComfyUI

- comfyanonymous/ComfyUI: The most powerful and modular stable diffusion GUI with a graph

● sd-scripts:

- kohya-ss/sd-scripts

- Akegarasu/lora-scripts: LoRA training scripts & GUI use kohya-ss's trainer

● 其他UI

invoke-ai

图像生成和图像编辑合二为一

NMKD Stable Diffusion GUI

NMKD是简单稳定的一个SD GUI

ddPn08/Radiata: Stable diffusion webui based on diffusers

Radiata,最速的SD GUI,可以使用TRT

vladmandic/automatic: SD.Next

SD.Next(Vlad),A41-webui的分支版本

7eu7d7/HCP-Diffusion-webui: webui for HCP-Diffusion

HCP-Webui,全是bug不建议用

liriliri/vivy-docs: Stable diffusion desktop app

基于WEBUI重新编写的桌面应用

lllyasviel/Fooocus: Focus on prompting and generating

一步到位,一键出图(过于精简,仅适合针对性使用)

2.  黑话解释 | 你看不到的都在这里

AI绘画方面有很多黑话,很多不单独做解释是比较难以理解的。虽然有人在尽可能的阻止一些不必要的黑话的产生,但仍然不可避免的产生了一些例如“魔法师”、“炼丹炉”这种的黑话。

a. AI有定义的专用名称解释解释

AI术语/黑话解释:

- 【AI绘画/科普】AI训练中的黑话都是什么意思?AI又是如何训练出来的?如何调节参数?不用一行公式带你看懂梯度下降

b. 其他一些黑话

(有需要的在补充)
咒语:指代提示词prompt
魔法师:指代写出提示词prompt的人
炼丹:指代训练练AI模型
炼丹炉:指代训练AI模型的地方
炼丹术士:指代训练AI模型的人
炸炉:指炼丹炼炸了,包括但不限于:CUDA OUT OF MEMORY、loss=nan、过拟合等

3. 新手入门 | 准备好了?要开始了!

a. 两个视频、一本书:

● AI绘画基础理论科普 by:飞鸟白菜

我希望每个人都去看完这个视频,而不是只停留在解压缩、双击、运行、输关键词、出图,或者是单单的拿着一些“好用的”参数去生成一些AI模型。

- 【轻科普】StableDiffusion那些事儿

● 深入理解Stable Diffusion by:秋葉aaaki

SD-AI绘画和模型作用基本的原理讲解,比较适合适合新人原理讲解视频

- 【AI绘画】深入理解Stable Diffusion!

● 《扩散模型从原理到实战》

扩散模型我们如今已经都不陌生,它是我们熟知的当下流行的 AI 绘图背后的技术。这本书由 Hugging Face 中国社区的本地化志愿者团队成员完成,书的内容基于 Jona 和 Lewis 在 Hugging Face 上发布的扩散模型课程

- Hugging Face 第一本中文图书出版啦_哔哩哔哩_bilibili

- 《扩散模型从原理到实战》- 京东图书

● SD原理介绍:知乎

- 【Stable Diffusion】之原理篇 - 知乎 (zhihu.com)

- The Illustrated Stable Diffusion – Jay Alammar – Visualizing machine learning one concept at a time. (jalammar.github.io)

特别提示:虽然nenly 的视频本质上属于一知半解的科普,它们通常会花费很长时间专注于视频的观感和标题、封面党,以吸引观众的注意力;但是给完全没有接触过任何AI相关内容的人推荐视频,我还是推荐nenly的视频(搞清楚其中的关系就行了)

另外还有一部分人,自诩开源作者,各种“峰会”、媒体会等活动不断。但是实质上仅仅只是利用“开源作者”身份给自己套盾而已,当你指出这些人本质上还是为了赚钱的时候,就会有人以此来反驳。

b. 安装与部署(整合包)

注意:没人愿意只凭借一个不正常退出的提示截图就给你解决问题,没有错误日志就诊断问题无异于闭眼开车。如果你安装部署的过程中出现问题,向别人请教的时候,请附带错误截图和完整错误报告。

● SD WebUI

有能力的可以自行部署stable dffusion相关UI,不过一般而言更推荐下面的整合包(工具)

- git仓库AUTOMATIC1111/stable-diffusion-webui

SD WebUI秋叶整合包与SD Webui绘世启动器

- 【AI绘画·11月最新】Stable Diffusion整合包v4.4发布!

- 【AI绘画】绘世启动器正式发布!!

SD WebUI秋叶整合包A卡适配版

- 【AI绘画】Stable Diffusion A卡专用整合包(DirectML)

SD WebUI贴吧一键整合包

搭载了dreambooth等插件,方便的自己炼制大模型(最低要求12G显存)。能够有效避免自行安装dreambooth插件时出现的各种问题。同时贴吧整合包适配A和和I卡,更方便使用

- WebUI | SD - WebUI 资源站 (123114514.xyz)

WebUI设置、预设文件搬迁(更换整合包)

- 【AI绘画】换整合包/自部署WebUI如何搬家设置与模型?

● ComfyUI

- git 仓库:comfyanonymous/ComfyUI

SD Comfy秋叶整合包:

- 【AI绘画】ComfyUI整合包发布!解压即用 一键启动 工作流版界面 超多节点 ☆更新 ☆汉化 秋叶整合包

SD ComfyUI 无限圣杯AI节点:

无限圣杯工具是由只剩一瓶辣椒酱-幻之境开发小组开发的一款基于SD ComfyUI 核心的 Blender AI 工具,它将以开源&免费的方式提供给 blender 用户使用。

- 无限圣杯AI节点(ComfyUI) 使用者手册

Comfy的其他整合包/工作流:

- 懒人一键制作Ai视频 Comfyui整合包 AnimateDiff工作流

Comfy使用其他模型

- city96/ComfyUI_ExtraModels: Support for miscellaneous image models.

提示:SD-ComfyUI并非如部分人所说全方位吊打SD-WebUI,ComfyUI并没有更快的生成速度。二者区别仅为偏向各有不同,请勿轻信标题党或营销号的说辞和部分QQ群内的捧一踩一。

实际上二者在不同方面各有优劣,请根据自己实际使用的情况来选择合适的GUI,而不是无脑XXX薄纱XXX。

c. 百科/教程/安装/使用

● Stable Diffusion WebUI

SD-Webui 从入门到卸载:保姆级下载、安装、使用甚至到卸载一本全浅度解析手册:

- Stable Diffusion WebUI 从入门到卸载

SD-Webui常见报错合集(此文档有小部分内容存在错误,但是仍值得参考)

- SD常见报错合集(更新到2023.12.18)

SD-Webui中文使用手册

- Stable Diffusion WebUI使用手册(简体中文)

SD-Webui Wiki

- Home · AUTOMATIC1111/stable-diffusion-webui Wiki (github.com)

其他关于使用 AI 绘画的 Wiki、翻译、教程与相关的资源。主要内容涉及 SD WebUI

- AiDraw | AiDraw (novelai.dev)

- sudoskys/StableDiffusionBook

当然了,文章因为内容比较多是比较长的所有肯定有很多人看不下去。所以也推荐去看一看一些up主的视频。

● ComfyUI 使用手册

Comfy节点UI使用手册,使用 comfyui来手撕潜空间吧!

- ComfyUI插件节点使用手册 (shimo.im)

- 【专业向节点AI】SD ComfyUI大冒险-基础篇 00安装与部署

Zho的Comfy系统性教程:

- ComfyUI系统性教程来啦!简体中文版整合包+全新升级云部署!预装超多模块组一键启动!内置超全标准工作流!

- Stable Diffusion 一周年| 生态全盘点:从入门到放弃?ComfyUI系统性教程原理篇01

- 2 万字带你了解 Stable Diffusion 发展史 | 扩散模型从零到一:系统梳理!ComfyUI系统性教程原理篇02

- 30分钟系统梳理Stable Diffusion:从模型到生态 | ComfyUI系统性教程原理篇03

- 1 万字系统剖析ComfyUI | Stable Diffusion:GUI全盘点 | ComfyUI系统性教程原理篇04

● VLAD(SD.Next

不推荐使用,这里仅作展示说明

- Vlad Diffusion webui:更简单的部署SD - 知乎 (zhihu.com)

- Complete Guide To VLAD Diffusion Installation

d. b站推荐Up主

● 秋葉aaaki

目前b站AI生成图片领域的头部Up,新人入坑推荐去看她的视频,不仅讲解很详细,同时还有对于新人极度友好的整合包和训练包使用。

- 秋葉aaaki的个人空间

这是使用教程/知识合集的专栏,想要了解的可以查看一下

- AI绘画使用教程- 文集

- AI绘画知识合集- 文集

● 只剩一瓶辣椒酱

目前b站ComfyUI讲解全面的Up主,如果想要使用ComfyUI推荐去系统的看完视频。同样有对于新人极度友好的AI绘画包。

- 只剩一瓶辣椒酱的个人空间

- 合集_ComfyUI大冒险

● 琥珀青葉

LyCORIS作者,有讲解Stable diffusion的很多基础内容

- 琥珀青叶的个人空间

- 合集_玩轉SD_琥珀青叶的个人空间

● 青龙圣者

AI绘画专业领域干货分享UP主,涵盖了SD、Comfy、LoRA、UI使用、模型训练等内容

- 青龙圣者的个人空间-青龙圣者个人主页

e. 比较知名的AI网站

● Novel AI

NaiV3的出图效果不错,但是容易出现ip角色或logo以及一些水印,部分图甚至可以直接找到或者根据水印找到原图,所以对于naiV3作者本人不做任何推荐,但是如果想要尝试则需要注意此问题。

NAI-V3的一些介绍和使用:

- NAI-V3的使用守则 | Civitai

- NovelAI Diffusion V3 (rentry.org)

NAI-V3的tag写作方式:

- NAI-V3的tag写作方式

Kohaku-NAI:在WebUI中使用nai接口生成图:

- KohakuBlueleaf/Kohaku-NAI: A Novel-AI client with more utilities built in it (github.com)

NAI3 Artists测试,想Nai到底练了那些画师可以看这里的测试结果(另外,以下内容非本人整流且与本文档无任何关系,如有任何问题将会删除此部分):

- NAIv3 Artists SFW Only

- 500画风-NovelAI V3示例

- Artists: (rentry.org)

- MEGA Nai V3 Artists

NAI3可用角色列表

- wildcard/character.txt · Linaqruf/animagine-xl at main (huggingface.co)

NAI3的300画风(也可以用于其他SDXL模型)

- 300画风法典:NAI3画风收集和研究

● Midjourney

无需多说,效果对比因人而异,有的人觉得Midjourney效果很好,也有人觉得Midjourney效果很烂(PS:作者本人就是认为Midjourney效果很烂的一部分)

- 官网:https://www.midjourney.com/

- 运行状态展示:Status | Midjourney

- DC链接Status | Midjourney

- Andrei Kovalev 的 Midjourney风格库Andrei Kovalev's Midlibrary: Midjourney AI Styles Library and Guide

4. 生图相关 | 我的电脑在自动画画!

请勿相信任何提示词格式方面的教程,模型在使用之前必须看模型说明

请不要拿着Nai1.0衍生模型的法典/群内传播的提示词/novelAI V3的提示词直接放到SDXL的自训练的模型上使用,如需使用请参照模型说明的内容填写。如果出现了什么不想要的东西请优先检查模型提示词,不要每个提示词都有“1girl, loli”然后说模型生成图过分幼态。

a. 提示词

● DanTagGen by KBlueLeaf

DanTagGen(Danbooru Tag Generator)是一个LLM模型,用于生成提供信息的Danboou标签提示词,它旨在为用户提供一种更方便的方式来为在Danbooru数据集上训练的Text 2 Image模型生成提示词:

- 模型链接:KBlueLeaf/DanTagGen · Hugging Face

- Demo:DTG Demo - a Hugging Face Space by KBlueLeaf

● 通配符(Wildcard)

- 青龙圣者(prompt Wildcard仓库):sdbds/stable-diffusion-webui-wildcards: Wildcards

===此部分来自SD RESOURCE GOLDMINE===

- Wildcard Lists

- /g/ - Technology » Thread #89006003

- https://cdn.lewd.host/EtbKpD8C.zip

- stable-soup-prompts/wildcards at main · Lopyter/stable-soup-prompts

- Lopyter/sd-artists-wildcards

艺术家通配符文本文件根据 Automatic1111 的 csv 文件按类别拆分

- stable-diffusion-webui-1/scripts/wildcards at main · jtkelm2/stable-diffusion-webui-1

- Decided to build upon the already established wildcard lists a little and may have gotten slightl...

- https://files.catbox.moe/s7expb.7z

- https://files.catbox.moe/ipqljx.zip (用于 Danbooru 训练的模型)

- https://files.catbox.moe/qy6vaf.zip

- https://files.catbox.moe/11s1tn.zip

- wildcards (mediafire.com)

- https://files.catbox.moe/88s7bf.zip 服装

- https://files.catbox.moe/qyybik.zip

- https://cdn.lewd.host/4Ql5bhQD.7z

- https://files.catbox.moe/hz5mom.zip

- stable-diffusion-webui-1/scripts/wildcards at main · jtkelm2/stable-diffusion-webui-1

● 辅助站

实际上这些辅助站用处并不是很大,通常写出来的词条也都是非常简单的“1girl”提示词。所以还是建议对照《元素法典》等提示词合集照着葫芦画瓢。

- 推荐:PromptTool词图 游戏资产AIGC

- 推荐:PromLib·AI提示词画廊-AIGC提示词分享平台

注意这个半自动魔导原典依赖WPS特性制作,使用office565等其他软件无法达到相应的效果

- 推荐:https://pan.baidu.com/s/1x0STbjdTy9xMIYrXICiEQA?pwd=3333

- aitag

- 词图PromptTool - AI绘画

- NovelAI tag在线生成器 (wolfchen.top)

- NovelAI魔导书 (thereisnospon.github.io)

- Danbooru 标签超市 (novelai.dev)

……(类似的网站有很多)


↓↓↓==SD1.5提示词==↓↓↓

● Tags

Danbooru标签:

- Tag Groups Wiki | Danbooru (donmai.us)

Danbooru艺术家标签

- Artists | Danbooru (donmai.us)

Danbooru标签超市

- Danbooru 标签超市 (novelai.dev)

● AI提示词

利用GPT联想并生成提示词

- 网站链接:MidJourney.TalkGame.Ai

- 相关视频:https://www.bilibili.com/video/BV16F411C7wb/

利用AI生成随机提示词(promptgen)

- 插件git仓库:AUTOMATIC1111/stable-diffusion-webui-promptgen

- HF链接:aksty/promptgen · Hugging Face

● 提示词合集:现成的提示词任君采撷

元素法典:

元素法典为写好的现成提示词合集,其中2.0和2.5卷含有众多高质量提示词。1和1.5卷受限于时代原因问题众多不做推荐,新人也不建议查看。

元素法典

- 元素法典 第二卷——Novel AI 元素魔法全收录

- 元素法典 第二点五卷——Novel AI 元素魔法全收录

元素法典-奥术(Arcane)

- 奥术(Arcane)第一卷

- 奥术(Arcane)第二卷

- 奥术(Arcane)第三卷


旧日黎明系列:

比较新的一个提示词合集,但是由于目前模型众多的原因,很多提示词不再通用,所以需要自行测试提示词的效果

- 旧日黎明——献给朋友们的法术书

- 幻想魔法书——星月黎明(星月之选)

- 幻想魔法书——星月黎明(花语之选)

- 天焕黎明——风啸卷

- 天焕黎明——残云卷

- 幻想魔法书——曙光卷

- 幻想魔法书——晨曦卷

- 旧日黎明第五部-旧日终焉


C站/社区常用高质量提示词:

C站的低质量提示词,为什么说是低质量呢?因为里面的提示词全是在描写一个怎么样的“1girl”

- [C站/社区常用高质量提示词] v2.0


SD优质提示词库

提供大量优质提示词合集,推荐查看

- SD优质提示词库

● 提示词编写

元素同典:提示词编写的基础理论

元素同典是法典组几乎全部研究的合集(基于Nai1.0),从原理来说明讲解如何合理的编写提示词,如果想要在Nai1.0的衍生或类似模型写入高质量的提示词,那么最好看完这个文档:

- 元素同典:确实不完全科学的魔导书

由SD-webui的大括号开始谈起

有关提示词编写过程中一些玄学民科的东西的纠错与解释

- 浅考sd-webui大括号{}处理

↓↓↓==参数/语法等==↓↓↓

web UI早已支持AND语法,下面是相关内容

- 网站:Compositional Visual Generation with Composable Diffusion Models

- 论文:[2206.01714]

采样器相关内容讲解与对比(附带一大坨论文)

- stable diffusion webui如何工作以及采样方法的对比

b. 生成图交流站

- AIGODLIKE:AIGODLIKE-开源AI冒险社区

- Aibooru: AIBooru: Anime Image Board

c. ControlNet

● ControlNet

ControlNet的基本内容和使用教程

- ControlNet论文:[2302.05543]

- ControlNet git仓库:lllyasviel/ControlNet:

- SDXL Control:stabilityai/control-lora · Hugging Face

- HF模型仓库(SD1.5):lllyasviel/ControlNet-v1-1 at main

- HF模型仓库(SDXL):lllyasviel/sd_control_collection at main

- 教程①:【AI绘画】全面升级!ControlNet1.1 使用教程 更加强大的控制功能

● Control LoRA

- stabilityai/control-lora:stabilityai/control-lora · Hugging Face

- HighCWu/ControlLoRA:HighCWu/ControlLoRA

- HighCWu/control-lora-v2:HighCWu/control-lora-v2

- ControlLoRA预训练模型:HighCWu/ControlLoRA at main

- ControlLoRA - Face Landmarks Version:HighCWu/sd-controllora-face-landmarks

● ControlNet相关工具

功能很简单,就是上传彩色照片,转为简笔画,比勾勒轮廓清晰,可用于后续填色制作蒙版等。

- 将彩色图像转为黑白简笔画图:简笔画 - 图像转简笔画

基于KKS/KK游戏来生成ControlNet扩散模型用图的“游戏内插件”。

- ControlNet material generator for KK/KKS

可以保存Controlnet插件的参数和原始图的插件。

- pk5ls20/sd-webui-controlnet-fastload: Save parameters in the Controlnet plugin easily

● Controlnet lllite

ControlNet-LLLite 是 ControlNet 的轻量级版本,目前仅支持 SDXL,其弥补了 SDXL Control 原本模型的一些不足,相比原本的normal zoe,dsine 拥有更好的轮廓表现,该模型支持动漫和写实等多种风格。

- 青龙动态:青龙圣者的动态

- 说明文档:sd-scripts/docs/train_lllite_README.md at sdxl · kohya-ss/sd-scripts

- siyeong0/Anime-Face-Segmentation: Anime character face segmentation

- 模型:bdsqlsz/qinglong_controlnet-lllite

ControlLLLite 在 WebUI 中是可以在 ControlNet 插件中使用的,但 ComfyUI 中要另下插件:

- kohya-ss/ControlNet-LLLite-ComfyUI

d. Img2Img

图生图超详细教程。详细讲解了修复细节、命题作文、艺术创作等方法和内容,AI 辅助(画师)绘画入门必读内容

- 给所有想学习AI辅助绘画的人的入门课(InvokeAI)

- 重绘学派法术绪论1.1(WebUI)

WebUI在AI辅助绘画中其实并不好用,如有专业需求,推荐使用InvokeAI

5
0