AI绘画入门（四）——法师的魔杖：LoRA模型

金刚葫芦叔

接上节课，如果使用了合适的checkpoint模型和准确的提示词，成像效果一般都能够大致符合需求，而当我们想要更进一步去特指某个人物、某件服饰、或是表现某种强烈的艺术风格时，得到的结果则往往差强人意。可身为法师，怎能容许施法不受控制呢？既然目标比较难搞，那我们也需要祭出法器了。

LoRA模型，全称是Low-Rank Adaptation of large language models,直译为大语言模型的低阶适应，是一种通过小规模额外训练对底模进行补充和微调，以满足定制化需求的附加模型，需要搭配checkpoint模型才能使用。

如果把checkpoint模型比作一本厚重的魔法书，那么LoRA模型就是能够针对书中特定内容进行局部强化、补充和修订的魔杖，是AI法师们实现定向施法的重要倚仗。在SD中，LoRA模型品类庞杂数量繁多，为了便于理解，葫芦叔就按照具体功效把它们简单分为功能型、概念型和对象型。

功能型LoRA，其作用顾名思义就是为SD成像提供各种附加功能，例如C站里常年爆火的角色衣物增减（为啥火你懂的）

再比如画面细节增加、色彩增强、图像去噪矢量化，以及刚刚推出的成像质量提升等。

概念型LoRA，则用于展现特定的图像风格或画面元素，其涵盖范围极其广泛，包括对成像工具的模拟，例如传统绘画中常见的水墨、水彩、水粉、素描、彩铅、油彩等，

现代成像手段中的光学拍摄、数码拍摄，以及各类滤镜和后期；

还包括对特定风格的模拟，大到写实风、CG风、3D风、国风、美漫风、日漫风，小到赛博朋克风、机械风、武侠风、手办风、像素风，还有什么漫威影视风、宫崎骏动画风、暗黑游戏风、小红书纯欲自拍风……等等等等，不一而足。

最后是对象型LoRA，这里的对象可以理解为对成像内容的框定，如画面主体、背景设置、特定元素，在此基础上又可以细分为人物系、动物系、事物系、风景系、建筑系、抽象系等等，说是包罗万象也并不夸张。

对象型LoRA下面还有一个重要分支，那就是角色型LoRA。角色的概念并不仅限于人，所有对目标个体的特指都适用于此类LoRA，无论对方是一个人、一只猫、一辆车还是一件衣服，也无论它是否存在于这个世界，只要它有明确的特征，我们就可以尝试对它进行还原。

而这种还原又可以搭配不同底模以及其它类型的LoRA，产生各种各样的组合效果。

想要实现这些神奇的效果，就需要熟练运用LoRA模型，这也是每一位AI法师的必修课。现在，屏幕前的你是不是已经跃跃欲试了呢？那就让我们一起来看看LoRA模型的安装和调用方法吧。

LoRA模型的大小一般不超过300Mb，大多数只有数十Mb或更小，后缀名一般也是.safetensors，在SD-webUI中的存放和使用则要比checkpoint模型略微复杂一些，一般可以分为以下两种情况。（没有本地部署SD的小伙伴可以直接跳转到云端部分）

第一种是将模型文件存放至SD安装目录下的models\Lora文件夹，然后从webUI的模型选择面板找到需要的LoRA模型，单击鼠标左键完成加载。注意这里所说的模型选择面板并非我们上节课中选择checkpoint模型的那个下拉选框，而是提示词输入区下方这个以预览图形式展示了所有已安装模型的区域，需要点击下图中这个红色按键才能看到此界面，也可以再次点击这个按键将其关闭。

从这里加载的LoRA会以prompt（提示词）形式呈现在提示词输入区，格式为<lora:模型文件名:1>。

第二种方式是通过webUI中的附加网络控件来调用LoRA，采用这种方式时，LoRA文件的默认存放路径为SD安装目录下的extensions\sd-webui-additional-networks\models\lora，但我们可以通过在webUI的附加网络设置中将附加存放路径设为.\models\lora，以实现两种调用方式的文件路径统一。

文件放置妥当后，就可以从下方的Additional Networks（附加网络）控件区域以下拉选框的方式调用LoRA模型了，别忘了点启用呦。

有别于checkpoint，在SD中，我们可以同时加载多个不同的LoRA，并且为每一个模型单独设置权重。权重的概念有些类似调料浓度，如果味道太重（LoRA效果过强导致画面割裂提示词失效）就应当减少用量（降低权重），味道太淡（LoRA无效果或效果不明显）则应增加用量（提高权重）。

与调用方法相对应，调节LoRA权重的方式也有两种。如果你将LoRA加载到了提示词输入区，那么修改权重的方式就是对<lora:模型文件名:1>最后的这个数字1进行修改，它就是权重值，默认为1，功能型LoRA一般可以保持1或根据需要使用更大的数值；概念型和对象型LoRA则大多在0.6-0.8的权重范围内较容易取得理想效果；同时使用多个LoRA的情况下，可以考虑进一步降低权重以防止模型污染。

如果是通过附加网络模块来调用LoRA，则可以在Additional Networks参数面板右侧的权重栏中直接输入权重值。可以看到面板右上方还有一个复选框，这是附加网络模块独有的参数调节方式，支持为每个LoRA独立设置UNet权重和Text Encoder权重，这两个概念以后有机会做炼丹教程的话会讲到，在实际操作中，一般情况下是不需要打开这个选项的。

当然，使用云端SD工具的小伙伴就无需为安装路径之类的问题烦恼，只关注LoRA的选择和调用就可以了。无论是C站、炼丹阁之类的模型分享网站，还是吐司、哩布哩布AI这样的云端SD，一般都会在模型展示区对模型类型做出明确标注，大家平时遇到喜欢的模型可以随手点个收藏方便日后调用。

这里就还是以之前分享过的两个工具为例做一个简单说明。哩布哩布AI对前文所述的两种调用方式进行了整合，让用户可以在模型加载界面直接选择多个LoRA，

并支持在模型预览图下方直接修改相应的LoRA权重，十分方便；

吐司则是在基础模型选区下方单独设置了一个“添加LoRA(风格)”的按键，点击该按键后会弹出LoRA模型的分类列表，点选自己需要的模型即可。

调节LoRA权重的方式也大同小异。

相对于checkpoint模型，LoRA模型的训练对设备和训练集的要求都要低的多，非常适合社区用户和个人开发者，也由此诞生了一个AI法师的进阶职业——丹师，也就是自主训练模型的人，毕竟谁不想把自己或者家人朋友送到AI的世界里搞点事情呢？

某些修图软件上提供的AI写真AI证件照之类的服务，实际上就是把用户提供的照片炼成丹…哦不，是训练成LoRA来生图再返还给用户，但那种未经处理的素材加上大白菜丹方练出来的效果（如下图）…怎么说呢，咱还是别扔钱了吧。

葫芦叔本人也是一名致力于寻仙问药（收集素材调整参数）的丹师，这些教程也大都是在炼丹（模型训练）的等待过程中编写的，也算是对自己这段时间学习的一个总结吧。

那么本期就讲到这里，这期内容比较多也比较重要，虽然看起来纷繁复杂但实际操作一下就会发现其实并不难上手，至于如何搭配才能取得理想的成像效果，还得靠列位道友自己不断尝试反复摸索才是。

下一期，我也会结合之前几期的教学内容帮助大家整理出图思路，顺带对一些常规参数做个说明，再会喽～