发布时间:2024-08-04
浏览次数:0
清华团队开发了“四步画图”的LCM,早期内容已经介绍完毕。没想到,很快,.AI在11月28日星期二正式上线了sdxl turbo模型。和LCM类似,变态的是号称一步生成高清大图。sdxl turbo模型现在可以在多个平台上使用了。在这段视频中,大狂将介绍使用draw平台在MAC电脑上部署sdxl turbo的过程,一些操作技巧,以及我发现的一些好玩好用的模型,分享给大家。
点击播放视频
部署前你需要了解SDXL Turbo的一些基本特性,例如:模型不使用文字引导和负面提示词,请将文字引导设置为0;生成的图片有固定的分辨率(像素),非1024,模型无法达到完美的照片级真实感;模型无法呈现清晰的文字;一般情况下可能无法正确生成人脸和人物;本模型仅供研究使用,不得用于商业用途。
上面说了它的使用有很多限制,所以提前给大家一个心理预期吧。如果你生成的图片变形怪异,不够逼真,或者生成1024*1024没有高清还原,而且图片中有多个人物,多个头或者多个手,遇到这些问题不要惊讶text sublime mac,因为这些都是SDXL Turbo的典型特性。这样看来,它没什么用。那么除了一步到位的绘制速度快,它还能干什么呢?也欢迎大家带着这个疑问观看下一篇教程。
(下图是未经过高清修复,用SDXL turbo生成的1024*1024图像)
注:12 月 3 日,测试版已更新(但正式版仍未到来),内置了新的支持 turbo 的多重采样器和 SDXL turbo 模型,并且最小生成步骤数可设置为 1。本期的很多内容不再那么麻烦。您也可以等待应用商店更新。如果您不想等待更新,可以按照以下说明进行尝试。
第 1 部分:下载模型
目前draw作者正在积极开发更新turbo相关的模型和设置,截止本视频发布,软件还没有内置模型,所以需要去face官网,点击中间的文件和,到页面最下方text sublime mac,有两个文件,一般下载6.94GB,fp16版本就够了,其他文件就不用了。
第 2 部分:导入 draw
打开软件按照正常方法导入模型,点击模型下拉菜单-点击-选择中间的导入模型,然后点击- from File,选择你下载的6.94GB sdxl turbo模型文件,图片大小微调成512*512,其他选项不用选,然后导入自定义模型,稍等片刻,turbo模型就导入成功了。
(注:SDXL turbo官方给出的模型是512*512,但是目前已经有几种经过微调的模型混合使用turbo,可以达到1024*1024)
这里补充一下,如果你用的是普通电脑,在模型管理界面,点击最后的三个点,就可以创建8位模型了。这样会大大减小模型体积,节省空间,绘制速度也会更快。实际生成的模型质量不会有太大差别。我所有sdxl相关的模型都是8位的。创建一个8位模型大概需要20分钟,请耐心等待。
第三部分
适当的设置使 sdxl Turbo 模型有效
由于draw只内置了这六个采样器,所以这六个采样器无法让sdxl turbo跑出好画面。(官方的turbo采样器是euler a,不过好像有bug,12月3号beta版又添加了包括lcm在内的几个新采样器,大家可以等待更新)
要使其在此软件中工作,您需要使用 LCM 采样器。这里有两种方法。
第一种方法是简单修改代码,让sdxl turbo默认使用lcm的采样器,进入draw的model目录,具体目录的路径我给你们了,你们按照顺序找就可以了。
—————————
绘制模型目录:/Users/你的用户名///com..draw-/Data//
—————————
模型目录下有个.json文件,可以用代码编辑器相关的软件打开,我用的是text,这个文件每个人的不一样,需要仔细找到sdxl turbo模型的部分,比如我用的是8bit,在这一部分添加这段代码,英文逗号别忘了,然后+S保存。编辑代码的目的是为了让sdxl Turbo默认使用LCM的采样器,当我们再次打开软件使用sdxl Turbo生成图片的时候,可以看到采样器默认是LCM,图片按照提示字样就能正常运行了;
第二种方法--不修改代码,配合lcm sdxl lora,也可以让其生效。主模型我们选择sdxl turbo,lora中lcm sdxl base。权重可以调整为0或者更低的百分比,因为我们只希望lora起到LCM 的作用,不需要它有其他的作用。毕竟SDXL Turbo和LCM lora是冲突的,所以就让它的权重为0,只让lora起到给主模型LCM 的作用。这个地方听起来有点绕,多练习几次才能知道这里的妙处。这样,即使不修改代码,也可以让SDXL Turbo在draw中正常工作。通常我的8g内存的m1 mac,4步就可以跑完一张Turbo图片,不到10秒。
第四部分
如何将生成步骤数更改为 1 步
由于目前 Draw 的最低步数为 4,因此 sdxl turbo 1 步绘制的潜力无法充分发挥。(12 月 3 日上午内测更新已将步数提升至 1,后续就不用这么麻烦了。)如果不想等待 app store 更新,可以按照下面的脚本操作。
12月3日,测试版已经可以将步数增加到1
所以,这里我给大家介绍一种用脚本一步到位画图的方法。点击软件底部-预设-点击管理脚本-点击左下角的创建-粘贴我给你的代码-随便起个名字就叫“一步到位画图”。
—————————
脚本代码:
常量 = {....};
.步骤 = 1;
。跑步({ });
—————————
step后面的数值可以自由修改,也就是两步或者三步都可以。如果我们想一步绘制,直接在预设里点击这个脚本就可以实现一步绘制。可以看到,sdxl turbo一步绘制的效果也还不错。不过很显然,Turbo模型是一个为了速度而稍微牺牲质量的模型,用它来快速构图,然后再用其他模型来画图,是一个不错的搭配。
第五部分
如有侵权请联系删除!
Copyright © 2023 江苏优软数字科技有限公司 All Rights Reserved.正版sublime text、Codejock、IntelliJ IDEA、sketch、Mestrenova、DNAstar服务提供商
13262879759
微信二维码