Stable Diffusion

✍ dations ◷ 2025-04-04 04:09:19 #Stable Diffusion

Stable Diffusion是2022年发布的深度学习文生图模型​(英语)。它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词​(英语)指导下产生图生图的翻译。

它是一种潜在​(粤语)扩散模型​(英语),由慕尼黑大学的CompVis研究团体开发的各种生成性人工神經网络。它是由初创公司StabilityAI,CompVis与Runway合作开发的,并得到EleutherAI和LAION​(英语)的支持。 截至2022年10月,StabilityAI筹集了1.01亿美元的资金。

Stable Diffusion的代码和模型权重已公开发布,可以在大多数配备有适度GPU的电脑硬件上运行。而以前的专有文生图模型(如DALL-E和Midjourney​(英语))只能通过云计算服务访问。

Stable Diffusion是一种扩散模型(diffusion model)的变体,叫做“潜在扩散模型”(latent diffusion model; LDM)。扩散模型是在2015年推出的,其目的是消除对训练图像的连续应用高斯噪声,可以将其视为一系列去噪自编码器。Stable Diffusion由3个部分组成:变异自动编码器​(英语)(VAE),U-Net​(英语)和一个文本编码器。与其学习去噪图像数据(在“像素空间”中),而是训练VAE将图像转换为低维潜在空间​(英语)。添加和去除高斯噪声的过程被应用于这个潜在表示,然后将最终的去噪输出解码到像素空间中。在前向扩散过程中,高斯噪声被迭代地应用于压缩的潜在表征。每个去噪步骤都由一个包含残差神经网络​(粤语)(ResNet)中坚的U-Net架构完成,通过从前向扩散往反方向去噪而获得潜在表征。最后,VAE解码器通过将表征转换回像素空间来生成输出图像。研究人员指出,降低训练和生成的计算要求是LDM的一个优势。

去噪步骤可以以文本串、图像或一些其他数据为条件。调节数据的编码通过交叉注意机制(cross-attention mechanism)暴露给去噪U-Net的架构。为了对文本进行调节,一个预训练的固定CLIP ViT-L/14文本编码器被用来将提示词​转化为嵌入空间。

Stable Diffusion模型支持通过使用提示词来产生新的图像,描述要包含或省略的元素,以及重新绘制现有的图像,其中包含提示词中描述的新元素(该过程通常被称为“指导性图像合成”(guided image synthesis))通过使用模型的扩散去噪机制(diffusion-denoising mechanism)。 此外,该模型还允许通过提示词在现有的图中进内联补绘制和外补绘制来部分更改,当与支持这种功能的用户界面使用时,其中存在许多不同的开源软件。

Stable Diffusion建议在10GB以上的VRAM下运行,但是VRAM较少的用户可以选择以float16的精度加载权重,而不是默认的float32,以降低VRAM使用率。

Stable Diffusion中的文生图采样脚本,称为"txt2img",接受一个提示词,以及包括采样器(sampling type),图像尺寸,和随机种子​(粤语)的各种选项参数,并根据模型对提示的解释生成一个图像文件。 生成的图像带有不可见的数字水印标签,以允许用户识别由Stable Diffusion生成的图像,尽管如果图像被调整大小或旋转,该水印将失去其有效性。 Stable Diffusion模型是在由512×512分辨率图像组成的数据集上训练出来的,这意味着txt2img生成图像的最佳配置也是以512×512的分辨率生成的,偏离这个大小会导致生成输出质量差。 Stable Diffusion 2.0版本后来引入了以768×768分辨率图像生成的能力。

每一个txt2img的生成过程都会涉及到一个影响到生成图像的随机种子;用户可以选择随机化种子以探索不同生成结果,或者使用相同的种子来获得与之前生成的图像相同的结果。 用户还可以调整采样迭代步数(inference steps);较高的值需要较长的运行时间,但较小的值可能会导致视觉缺陷。 另一个可配置的选项,即无分类指导比例值,允许用户调整提示词的相关性(classifier-free guidance scale value);更具实验性或创造性的用例可以选择较低的值,而旨在获得更具体输出的用例可以使用较高的值。

反向提示词(negative prompt)是包含在Stable Diffusion的一些用户界面软件中的一个功能(包括StabilityAI自己的“Dreamstudio”云端软件即服务模式订阅制服务),它允许用户指定模型在图像生成过程中应该避免的提示,适用于由于用户提供的普通提示词,或者由于模型最初的训练,造成图像输出中出现不良的图像特征,例如畸形手脚。 与使用强调符(emphasis marker)相比,使用反向提示词在降低生成不良的图像的频率方面具有高度统计显著的效果;强调符是另一种为提示的部分增加权重的方法,被一些Stable Diffusion的开源实现所利用,在关键词中加入括号以增加或减少强调。

Stable Diffusion包括另一个取样脚本,称为"img2img",它接受一个提示词、现有图像的文件路径和0.0到1.0之间的去噪强度,并在原始图像的基础上产生一个新的图像,该图像也具有提示词中提供的元素;去噪强度表示添加到输出图像的噪声量,值越大,图像变化越多,但在语义上可能与提供的提示不一致。 图像升频是img2img的一个潜在用例,除此之外。

2022年11月24日发布的Stable Diffusion 2.0版本包含一个深度引导模型,称为"depth2img",该模型推断所提供的输入图像的深度​(英语),并根据提示词​和深度信息生成新图像,在新图像中保持原始图像的连贯性和深度。

Stable Diffusion模型的许多不同用户界面软件提供了通过img2img进行图生图的其他用例。内补绘制(inpainting)由用户提供的蒙版​(英语)描绘的现有图像的一部分,根据所提供的提示词,用新生成的内容填充蒙版的空间。 随着Stable Diffusion 2.0版本的发布,StabilityAI同时创建了一个专门针对内补绘制用例的专用模型。 相反,外补绘制(outpainting)将图像扩展到其原始尺寸之外,用根据所提供的提示词生成的内容来填补以前的空白空间。

与DALL-E等模型不同,Stable Diffusion提供其源代码以及预训练的权重。其许可证禁止某些使用案例,包括犯罪,诽谤,骚扰,人肉搜索,“剥削…未成年人”,提供医疗建议,自动创建法律义务,伪造法律证据,以及“基于…社会行为或…个人或人格特征…或受法律保护的特征或类别而歧视或伤害个人或群体”。 用户拥有其生成的图像的权利,并可自由地将其用于商业用途。

Stable Diffusion是在LAION-5B的图片和标题对上训练的,LAION-5B是一个公开的数据集,源自从网络上抓取的Common Crawl​(英语)数据。该数据集由LAION​(英语)创建,LAION是一家德国非营利组织,接受StabilityAI的资助。 该模型最初是在LAION-5B的一个大子集上训练的,最后几轮训练是在“LAION-Aesthetics v2 5+”上进行的,这是一个由6亿张带标题的图片组成的子集,人工智能预测人类在被要求对这些图片的喜欢程度打分时至少会给5/10打分。 这个最终的子集也排除了低分辨率的图像和被人工智能识别为带有水印的图像。 对该模型的训练数据进行的第三方分析发现,在从所使用的原始更广泛的数据集中抽取的1200万张图片的较小子集中,大约47%的图像样本量来自100个不同的网站,其中Pinterest占8.5%子集,其次是WordPress,Blogspot,Flickr,DeviantArt和维基共享资源等网站。

该模型是在亚马逊云计算服务上使用256个NVIDIA A100 GPU训练,共花费15万个GPU小时,成本为60万美元。

为了纠正模型初始训练的局限性,终端用户可以选择实施额外的训练,以微调生成输出以匹配更具体的使用情况。有三种方法可以让用户对Stable Diffusion模型权重存档点进行微调:

由于艺术风格和构图不受著作权保护,因此通常认为使用Stable Diffusion生成艺术品图像的用户不应被视为侵犯视觉相似作品的著作权, 但是如果生成的图像中所描述的真人被使用,他们仍然受到人格权的保护, 而且诸如可识别的品牌标识等知识产权仍然受到著作权保护。尽管如此,艺术家们表示担心Stable Diffusion等模型的广泛使用最终可能导致人类艺术家以及摄影师、模特、电影摄影师和演员逐渐失去与基于人工智能的竞争对手的商业可行性。

与其他公司的类似机器学习图像合成产品相比,Stable Diffusion在用户可能产生的内容类型方面明显更加宽容,例如暴力或性暴露的图像。

StabilityAI的首席执行官Emad Mostaque解决了该模型可能被用于滥用目的的担忧,他解释说:“人们有责任了解他们在操作这项技术时是否符合道德、道德和法律”,将Stable Diffusion的能力交到公众手中会使该技术在整体上提供净收益,即使有潜在的负面后果。 此外,Mostaque认为,Stable Diffusion的开放可用性背后的意图是结束大公司对此类技术的控制和主导地位,他们之前只开发了封闭的人工智能系统进行图像合成。

相关

  • 今文经学今文经学,汉代经学一派,与古文经学相对应,主要特点是加入大量的占卜、阴阳学说,提倡天人感应,以符合当时的需要,被列入学官,成为正统。而古文经学不断对其发动挑战,到汉朝灭亡和南北
  • 绞股蓝绞股蓝,又名五叶参、七叶胆,日本称之甘蔓茶、福音草,属葫芦科的一种植物。多年生攀援草本。叶子互生,常5~7小叶,呈鸟趾状复叶;中央一枚较大,先端渐尖,叶缘有锯齿。夏季开黄白色花,圆锥
  • 碧潼碧潼郡(朝鲜语:벽동군/碧潼郡 Pyŏktong gun */?)是朝鲜民主主义人民共和国平安北道的一个郡,位于该道东北部,北隔鸭绿江与中华人民共和国辽宁省相望。1952年自慈江道云时郡分出
  • 阿梅代奥·阿伏伽德罗阿梅代奥·阿伏伽德罗(Amedeo Avogadro,1776年-1856年),意大利化学家,生于都灵。全名。1811年发表了阿伏伽德罗假说,也就是今日的阿伏伽德罗定律,并提出分子概念及原子、分子区别等
  • 丁宝桢四川总督丁宝桢(1820年-1886年),谱名琼选,官章名宝桢,字穉璜,号佩之,行三,贵州平远州(今织金县)牛场镇人。清朝政治人物,洋务运动重要成员,官至四川总督。咸丰三年(1853年)以孝廉入选大挑一
  • 中华人民共和国公民身份号码中华人民共和国公民身份号码是中华人民共和国为中国大陆每个公民从出生之日起,及港澳台居民从申请居住证之日起,编定的唯一的、终身不变的身份代码,在中华人民共和国公民办理涉
  • 安东尼奥·洛博·安图内斯安东尼奥·洛博·安图内斯(葡萄牙语:António Lobo Antunes,1942年9月1日-)是一位葡萄牙小说家和医生。曾获耶路撒冷奖、卡蒙斯文学奖、诺尼诺国际文学奖等国际著名文学奖。1942
  • 李桂官李桂官,字秀章,清代吴县(今江苏省苏州市)人,为戏曲男演员,因与毕沅交好而被戏称为“状元夫人”。毕沅于乾隆二十五年(1760年,庚辰年)中进士,为第一名状元;根据赵翼与袁枚的记载(赵袁二人
  • 密勒定理密勒定理指的是建立等效电路的过程中,由两个电压源串联供电的高阻抗元件,可以拆成两个拥有相应阻抗的接地元件。还有一个双密勒定理是关于由两个并联电流源供电的阻抗的。这两
  • 18世纪德意志历史从1680年代到1789年,德意志地区由神圣罗马帝国境内德许多小邦国组成。 与此同时,各邦国发展了一种古典文化,在启蒙运动中得到了最大的体现。此时德意志地区诞生了许多世界级的文学艺术领袖,如哲学家莱布尼茨和康德,文学家歌德和席勒,以及音乐家巴赫和贝多芬。从1640年起,勃兰登堡-普鲁士在大选帝侯腓特烈·威廉的领导下开始崛起。1648年的威斯特伐利亚和约签订,普鲁士获得了东波美拉尼亚。从1713年到1740年,“士兵国王”腓特烈·威廉一世,建立了一个高度集权、军事化的国家。此时的普鲁士拥有约300万农村人口