DALL-E

✍ dations ◷ 2025-07-14 19:31:41 #DALL-E

DALL-E是一个可以通过文本描述中生成图像的人工智能程序。于2021年1月5日由OpenAI发表。

DALL-E通过120亿参数版本的GPT-3 Transformer模型来理解自然语言输入(例如“五边形形状的绿色皮革钱包”或“一只悲伤水豚的等距视图”)并生成相应的图片。它既可以生成现实的对象(例如“带有蓝色草莓图像的彩色玻璃窗”),也能够生成现实中不存在的对象(例如“具有豪猪纹理的立方体”)。它的名字是2008年动画电影WALL-E(瓦力)和20世纪西班牙加泰罗尼亚画家萨尔瓦多·达利(Salvador Dalí)之混成词。

自2000年代以来,已有其他许多神经网络有生成逼真图像的能力。而DALL-E的特点在于它能够通过纯文本描述生成这样逼真的图像。

OpenAI尚未发布DALL-E模型的源代码,不过OpenAI在其网站上提供了DALL-E演示,可以查看部分文本描述的输出图像。除了官方版本的DALL-E,另有DALL-E Mini等其他人发布的以少量数据训练的开源替代方案。

《麻省理工科技评论》认为OpenAI的目标之一是“让语言模型更好地掌握人类用来理解事物的日常概念”。

DALL-E模型最初于2021年1月5日由OpenAI发布。

2022年4月,OpenAI宣布了新版本的DALL-E 2,声称它可以从文本描述中生成照片般逼真的图像,另外还有一个允许对输出进行简单修改的编辑器。根据OpenAI的公告,该程序仍处于研究阶段,访问权限仅限于小部分测试版用户。该模型有时仍会犯一些人类不会犯的严重错误。OpenAI称DALL-E 2是一个“可以从文本描述中生成原创、逼真的图像和艺术”的模型。

DALL-E是与CLIP(Contrastive Language-Image Pre-training,对比图文预训练)模型一起开发并向公众发布的。CLIP是一个单独的模型,其作用是理解输出图像并为其打分。DALL-E生成的图像由CLIP模型进行筛选,以呈现最高质量的图像。

GPT模型最初由OpenAI于2018年开发,其使用了Transformer架构。第二版的GPT-2于2019年发布。2020年又再次扩大规模发布了拥有1750亿个参数的GPT-3。

DALL-E模型是GPT-3的多模态实现,共拥有120亿个参数,使用从网络上收集的文本和图像对进行训练。 它使用零样本学习(英语:Zero-shot learning)从描述和提示中生成输出,而无需进一步训练。

DALL-E会根据提示生成多个图像,之后由CLIP模型对这些图像进行排序。CLIP模型使用了超过4亿对图像和文本进行训练。该模型是一个图像识别系统,它的训练集是从网络上抓取的图像与描述,而不是诸如ImageNet之类的经过整理的标记图像数据集。CLIP将图像与所有文本相关联。它能够预测哪个文本(从32768个随机采样的文本中选择)最适合图像,使其在之后有能力识别不在其训练集之中的图像中的对象。

DALL-E能够生成各种风格的图像,从照相写实主义图像到绘画和表情符号。它还可以“操纵和重新排列”图像中的对象。其创作者指出DALL-E的一项能力是在没有明确指示的情况下将设计元素正确放置在新颖的作品中:“例如,当被要求画一个白萝卜擤鼻涕、喝拿铁或骑独轮车时,DALL-E通常能在合理的位置画出手帕、手和脚。”

DALL-E展现了多种能力。《Input》、NBC、《自然》等的报道文章中都提到了DALL-E生成的“穿着芭蕾舞裙遛狗的小白萝卜插图”。 而它生成的“鳄梨形状的扶手椅”也同样受到关注。另一方面,DALL-E还展现出了足以解决瑞文氏标准推理测验(通常用于测量人类智力的视觉测试)的视觉推理技能。

剑桥大学机器学习教授尼尔·劳伦斯(Neil Lawrence)认为DALL-E这类模型有能力存储关于我们这个世界的信息,并以人类认为非常自然的方式进行推广。佐治亚理工学院交互计算学院副教授马克·里德尔(Mark Riedl)则认为DALL-E的演示结果表明它能够协调地融合概念,这是人类创造力的关键要素,同时他指出DALL-E绘制的插图比过去几年其他的Text2Image(由文本生成图像)系统要出色许多。

DALL-E模型在没有特定提示的情况下也能够推断合适细节的能力也受到了关注。技术博客ExtremeTech注意到,DALL-E绘制的“穿着圣诞毛衣的企鹅”不仅会生成企鹅穿着毛衣的图像,而且还会生成与主题相关的圣诞老人帽。另一个技术博客Engadget则注意到模型生成的“一幅一只狐狸冬天坐在田野里的画”中出现了适当放置的阴影。此外,DALL-E展示了对视觉和设计趋势的广泛理解。例如,DALL-E可以绘制指定年代的手机或吸尘器的照片,它了解这些物体的形态是如何随时间改变的。

不过有时模型也会出现错误。比如DALL-E 2就无法区分“一本黄色的书与一个红色的花瓶”与“一本红色的书与一个黄色的花瓶”这两个描述,也无法区分“正在咖啡拉花的熊猫”与“熊猫图案的咖啡拉花”。

相关

  • 嚼肌嚼肌是位于头部用于咬合和咀嚼的肌肉,沿着面部两侧各有一块嚼肌,从下颌或下颌骨沿伸到颧骨。每块嚼肌与固定在颞骨上的两块颞肌之一一起运作可将下巴往上拉。这些肌肉共同产生
  • GS1国际商品编码(International Article Number),即欧洲商品编码(European Article Number, EAN),原来只是欧洲范围内商品,而现在已是全球范围内产品交易的商品代码。为了适应读码器辨
  • Gov 2.0Gov 2.0(政府2.0)是由提姆·奥莱理于2009年9月4日在techcruch网页提出,他认为政府应当视为一个平台(Government As A Platform)提供网络服务(Web Services),政府机构不应只是提供网
  • 莱芒尼莱芒尼是位于美国中西部地区爱荷华州迪凯特县的一个小镇。“莱芒尼”这个名字来自《摩门经》里的一位国王。该镇最早期的定居者约于1834年至1840年迁入。19世纪50年代,数位旧
  • 卡普赖恩卡普赖恩(Kaprain),是印度拉贾斯坦邦Bundi县的一个城镇。总人口17766(2001年)。该地2001年总人口17766人,其中男性9326人,女性8440人;0—6岁人口3119人,其中男1675人,女1444人;识字率53
  • 范鸿南范鸿南(越南语:Phạm Hồng Nam,1996年4月7日-),越南男子羽毛球运动员。2016年3月,范鸿南与杜俊德合作在葡萄牙国际赛拿得男子双打亚军。只列出曾进入半决赛的国际赛事成绩:
  • 宁发国际宁发国际有限公司,简称宁发国际(英语:Newfoundland International Company Limited,港交所除牌时为0257.HK),前身为新安置业有限公司,当时主要经营纺织及旅游业务。在1989年,被辰达
  • 大同江水产品餐馆大同江水产品餐馆(朝鲜语:대동강수산물식당/大同江水產物食堂),是位于朝鲜民主主义人民共和国首都平壤市大同江畔的一家餐馆,2018年7月30日开业。餐馆外形像一艘船,饭店一层设有装
  • 威廉·谢尔维威廉·谢尔维(法语:William Chervy,1937年6月3日-2021年2月12日),法国政治人物,曾任法国参议院议员、圣沃里市长。
  • 裴珉姬裴珉姬(韩语:배민희,1988年7月11日-),韩国女子手球运动员,亦是韩国国家女子手球队队员。2008年,裴珉姬代表韩国参加中国北京举行的奥林匹克运动会女子手球比赛,最终赢得一面铜牌。2010年11月,裴珉姬代表韩国出战广州亚运会,参加女子手球比赛项目,夺得铜牌。