DALL-E

✍ dations ◷ 2025-05-09 23:21:51 #DALL-E

DALL-E是一个可以通过文本描述中生成图像的人工智能程序。于2021年1月5日由OpenAI发表。

DALL-E通过120亿参数版本的GPT-3 Transformer模型来理解自然语言输入(例如“五边形形状的绿色皮革钱包”或“一只悲伤水豚的等距视图”)并生成相应的图片。它既可以生成现实的对象(例如“带有蓝色草莓图像的彩色玻璃窗”),也能够生成现实中不存在的对象(例如“具有豪猪纹理的立方体”)。它的名字是2008年动画电影WALL-E(瓦力)和20世纪西班牙加泰罗尼亚画家萨尔瓦多·达利(Salvador Dalí)之混成词。

自2000年代以来,已有其他许多神经网络有生成逼真图像的能力。而DALL-E的特点在于它能够通过纯文本描述生成这样逼真的图像。

OpenAI尚未发布DALL-E模型的源代码,不过OpenAI在其网站上提供了DALL-E演示,可以查看部分文本描述的输出图像。除了官方版本的DALL-E,另有DALL-E Mini等其他人发布的以少量数据训练的开源替代方案。

《麻省理工科技评论》认为OpenAI的目标之一是“让语言模型更好地掌握人类用来理解事物的日常概念”。

DALL-E模型最初于2021年1月5日由OpenAI发布。

2022年4月,OpenAI宣布了新版本的DALL-E 2,声称它可以从文本描述中生成照片般逼真的图像,另外还有一个允许对输出进行简单修改的编辑器。根据OpenAI的公告,该程序仍处于研究阶段,访问权限仅限于小部分测试版用户。该模型有时仍会犯一些人类不会犯的严重错误。OpenAI称DALL-E 2是一个“可以从文本描述中生成原创、逼真的图像和艺术”的模型。

DALL-E是与CLIP(Contrastive Language-Image Pre-training,对比图文预训练)模型一起开发并向公众发布的。CLIP是一个单独的模型,其作用是理解输出图像并为其打分。DALL-E生成的图像由CLIP模型进行筛选,以呈现最高质量的图像。

GPT模型最初由OpenAI于2018年开发,其使用了Transformer架构。第二版的GPT-2于2019年发布。2020年又再次扩大规模发布了拥有1750亿个参数的GPT-3。

DALL-E模型是GPT-3的多模态实现,共拥有120亿个参数,使用从网络上收集的文本和图像对进行训练。 它使用零样本学习(英语:Zero-shot learning)从描述和提示中生成输出,而无需进一步训练。

DALL-E会根据提示生成多个图像,之后由CLIP模型对这些图像进行排序。CLIP模型使用了超过4亿对图像和文本进行训练。该模型是一个图像识别系统,它的训练集是从网络上抓取的图像与描述,而不是诸如ImageNet之类的经过整理的标记图像数据集。CLIP将图像与所有文本相关联。它能够预测哪个文本(从32768个随机采样的文本中选择)最适合图像,使其在之后有能力识别不在其训练集之中的图像中的对象。

DALL-E能够生成各种风格的图像,从照相写实主义图像到绘画和表情符号。它还可以“操纵和重新排列”图像中的对象。其创作者指出DALL-E的一项能力是在没有明确指示的情况下将设计元素正确放置在新颖的作品中:“例如,当被要求画一个白萝卜擤鼻涕、喝拿铁或骑独轮车时,DALL-E通常能在合理的位置画出手帕、手和脚。”

DALL-E展现了多种能力。《Input》、NBC、《自然》等的报道文章中都提到了DALL-E生成的“穿着芭蕾舞裙遛狗的小白萝卜插图”。 而它生成的“鳄梨形状的扶手椅”也同样受到关注。另一方面,DALL-E还展现出了足以解决瑞文氏标准推理测验(通常用于测量人类智力的视觉测试)的视觉推理技能。

剑桥大学机器学习教授尼尔·劳伦斯(Neil Lawrence)认为DALL-E这类模型有能力存储关于我们这个世界的信息,并以人类认为非常自然的方式进行推广。佐治亚理工学院交互计算学院副教授马克·里德尔(Mark Riedl)则认为DALL-E的演示结果表明它能够协调地融合概念,这是人类创造力的关键要素,同时他指出DALL-E绘制的插图比过去几年其他的Text2Image(由文本生成图像)系统要出色许多。

DALL-E模型在没有特定提示的情况下也能够推断合适细节的能力也受到了关注。技术博客ExtremeTech注意到,DALL-E绘制的“穿着圣诞毛衣的企鹅”不仅会生成企鹅穿着毛衣的图像,而且还会生成与主题相关的圣诞老人帽。另一个技术博客Engadget则注意到模型生成的“一幅一只狐狸冬天坐在田野里的画”中出现了适当放置的阴影。此外,DALL-E展示了对视觉和设计趋势的广泛理解。例如,DALL-E可以绘制指定年代的手机或吸尘器的照片,它了解这些物体的形态是如何随时间改变的。

不过有时模型也会出现错误。比如DALL-E 2就无法区分“一本黄色的书与一个红色的花瓶”与“一本红色的书与一个黄色的花瓶”这两个描述,也无法区分“正在咖啡拉花的熊猫”与“熊猫图案的咖啡拉花”。

相关

  • 比尔·哈斯拉姆威廉·艾德华·“比尔”·哈斯拉姆(英语:William Edward "Bill" Haslam,/ˈhæzləm/;1958年8月23日-)是美国田纳西州诺克斯维尔市的市长。哈斯拉姆是共和党人。他在2003年的市长
  • 潘隆义潘隆义舍(Phoa Liong Gie Sia;1905年6月4日-1983年1月14日)是一名印度尼西亚出身的闽南裔华人,瑞士法学家、政治家兼荷属东印度时期的报社经营者。
  • 雅科夫·扎克雅科夫·扎克(俄语:Яков Зак,转写:Yakov Zak,乌克兰语:Яків Зак;1913年-1976年),男,敖德萨人,犹太裔苏联钢琴演奏家。1913年生于敖德萨,六岁开始弹奏钢琴。在敖德萨音乐学
  • 林彬林彬可以指:
  • 李小双李小双(1973年11月1日-),湖北沔阳(今仙桃市)人,中国体操运动员,有“中国第二代体操王子”之称。多次被评为全国“十佳”运动员和全国体操“十佳”运动员。1993年至1997年连续两年当
  • 海上教堂《海上教堂》,是西班牙律师兼作家伊德方索·法康尼斯于2006年出版的历史小说,共被译成超过32种语言,全球销售超过220万册。故事以14世纪西班牙加泰罗尼亚的巴塞罗那为背景,故事
  • 高以翔高以翔(英语:Godfrey Gao,1984年9月22日-2019年11月27日),台湾男演员、模特儿,与丁春诚、陈绍诚、蓝钧天四人被封为“时尚F4”。2019年11月27日,于录制浙江卫视真人实境秀节目《追我
  • 结果主义结果主义(英语:consequentialism)又称 归结主义、效果主义、效果论,是伦理学中的学说,主张判别行动好坏或是非的标准,依该行动所(或是否可能、
  • 雷鸟 (传说生物)雷鸟(Thunderbird)是美洲原住民传说的一种巨大神鸟,形似老鹰,翅膀有独木舟的桨那么长,当他振翅高飞时,就会风雷乍起,他的眼皮翕张之间,会放出万道闪电,是以巨鸟形象出现的雷、闪电和雨的精灵,和现实生活中存在的雷鸟并无关系。
  • 里基·布兰顿里基·韦恩·布兰顿(英语:Ricky Wayne Blanton,1966年4月21日-),美国NBA联盟前职业篮球运动员。他在1989年的NBA选秀中第2轮第46顺位被菲尼克斯太阳选中。