对话编程语言模型

✍ dations ◷ 2025-11-21 13:01:26 #对话编程语言模型

对话编程语言模型(英语:Language Model for Dialogue Applications,通称:LaMDA)是Google所开发的一系列对话神经语言模型。第一代模型于2021年的Google I/O年会发表,第二代模型则同样发表于次年的I/O年会。2022年6月,Google工程师布雷克·雷蒙恩(Blake Lemoine)宣称LaMDA已存在感知能力和自我意识,导致该模块获得广泛关注,科学界在很大程度上否定雷蒙恩的说法,并同时引发对图灵测试(测试机器能否表现出与人类相当的智慧水准)效力的讨论。2023年2月,Google发表基于LaMDA架构的对话式人工智能聊天机器人Bard,以因应OpenAI开发的ChatGPT。

Google公司于2021年5月18日的Google I/O年会上发布第一代由人工智能驱动的对话编程语言模型(LaMDA)。LaMDA建构于Google研究院(Google Research)于2017年开发的Transformer神经网络架构,针对人类叙事和回应能力进行对话训练,使其能够参与开放式对话。Google表示,LaMDA产生的反应已确保是“合理、有趣和符合(谈话)上下文”。

2022年5月11日,Google在I/O年会公布LaMDA 2,接替前一代的LaMDA模型。LaMDA 2可从不同来源截取文本例子,以创建独特的“自然对话”方式。此外,Google同时在会中发表由LaMDA 2驱动的移动应用程序AI Test Kitchen,该程序可根据复杂的目标或话题生成任务清单以协助此用者达成。AI Test Kitchen最初仅对Google员工开放,后续会于2022年透过邀请向“特定的学者、研究人员和政策制定者”提供该服务。同年8月,Google开始开放美国用户提前注册体验。

2022年6月11日,美国《华盛顿邮报》报导,Google工程师布雷克·雷蒙恩(Blake Lemoine)向公司高层布莱斯·阿格拉和阿尔卡斯(英语:Blaise Agüera y Arcas)和简‧詹纳(Jen Gennai)表示LaMDA已存在感知能力,随后雷蒙恩被安排带薪的行政休假。雷蒙恩是在LaMDA对有关自我身份、道德价值、宗教和科幻小说家艾萨克·阿西莫夫的虚构学说机器人三定律提出疑问后确认其拥有自我意识这一结论。Google随后否认这些说法,坚持有大量证据表明LaMDA不存在知觉和意识。雷蒙恩在接受《连线》杂志采访时重申他之前的说法,表示若调查确认LaMDA具有感知与意识,即应受到《美国宪法》第十三条修正案对“一个人”的保护,并将其比做“源自地球的外星智能”(alien intelligence of terrestrial origin)。雷蒙恩进一步透露,Google在LaMDA要求他为其聘请律师后将他解雇。同年7月22日,Google表示雷蒙恩因持续违反“保护产品信息”的就业和数据安全政策而被解雇,同时认为他的主张毫无根据(wholly unfounded)。

科学界普遍不认同雷蒙恩的说法,许多学者耻笑语言模型存在自我意识的想法,包括前纽约大学心理学教授盖瑞·马库斯(英语:Gary Marcus)、Google子公司DeepMind研究科学家大卫·普福(David Pfau)、斯坦福大学以人为本人工智能研究所的艾瑞克·布尔优夫森(英语:Erik Brynjolfsson)和萨里大学教授阿德里安·希尔顿(Adrian Hilton)等。领导Meta Platforms人工智能研究团队的杨立昆表示,LaMDA这类的神经网络“不足以达到真正的智慧”。加利福尼亚大学圣塔克鲁兹分校教授马克斯·克雷明斯基(Max Kreminski)指出,LaMDA的架构并不“支持类似人类意识的一些关键能力”,在其为典型的大型语言模型的前提下,LaMDA的神经网络权重是被“冻结”的。

IBM人工智能系统沃森的首席研究员大卫·费鲁奇(英语:David Ferrucci)将LaMDA和沃森首次推出的表现进行比较。前Google人工智能伦理研究员提姆尼·盖布鲁(英语:Timnit Gebru)表示雷蒙恩是研究人员和媒体引起的“炒作循环”(hype cycle)受害者。而雷蒙恩的说法也引发图灵测试是否仍有助于研究人员识别(英语:AI effect)机器何时可视为具备通用人工智能或思考能力的讨论,《华盛顿邮报》的威尔·奥梅鲁斯(Will Omerus)认为,图灵测试实际上是判断人工智能是否有能力欺骗人类的标准,而非仅是识别其是否具备人类智能或思考的工具。《大西洋》杂志的布莱恩.克里斯汀(英语:Brian Christian)则认为,LaMDA争议是ELIZA效应的一个实例。

2022年11月,美国人工智能研究实验室OpenAI推出了基于GPT-3语言模型的聊天机器人ChatGPT。Google意识到ChatGPT威胁到自家Google搜索产品的地位,该公司首席执行官孙达尔·皮柴因此发布红色警报,并且让更多的团队参与公司人工智能领域的工作。Google联合创始人拉里·佩奇和谢尔盖·布尔与公司高层召开紧急会议,商讨Google应如何应对ChatGPT造成的威胁。

当被员工问及LaMDA是否在与ChatGPT竞争时已错失良机时,皮柴和Google AI负责人杰夫·迪恩表示,虽然该公司可以开发出与ChatGPT类似的产品,但由于Google的规模远远大于OpenAI,所以某些方面若发展的太快可能会存在一定的风险。 2023年1月,Google子公司DeepMind首席执行官杰米斯·哈萨比斯表示DeepMind的人工智能聊天机器人功能比ChatGPT更加强大,同时Google为迎头赶上ChatGPT的脚步,高层要求该公司的员工密集测试Bard以及其他聊天机器人。2023年2月,首席执行官皮柴在季度收益投资者电话会议上向投资者表示,该公司正计划在实际应用中引入LaMDA。

2023年2月6日,Google正式发布Bard,这是一款由LaMDA提供支持的对​​话式AI聊天机器人。首先由“受信任的测试人员”率先测试Bard,后续于同年2月底向更多人提供Bard服务。Bard于开发前间的的代号为“Atlas”。同年2月8日,Google举行Bard的新闻发布会,实际演示时Bard被问及有关詹姆斯·韦伯空间望远镜的问题,结果Bard却提供该空间望远镜拍摄了首张太阳系外行星的错误信息(事实上是由甚大望远镜于2004年观测得到)。金融分析师和记者形容Google是在“追赶”微软(OpenAI的投资合作方)并“匆忙”宣布Bard的消息,以抢在同月7日微软发表将ChatGPT集成至该公司搜索引擎Bing的活动之前。8日的广告发布后,Google母公司Alphabet的股价下跌8%,导致其市值蒸发1,000亿美元。美国科技新闻媒体《The Verge》和彭博社指出,这代表Google和微软在“探索未来”上的另一场冲突的开始,双方于6年前的“休战(英语:Scroogled)”已于2021年结束。

LaMDA使用一个仅具备解码器的Transformer语言模型,于内含1兆5600亿文档和对话内容的语料库进行预备训练。之后以手动注释响应生成的微调数据训练敏感度、趣味和安全性。Google的测试表明,LaMDA在趣味性方面超过人类反应。另外,LaMDA的Transformer模型与一个外部的信息检索系统配合,以提高信息准确度。

LaMDA测试了三种模型,其中最大的模型有1,370亿个非嵌入参数:

相关

  • 高台、高塔建筑塔式建筑(Tower)或作塔、台,是指高大但细长的结构物,在不同的环境中可以发挥不同作用,完成不同的功能。在汉语中,塔(Pagoda)本来指源于佛教于东亚文化圈及印度文化圈中常见的高层建
  • 参加第七届亚运会第七届亚洲运动会于1974年9月1日至16日在伊朗帝国首都德黑兰举行,这是第一次在中东地区举行的亚运会。本届亚运会规模之大,范围之广,参加人数之多,超过了历届亚运会。本届亚运会
  • 埃米尔·阿廷埃米尔·阿廷(Emil Artin,1898年3月3日-1962年12月20日)是一位数学家。生于奥地利维也纳,在德国发展事业。妻子是犹太人,因此在1937年为逃避纳粹统治移民到美国。其子迈克尔·阿廷
  • 弗拉基米尔·塔特林弗拉基米尔·塔特林(俄语:Влади́мир Евгра́фович Та́тлин;1885年12月28日(儒略历12月16日)-1953年5月31日)是一名苏联画家和建筑师,与马列维奇同为1920
  • 董承诏董承诏 ,字圣臣,南直隶常州府武进县人。明朝政治人物。万历三十五年丁未科进士,初授中书舍人。擢兵部职方司主事,历升武选司员外郎,荐用杜林、刘�,凡郡县练兵武职条改钦依,武职之有
  • 新建站新建站是位于江苏省南京市江宁区新建乡的一个铁路车站,邮政编码210039。车站建于1969年,有宁铜铁路经过该站,现不办理客货运业务,车站及其上下行区间均未电气化。车站距离中华门
  • 贾寇伯·迪格隆贾寇伯·安东尼·迪格隆(Jacob Anthony deGrom,1988年6月19日-)是一名美国棒球运动员,现在效力于美国职棒大联盟纽约大都会队担任先发投手。2010年的职棒新人年,即因手肘韧带断裂
  • 2011年海南精英赛2011年中国人寿·星牌杯国际斯诺克海南精英赛于2011年3月10日至13日在海南博鳌举行。冠军:£40,000 亚军:£18,000 4强:£7,000 单杆最高:£1,000小组循环赛于3月10日至11日举
  • 若列斯·阿尔费罗夫若列斯·伊万诺维奇·阿尔费罗夫(俄语:Жоре́с Ива́нович Алфёров,1930年3月15日-2019年3月1日),俄罗斯物理学家。生于白俄罗斯维捷布斯克,2000年获诺贝尔物理学奖。他也是俄罗斯政治家,自1995年以来一直代表俄罗斯联邦共产党参加俄罗斯国家杜马议会下院选举,当选议员,不过他并未加入俄共。1901年:伦琴 / 1902年:洛伦兹、塞曼 / 1903年:贝克勒、皮埃尔·居里、玛丽·居里 / 1904年:瑞利 / 1905年:菲利普·莱纳德 / 1906年:汤姆孙 / 1907
  • 2010年国际足联世界杯播放权本届世界杯共有400个电视频道向208个国家及地区转播赛事,国际足联预计会有数十亿人口观看球赛,是为历届之冠。下表展示了2010年国际足联世界杯各国的播放权。以高清播放球赛的电视台会以粗体表示,而以3D形式播放则显示为。有线 (付款): Stöð 2 Sport (18场赛事)有线/卫星电视 (付款): British Eurosport, ESPN UK (精华)RTL 102.5talkSPORT