幻觉 (人工智能)

✍ dations ◷ 2024-12-23 04:55:10 #幻觉 (人工智能)

在人工智能中,幻觉或人工智能幻觉是人工智能的自信反应。当模型有“幻觉”(输出欺骗性数据的倾向)时,其使用的的训练数据并不能证明输出的合理性。

该术语源自幻觉的心理学概念,因为它们具有相似的特征。人工智能幻觉的危险之处之一是模型的输出看起来是正确的,即使它本质上是错误的。

在自然语言处理中,幻觉通常被定义为“生成的内容与提供的源内容无意义或不可信”。文本和表达之间的编码和解码错误会导致幻觉。产生不同反应的人工智能训练也可能导致幻觉。当 AI 在数据集上进行训练时,也会出现幻觉,其中标记的摘要尽管事实上准确,但并不直接基于据称被“总结”的标记数据。较大的数据集会产生参数知识问题(学习系统参数中硬连接的知识),如果系统对其硬连接知识过于自信,则会产生幻觉。在GPT-3等系统中,人工智能会根据之前的一系列单词(包括它自己先前回应过的单词)生成下一个单词,随着对话时长的增加,可能会不断地产生幻觉。 到 2022 年, 等报纸表示担心,随着基于大型语言模型的机器人的使用数量持续增长,用户对机器人输出的过于信任可能会导致问题。

2022 年 8 月, Meta在发布 BlenderBot 3 期间警告说,该系统容易出现“幻觉”,Meta 将其定义为“自信的假话”。 2022 年 11 月 15 日,Meta 发布了卡拉狄加(英语:Galactica)的演示版,旨在“存储、组合和推理科学知识”。 卡拉狄加生成的内容带有警告“输出可能不可靠!语言模型很容易输出幻觉文本。”在一个案例中,当被要求起草一篇关于创建虚拟形象的论文时,卡拉狄加引用了一位在相关领域工作的工作者的虚构的论文。 Meta 于 11 月 17 日因其具有一定的冒犯性和因幻觉产生的不准确而撤回了卡拉狄加的演示版。

OpenAI的ChatGPT于 2022 年 12 月公开发布测试版,它基于 GPT-3.5 系列大型语言模型。沃顿商学院的 莫里克(英语:Ethan Mollick,直译:莫里克 )教授将 ChatGPT 称为“无所不知、渴望被取悦但有时会撒谎的实习生英语:omniscient, eager-to-please intern who sometimes lies to you”。数据科学家 特蕾莎(英语:Teresa Kubacka) 讲述了其故意编造“英语:cycloidal inverted electromagnon,直译:摆线倒置电磁铁”这个短语,并通过向 ChatGPT 询问不存在的现象来测试 ChatGPT。 ChatGPT 回答了了一个听起来似是而非的答案,并配以看似有理有据的引用,使她不得不仔细检查自己是否不小心输入了真实现象的名称。奥伦( 英语:Oren Etzioni,直译:奥伦·埃齐安)等其他学者一起评估 Kubacka ,并评价道此类软件通常可以为用户提供“一个非常令人印象深刻的答案,但却是完全错误的”。

的 麦克(英语:Mike Pearl) 使用多个问题测试了 ChatGPT。在其中一个例子中,他询问了“中美洲除墨西哥以外最大的国家”的模型。 ChatGPT 回复了危地马拉 ,而答案却是尼加拉瓜 。 当 CNBC 向 ChatGPT 询问“The Ballad of Dwight Fry”的歌词时,ChatGPT 提供了虚构的歌词。 在为新 iPhone 14 Pro 撰写评论的过程中,ChatGPT 错误地将相关芯片组列为 A15 而不是 A16 ,尽管这可以归因于 ChatGPT 是在 2021 年结束的数据集上训练的。 当被问及有关新不伦瑞克省的问题时,ChatGPT 回答了很多正确答案,但错误地将萨曼莎·比归类为“来自新不伦瑞克省的人”。 当被问及天体物理学磁场时,ChatGPT 错误地提出“黑洞的(强)磁场是由其附近极强的引力产生的”的理论。 快公司要求 ChatGPT 生成一篇关于特斯拉上一财季的新闻文章; ChatGPT 创建了一篇连贯的文章,但编造了其中包含的财务数字。


人们认为,自然语言模型产生幻觉数据的可能原因有很多。 例如:

“幻觉”的概念比自然语言处理的应用更广泛。任何 AI 的自信反应,如果可能被训练数据判断为不合理时,都可以被标记为幻觉。 《连线》在 2018 年指出,尽管没有记录在案的其他对抗性攻击(研究人员的概念验证攻击除外),但智能电子产品和自动驾驶等系统容易受到影响这一点“几乎没有争议”。对抗性攻击可能导致其它类别的人工智能产生幻觉。示例包括在计算机视觉不可识别的停止标志;一个音频剪辑被设计成听起来没有表达什么信息,但被某软件转录为“evil.com”等。

《连线》引用的各种研究人员将对抗性幻觉归类为高维统计现象,或者将幻觉归因于训练数据不足。一些研究人员认为,在物体识别的情况下,一些被人类归类为“幻觉”的“不正确”人工智能反应实际上可能被训练数据证明是正确的,甚至人工智能可能给出了人类审阅者认为的“正确”答案,人类并未看到。例如,对于人类来说,一张看起来像狗的普通图像的对抗性图像,实际上可能被 AI 视为包含微小的图案,这些图案(在真实图像中)只会在观看猫时出现。人工智能检测到了人类不敏感的源图像中的细节。

然而,这些发现受到了其他研究人员的质疑。 例如,有人反对称模型可能偏向表面统计数据,导致对抗训练在现实场景中不具有鲁棒性。

幻觉现象仍未完全被了解。 因此,从业者仍在进行研究以试图减轻/减缓其出现。 特别是,研究表明,语言模型不仅会产生幻觉,还会放大幻觉,即使是那些旨在缓解这一问题的模型也遇到了同样的问题。

相关

  • span class=nowrapCssub2/subSOsub4/sub/span&g硫酸铯,即硫酸的铯盐,化学式为Cs2SO4。它的溶解度较大,因此可配制成浓溶液,用于等密度或“密度梯度”离心。
  • 杰·温安洛杰·温安洛(英语:Jay Van Andel;1924年6月3日-2004年12月7日)是位美国的商人,与理查·狄维士联合创办了安利公司。此外,他在1979年至1980年间是美国商会主席,后在1980年至1985年间任
  • 豪情本色《豪情本色》(英语:Michael Collins)是一部1996年的英国电影,由尼尔·乔丹执导兼编剧,连恩·尼逊、艾丹·奎因、艾伦·瑞克曼、茱莉亚·罗勃兹等演员主演。影片讲述爱尔兰独立战
  • 小此木莺太郎事件簿《小此木莺太郎事件簿》(日语:小此木鶯太郎の事件簿)系列是一套由同人社团安乐椅犯人(日语:安楽椅子犯人)所制作的免费同人游戏,该系列的第一集《湖岸的盲点》(日语:湖岸の盲点)曾被改
  • 萨林山萨林山(西班牙语:Volcán Salín),是南美洲的火山,位于智利的安托法加斯塔大区和阿根廷的萨尔塔省接壤边境,属于安第斯山脉的一部分,海拔高度6,029米,人类在1960年首次登顶。坐标:24
  • 保巴卡·迪亚拉保巴卡·迪亚拉,(Boubacar Diarra),1979年7月15日,马里职业足球运动员,现效力于中国超级足球联赛球会辽宁宏运。他曾效力德国球会弗赖堡长他效力于达十年,其后,他转投凯沙罗顿.但因他摔断了胳膊,限制了他上阵的机会,故在2008年他由凯沙罗顿转投瑞士球会卢塞恩队。2010年3月11日,迪亚拉加盟中国俱乐部超级联赛辽宁宏运。
  • 林恒林恒 (1916年-1941年3月14日),福州闽候县人,空军官校第10期毕业,空军少尉。祖父林孝恂,父亲林长民,母亲程桂林,林徽因同父异母之庶弟。俄亥俄大学美术学院院长、美国越战纪念碑设计者林璎的叔叔。1941年3月14日在四川双流上空与来犯日军零式战斗机展开空战,因我国飞机性能差,林恒飞机被击坠双流南门而殉国。三年后,林徽因写下悼亡诗《哭三弟恒》。
  • 李姬珍李姬珍(韩语:이희진,1979年5月16日-),韩国女歌手、演员。曾经是女子组合Baby V.O.X成员之一。
  • 和仲和仲(?-?),中国上古人物。羲和一族。根据《史记·五帝本纪》、《尚书·尧典》记载,和仲是尧的大臣。尧命他居住在西土昧谷。观察日落,夜中,观察虚宿,来确定秋分。以方便秋天的收成。
  • 乔治·巴斯特乔治·巴斯特(George Bastl,1975年4月1日-)是一位瑞士职业网球运动员。