注意力机制

✍ dations ◷ 2025-04-07 20:07:07 #注意力机制

注意力机制(英语:attention)是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重,同时减弱其他部分的权重,以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。

类似于注意力机制的架构最早于1990年代提出,当时提出的名称包括乘法模块(multiplicative module)、sigma pi单元、超网络(hypernetwork)等。注意力机制的灵活性来自于它的“软权重”特性,即这种权重是可以在运行时改变的,而非像通常的权重一样必须在运行时保持固定。注意力机制的用途包括神经图灵机(英语:Neural Turing machine)中的记忆功能、可微分神经计算机(英语:Differentiable neural computer)中的推理任务、Transformer模型中的语言处理、Perceiver(感知器)模型中的多模态数据处理(声音、图像、视频和文本)。

假设我们有一个以索引 i {displaystyle i} 排列的标记(token)序列。对于每一个标记 i {displaystyle i} ,神经网络计算出一个相应的满足 i w i = 1 {displaystyle sum _{i}w_{i}=1} 的非负软权重 w i {displaystyle w_{i}} 。每个标记都对应一个由词嵌入得到的向量 v i {displaystyle v_{i}} 。加权平均 i w i v i {displaystyle sum _{i}w_{i}v_{i}} 即是注意力机制的输出结果。

可以使用查询-键机制(query-key mechanism)计算软权重。从每个标记的词嵌入,我们计算其对应的查询向量 q i {displaystyle q_{i}} 和键向量 k i {displaystyle k_{i}} 。再计算点积 q i k j {displaystyle q_{i}k_{j}} 的softmax函数便可以得到对应的权重,其中 i {displaystyle i} 代表当前标记、 j {displaystyle j} 表示与当前标记产生注意力关系的标记。

某些架构中会采用多头注意力机制(multi-head attention),其中每一部分都有独立的查询(query)、键(key)和值(value)。

下图展示了将英语翻译成法语的机器,其基本架构为编码器-解码器结构,另外再加上了一个注意力单元。在图示的简单情况下,注意力单元只是循环层状态的点积计算,并不需要训练。但在实践中,注意力单元由需要训练的三个完全连接的神经网络层组成。这 三层分别被称为查询(query)、键(key)和值(value)。

下表是每一步计算的示例。为清楚起见,表中使用了具体的数值或图形而非字母表示向量与矩阵。嵌套的图形代表了每个h都包含之前所有单词的历史记录。在这里,我们引入注意力分数以得到所需的注意力权重。

以矩阵展示的注意力权重表现了网络如何根据上下文调整其关注点。

对注意力权重的这种展现方式回应了人们经常用来批评神经网络的可解释性问题。对于一个只作逐字翻译而不考虑词序的网络,其注意力权重矩阵会是一个对角占优矩阵。这里非对角占优的特性表明注意力机制能捕捉到更为细微的特征。在第一次通过解码器时,94%的注意力权重在第一个英文单词“I”上,因此网络的输出为对应的法语单词“je”(我)。而在第二次通过解码器时,此时88%的注意力权重在第三个英文单词“you”上,因此网络输出了对应的法语“t'”(你)。最后一遍时,95%的注意力权重在第二个英文单词“love”上,所以网络最后输出的是法语单词“aime”(爱)。

注意力机制有许多变体:点积注意力(dot-product attention)、QKV注意力(query-key-value attention)、强注意力(hard attention)、软注意力(soft attention)、自注意力(self attention)、交叉注意力(cross attention)、Luong注意力、Bahdanau注意力等。这些变体重新组合编码器端的输入,以将注意力效果重新分配到每个目标输出。通常而言,由点积得到的相关式矩阵提供了重新加权系数(参见图例)。

相关

  • 美国空军雷鸟飞行表演队美国空军雷鸟飞行表演队(英语:USAF Air Demonstration Squadron "Thunderbirds")是美国空军的空中表演中队,成立于1953年5月25日,其基地位于内华达州北拉斯维加斯的内利斯空军基
  • 中华灵芝宝双灵固本散,原为中华灵芝宝,是绿谷制药生产的一款产品,曾被多次曝光虚假宣传、没有疗效、造假,被大量媒体揭露和批判。“中华灵芝宝”原为上海绿谷1996年生产的保健食品,因其违规
  • 鲸虱介虫鲸虱介虫(学名:)是生存于白垩纪的一属介形虫,生活在淡水中。它们的双办壳很薄,近乎椭圆形,并有扩展的边缘。顶缘笔直,下面呈微波浪状,并与上缘在尾部聚合。左瓣比右瓣大,全部的边缘都
  • 阻碍主义阻碍主义(英语:Handicapism)是一个社会学用的专有学术名词。其用来形容某理论或行为造成对于部分人士有不公平之待遇、歧视与压迫,好比种族歧视主义、沙文主义。这类的待遇通常
  • 李德明李德明(981年-1032年),《辽史》为避辽穆宗耶律明之讳多称之为李德昭,小字阿移,夏太祖李继迁长子,母野利氏,生于981年,为人“深沉有器度,多权谋。”北宋景德元年正月初二(1004年1月26日),
  • 干禄字书《干禄字书》是唐代一本字样学字书,由颜元孙撰写,并一卷。刘中富统计此书共整理汉字804组,凡1656字,详见其著作《干禄字书字类研究》(济南:齐鲁书社,二零零四年)。本页的统计资料亦
  • 棱皮树蛙属棱皮树蛙属( )是无尾目树蛙科的一属动物。
  • 林静芸林静芸(1950年-),生于台湾台中市,医师,是台湾第一位女性外科医师,也是台湾整形界的先驱。现为联合整形外科诊所所长。其夫为林芳郁医师。林静芸的父亲是林秋江,林秋江的岳丈是陈水潭
  • 卡拉莫·布朗卡拉莫·布朗(英语:Karamo Brown,1980年11月2日-)是一位美国社会活动家和电视名人。他因为担任网飞真人秀节目《粉雄救兵》的文化专家而知名。布朗在2004年节目The Real World: P
  • 962年