神经机器翻译

✍ dations ◷ 2025-02-28 06:41:24 #神经机器翻译

神经机器翻译(英语:neural machine translation,缩写:NMT)是一种直接使用人工神经网络以端到端方式进行翻译建模的机器翻译方法。

2014年出现了第一篇关于在机器翻译中使用神经网络的科学论文,随后几年神经机器翻译又取得了一些进展。

神经机器翻译所需的内存比传统统计机器翻译(SMT)模型少了许多,此外,神经翻译模型的各个部分都是联合训练的(端到端),以充分利用翻译效能。

深度学习应用首次出现在1990年代的语音辨识领域。2014年,第一篇关于以神经网络进行机器翻译的科学论文问世。同年,Bahdanau等人和Sutskever等人提出了端到端的神经网络翻译模型,正式使用了“神经机器翻译”一词。2015年,百度推出了第一个大规模的NMT系统,Google于隔年推出,其他公司也随后纷纷推出NMT系统。该领域在接下来几年取得许多进展,如大词表NMT、影像字幕应用、子词-NMT、多语种NMT、多源NMT、字元解码NMT、零资源NMT、全字元-NMT和零样本NMT(Zero-Shot NMT)等。2015年,NMT系统第一次出现在公开机器翻译比赛(OpenMT'15),WMT'15也开始有NMT系统参赛,次年,该比赛已经有90%的获奖者是NMT系统。

欧洲专利局从2017年以来持续使用神经机器翻译技术,让世界各地的专利系统的资讯得以即时理解 。该系统是与Google合作开发的,有31种语言配对,该系统截至2018年已翻译超过900万个文件。

神经机器翻译(NMT)与个别改造子部件的统计式词组翻译模型不同。神经机器翻译的原理并没有大幅突破传统的统计机器翻译,它们之间的主要区别在于,神经机器翻译对词汇和内部状态使用了向量表征(“嵌入”、“连续空间表征”)。NMT的模型结构比基于词组的模型更为简单,不是用分开的语言模型、翻译模型和重新排序模型,而是仅使用单一序列(Sequence)模型,一次预测一个词汇,这个序列预测是根据整段的源语言句子和已产生的目标语言序列来预测的。NMT模型使用了深度学习和表征学习。

词序列起初通常是以递回神经网络(RNN)来建模。被称为“编码器”的双向RNN为被称为“解码器”的RNN编码源语言的句子,解码器被用来预测目标语言中的词汇。递回神经网络在将长输入编码为单一向量时会面临困难,这点可以透过注意力机制来弥补 ,该机制允许解码器在产生输出的每个词汇时特别关注输入的不同部分。此外还有多种覆盖模型(Coverage Model)用于解决这种注意力机制所处理的问题,比如忽略过去的对齐资讯所造成的过度翻译(over-translation)和翻译不足(under-translation)。

卷积神经网络(CNN)原则上对处理长的连续序列有一定的好处,但仍有几个劣势导致最初未被使用,这些劣势在2017年时成功以“注意力机制”解决。

“Transformer”是一个基于注意力的模型,目前仍然是几个语言对的主导架构。Transformer模型的自注意力层( self-attention layer)透过检查配对序列中所有词汇之间的依存关系,直接对这些关系进行建模,借此学习序列中词汇之间的依存关系。这是一种比RNN采用的门控机制更简单的方法。Transformer简单易用,使研究人员即使是在低度语言资源(low-resource )的条件下,也能够用Transformer模型开发高品质的翻译模型。


相关

  • 雷科莱托斯大道雷科莱托斯大道(Paseo de Recoletos)是西班牙首都马德里市中心的一条大道,南起西贝莱斯广场,北到哥伦布广场。18世纪末,卡洛斯三世下令建筑师 José de Hermosilla 都市化从查马
  • 海难海难,有时也称作船难。是指船舶、潜艇等交通工具在海上运输过程中由于自然或人为原因造成重大事故,导致所载人员伤亡或货物、财产损失的突发事件。由于轮船运载能力大,海难造成
  • 江源江原道可以指:
  • 异丁醇异丁醇(IUPAC名:2-甲基-1-丙醇)(2-Methyl-1-Propanol) 是一种无色易燃,有特殊气味的有机化合物。其异构体为正丁醇、仲丁醇和叔丁醇。它被列为醇类,因此,它被广泛用作化学反应的溶
  • 卯月号驱逐舰4×45口径三年式12cm炮2×61cm三联装鱼雷发射管18×深水炸弹卯月号驱逐舰是旧日本海军所建造的十二艘睦月型驱逐舰中的一艘,该型驱逐舰于20世纪20年代建造。在太平洋战争中,卯
  • 邓锺岳邓锺岳(1674年-1748年),一名邓中岳,字东长,号畏庐。山东东昌卫(今聊城)人。邓基哲之子。康熙四十七年(1708年)中举人,康熙六十年(1721年)状元,授翰林院修撰。工书法,康熙帝赞其“字甲天下”
  • 第二次北仓战斗北仓战斗发生于1925年12月22日,地点则是在中国河北东部一带。是北洋政府时期内战之一,交战两方为国民军及奉军。战斗初期,国民军仍未取得胜利,后冯玉祥擒拿李鸣锺后,于22日攻占天
  • 制高点制高点是军事用语,指地形或环境上的某一部分比周围高而有利于战术的施展,例如山顶、塔楼天台等。从高打低的好处有:己方人员投射武器或弹药(矛、石头、子弹等)可以投得比较远;指挥员站得高看得远、视野宽,方便战术调动;对方人员或车辆行动费力而不方便。很陡的、多岩石的地形,例如山麓,可以阻挡对方的骑兵、战象、坦克或装甲运兵车。例如在苏联-阿富汗战争里,阿富汗游击队占据山区,就不容易受到苏联机动化部队的攻击。这迫使苏联部队得倚靠直升机从空中攻击,但直升机会成为美国提供的FIM-92刺针地对空导弹目标。在高地势和地对空
  • 斯韦勒·安德烈亚斯·雅各布松斯韦勒·安德烈亚斯·雅各布松(冰岛语:Sverre Andreas Jakobsson,1977年2月8日-),冰岛男子手球运动员。他曾代表冰岛国家队参加2008年和2012年夏季奥林匹克运动会手球比赛,其中2008年奥运会获得一枚银牌。
  • 尼孔尼孔(俄语:Ни́кон,),又译尼康,俗名尼基塔·米诺夫(俄语:Никита Минин (Минов),;1605年5月7日-1681年8月17日),是俄罗斯正教会第七任的莫斯科和全俄罗斯牧首。这是俄罗斯正教会最重要的时期之一,尼孔于1653-1656年在阿列克谢·米哈伊洛维奇沙皇的支持下强力推动一系列礼仪改革,遭到旧礼仪派的反对,最终导致俄罗斯正教会教派的持久分裂(俄语:Раскол Русской церкви)。由于尼孔主张神权高于君权并干预国政,遭沙皇猜忌,终被流放到遥远的北方费拉邦托夫修道院