词嵌入

✍ dations ◷ 2025-02-24 09:20:53 #人工神经网络,计算语言学,自然语言处理

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

词嵌入的方法包括人工神经网络、对词语同现矩阵(英语:co-occurrence matrix)降维、概率模型以及单词所在上下文的显式表示等。

在底层输入中,使用词嵌入来表示词组的方法极大提升了NLP中语法分析器和文本情感分析等的效果。

词嵌入技术起源于2000年。约书亚·本希奥等人在一系列论文中使用了神经概率语言模型(Neural probabilistic language models)使机器“习得词语的分布式表示(learning a distributed representation for words)”,从而达到将词语空间降维的目的。罗维斯(Roweis)与索尔(Saul)在《科学》上发表了用局部线性嵌入(LLE)来学习高维数据结构的低维表示方法。这个领域开始时稳步发展,在2010年后突飞猛进;一定程度上而言,这是因为这段时间里向量的质量与模型的训练速度有极大的突破。

词嵌入领域的分支繁多,有许多学者致力于其研究。2013年,谷歌一个托马斯·米科洛维(Tomas Mikolov)领导的团队发明了一套工具word2vec来进行词嵌入,训练向量空间模型的速度比以往的方法都快。许多新兴的词嵌入基于人工神经网络,而不是过去的n元语法模型和非监督式学习。

阿斯加里(Asgari)和莫夫拉德(Mofrad)提出了生物信息学中生物序列(DNA、RNA和蛋白质等)基于n元语法的词嵌入技术。bio-vectors(BioVec)表示生物序列的统称,protein-vectors(ProtVec)表示蛋白质(氨基酸序列),gene-vectors(GeneVec)表示基因序列。BioVec在蛋白质组学与基因组学的深度学习中有广泛应用。他们提出的结果表明,BioVectors可描述生物化学与生物物理学意义下生物序列的基本模式。

将词嵌入扩展到对句子或整个文本的嵌入后得到的结果称为Thought vectors。部分研究者期望用Thought vectors来提升机器翻译的质量。

使用词嵌入技术的训练软件包括托马斯·米科洛维的Word2vec、斯坦福大学的GloVe(英语:GloVe (machine learning))和Deeplearning4j。主成分分析(PCA)和t-分布邻域嵌入算法(英语:t-distributed stochastic neighbor embedding)(t-SNE)也可以用来对词语空间降维,并实现词嵌入的可视化与词义感应(英语:Word-sense induction)。

相关

  • 六世纪501年1月1日至600年12月31日的这一段期间被称为6世纪。不论在东方还是西方,6世纪是人类历史上很动乱及不稳定的时期。在中国南北朝轮换交替,战火纷纷,一百年间,中国南方三朝交替
  • 中央平原中央平原(或作印度河-恒河平原,IndoGangeticPlain,或称印度大平原)地处南亚,是一片富饶、肥沃而古老的土地,平原大致分为巴基斯坦印度河流域部分、旁遮普(Punjab)与哈里亚纳平原区、
  • 圣路易斯-奥比斯波圣路易斯-奥比斯波县(San Luis Obispo County) 是美国加利福尼亚州的一个县,位于太平洋岸中部。总面积9634平方公里,根据2000年人口普查,共有人口24万6681人。县府位于同名城市
  • G1511日兰高速日照-兰考高速公路,简称日兰高速,中国国家高速公路网编号为G1511,是G15国道的联络线之一。起点在山东日照,途经曲阜、济宁、菏泽至河南兰考。途径山东、河南两省,目前已全线通车。
  • 俄罗斯联邦自然资源与环境保护部俄罗斯联邦自然资源与环境保护部(俄语:Министерство природных ресурсов и экологии Российской Федерации)是俄罗
  • 雄狮美术《雄狮美术》是台湾一本创刊于1971年3月的美术月刊,曾获得1976年金鼎奖,发行人为李贤文。初期是免费刊物,从第5期开始才改为一本新台币5元(一年订户新台币50元)。由于该本刊物在
  • 兔八哥兔八哥(英语:Bugs Bunny,又译宾尼兔、兔宝宝),是美国的一名拟人卡通人物,由华纳兄弟动画公司设计制作,首次在乐一通动画系列中出现,他被评为全世界最受观众欢迎的兔子。他于1940年在
  • 乌来青霉乌来青霉(学名:)是青霉属的一种真菌,为植物病原菌,于1987年由台湾真菌学家谢慧美、苏鸿基与曾显雄描述发表。乌来青霉可感染柑橘的果实,特别容易在水果包装厂(英语:Packing house)中
  • 姜敏赫姜敏赫(韩语:강민혁,英语:Kang Min Hyuk,日语:カン・ミンヒョク,1991年6月28日-),韩国四人男子乐团CNBLUE成员,担任鼓手。出生地于京畿道高阳市日山,在韩国出道前曾在日本以独立乐队活动
  • 费米常数费米常数记为 G F {\displaystyle G_{F}} ,是描写弱相互作用强度的一个物理常数。在