词嵌入

✍ dations ◷ 2025-06-08 13:25:10 #人工神经网络,计算语言学,自然语言处理

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

词嵌入的方法包括人工神经网络、对词语同现矩阵(英语:co-occurrence matrix)降维、概率模型以及单词所在上下文的显式表示等。

在底层输入中,使用词嵌入来表示词组的方法极大提升了NLP中语法分析器和文本情感分析等的效果。

词嵌入技术起源于2000年。约书亚·本希奥等人在一系列论文中使用了神经概率语言模型(Neural probabilistic language models)使机器“习得词语的分布式表示(learning a distributed representation for words)”,从而达到将词语空间降维的目的。罗维斯(Roweis)与索尔(Saul)在《科学》上发表了用局部线性嵌入(LLE)来学习高维数据结构的低维表示方法。这个领域开始时稳步发展,在2010年后突飞猛进;一定程度上而言,这是因为这段时间里向量的质量与模型的训练速度有极大的突破。

词嵌入领域的分支繁多,有许多学者致力于其研究。2013年,谷歌一个托马斯·米科洛维(Tomas Mikolov)领导的团队发明了一套工具word2vec来进行词嵌入,训练向量空间模型的速度比以往的方法都快。许多新兴的词嵌入基于人工神经网络,而不是过去的n元语法模型和非监督式学习。

阿斯加里(Asgari)和莫夫拉德(Mofrad)提出了生物信息学中生物序列(DNA、RNA和蛋白质等)基于n元语法的词嵌入技术。bio-vectors(BioVec)表示生物序列的统称,protein-vectors(ProtVec)表示蛋白质(氨基酸序列),gene-vectors(GeneVec)表示基因序列。BioVec在蛋白质组学与基因组学的深度学习中有广泛应用。他们提出的结果表明,BioVectors可描述生物化学与生物物理学意义下生物序列的基本模式。

将词嵌入扩展到对句子或整个文本的嵌入后得到的结果称为Thought vectors。部分研究者期望用Thought vectors来提升机器翻译的质量。

使用词嵌入技术的训练软件包括托马斯·米科洛维的Word2vec、斯坦福大学的GloVe(英语:GloVe (machine learning))和Deeplearning4j。主成分分析(PCA)和t-分布邻域嵌入算法(英语:t-distributed stochastic neighbor embedding)(t-SNE)也可以用来对词语空间降维,并实现词嵌入的可视化与词义感应(英语:Word-sense induction)。

相关

  • 闪长岩闪长岩(Diorite)是中性深成岩的典型代表岩石,全晶质,粗粒状结构,二氧化硅的含量比基性岩已经显著的增高,达到53%-62%,三氧化二铝的含量增高达到16%-17%。主要是由中性斜长石、普通
  • 黄体激素孕酮(英语:progesterone,亦被称为黄体酮、孕甾酮、黄体甾酮、助孕激素、助孕素、黄体素或助孕酮,其缩写为P4,也被称为(孕甾-4-烯-3,20-二酮),是一种内源性类固醇和孕激素性激素,也
  • 马斯特里赫特期马斯特里赫特期又称馬斯垂克期、麦斯里希特期。(英语:Maastrichtian)是白垩纪,亦即中生代最后的一个时期,年代大约位于72.1–66百万年前。在本时期末期发生了白垩纪-第三纪灭绝事
  • 国家进出口商品检验局国家进出口商品检验局(简称国家商检局)是中华人民共和国国务院曾经设立的一个国家局。1949年11月,中央人民政府贸易部国外贸易司商检处成立,负责进出口货物的检验工作。根据中央
  • 豆蟹总科见内文豆蟹科,是豆蟹总科下唯一一科,包括许多微小的软壳螃蟹。最早的豆蟹科化石来自达宁阶。在2008年,豆蟹科包括以下属和种
  • 胡高尔胡高尔 (英语:Karl Fredrik Hu Josefsson,2001年5月11日-) ,台湾、瑞典混血儿,足球运动员,司职后卫,目前效力于瑞典超级联赛佐加顿斯队U17梯队,曾代表中华U19男足出赛。效力于瑞典超
  • 约翰·弗里德里希·克洛奇约翰·弗里德里希·克洛奇(Johann Friedrich Klotzsch,1805年6月9日-1860年11月5日)为德国药剂师、真菌学家和植物学家。他主要从事真菌学研究,发表了许多真菌的描述。
  • 气旋雷瓦1993年12月到1994年1月期间,强烈热带气旋雷瓦(英语:Severe Tropical Cyclone Rewa)一共在南太平洋迂回行进了28天,先后对6个国家构成影响,共计造成22人死亡。气旋雷瓦源于12月28日
  • 杰奎琳·考克伦杰奎琳·“贾姬”·考克伦(Jacqueline "Jackie" Cochran,1906年5月11日-1980年8月9日),原名贝西·李·彼得曼(Bessie Lee Pittman),美国女飞行员,美国空军退役上校。1953年5月18日,杰
  • 安德森·罗伯托·达席尔瓦·鲁伊兹安德森·罗伯托·达席尔瓦·鲁伊兹(Anderson Roberto da Silva Luiz,1978年2月1日-),常译为安德森,是巴西职业足球运动员,2009年加盟中国足球甲级联赛辽宁队。