词嵌入

✍ dations ◷ 2025-04-08 01:16:11 #人工神经网络,计算语言学,自然语言处理

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

词嵌入的方法包括人工神经网络、对词语同现矩阵(英语:co-occurrence matrix)降维、概率模型以及单词所在上下文的显式表示等。

在底层输入中,使用词嵌入来表示词组的方法极大提升了NLP中语法分析器和文本情感分析等的效果。

词嵌入技术起源于2000年。约书亚·本希奥等人在一系列论文中使用了神经概率语言模型(Neural probabilistic language models)使机器“习得词语的分布式表示(learning a distributed representation for words)”,从而达到将词语空间降维的目的。罗维斯(Roweis)与索尔(Saul)在《科学》上发表了用局部线性嵌入(LLE)来学习高维数据结构的低维表示方法。这个领域开始时稳步发展,在2010年后突飞猛进;一定程度上而言,这是因为这段时间里向量的质量与模型的训练速度有极大的突破。

词嵌入领域的分支繁多,有许多学者致力于其研究。2013年,谷歌一个托马斯·米科洛维(Tomas Mikolov)领导的团队发明了一套工具word2vec来进行词嵌入,训练向量空间模型的速度比以往的方法都快。许多新兴的词嵌入基于人工神经网络,而不是过去的n元语法模型和非监督式学习。

阿斯加里(Asgari)和莫夫拉德(Mofrad)提出了生物信息学中生物序列(DNA、RNA和蛋白质等)基于n元语法的词嵌入技术。bio-vectors(BioVec)表示生物序列的统称,protein-vectors(ProtVec)表示蛋白质(氨基酸序列),gene-vectors(GeneVec)表示基因序列。BioVec在蛋白质组学与基因组学的深度学习中有广泛应用。他们提出的结果表明,BioVectors可描述生物化学与生物物理学意义下生物序列的基本模式。

将词嵌入扩展到对句子或整个文本的嵌入后得到的结果称为Thought vectors。部分研究者期望用Thought vectors来提升机器翻译的质量。

使用词嵌入技术的训练软件包括托马斯·米科洛维的Word2vec、斯坦福大学的GloVe(英语:GloVe (machine learning))和Deeplearning4j。主成分分析(PCA)和t-分布邻域嵌入算法(英语:t-distributed stochastic neighbor embedding)(t-SNE)也可以用来对词语空间降维,并实现词嵌入的可视化与词义感应(英语:Word-sense induction)。

相关

  • 肉桂酸肉桂酸(英语:Cinnamic acid,IUPAC名:(E)-3-苯基-2-丙烯酸),分子式为C6H5CHCHCOOH。是微溶于水的白色结晶化合物。归类为不饱和羧酸,它天然存在于许多植物。它易溶于许多有机溶剂。
  • 宋辽金元辽宋夏金元(960年-1368年),是对中国历史上的辽朝(契丹)、宋朝、金朝、西夏和元朝(包括其前身大蒙古国)之合称,这一段时期属于多民族竞争时期,而这几个朝代也分别由不同的民族所建立,比
  • 高其佩高其佩(1660年-1734年),字韦之,号且园、南村。铁岭汉军人。清代著名画家。安徽巡抚高承爵之子。顺治十七年(1660年)生,继父爵位,为知州右侍郎都统。高其佩是指画的开山祖,雍正十二年(17
  • 第一次石油危机第一次石油危机从1973年延续至1974年,又称作1973年石油危机,由于1973年10月第四次中东战争爆发,石油输出国组织(OPEC)为了打击对手以色列及支持以色列的国家,宣布石油禁运,暂停出口
  • 喀麦隆慈丽鱼喀麦隆慈丽鱼,为辐鳍鱼纲鲈形目隆头鱼亚目慈鲷科的一个种,被IUCN列为濒危保育类动物,分布于非洲喀麦隆山区的淡水流域,体长可达7.3公分,栖息在中底层水域,生活习性不明。 维基物
  • 卡尔·格鲁伯卡尔·格鲁伯(德语:Karl Gruber;1909年5月3日-1995年2月1日),是奥地利的政治家,曾任外交大臣、奥地利驻美国大使、奥地利驻西班牙大使、奥地利驻联邦德国大使、奥地利驻瑞士大使。
  • 杨延辉 (杨家将)杨贵,字延辉(“延朗”),杨家将小说、戏曲及民间传说中人物;并州太原(今山西太原)人,金刀老令公杨业的第四子,故称“杨四郎”。七子中外貌较为俊朗,初时生性乐观,金沙滩一役被俘后变得沉
  • 卡莱尔 (南卡罗来纳州)卡莱尔(英文:Carlisle),是美国南卡罗来纳州下属的一座城市。城市类型是“Town”。其面积大约为1.42平方英里(3.67平方公里)。根据2010年美国人口普查,该市有人口436人,人口密度约为
  • 李波 (1972年)李波(1972年7月-),重庆人,中华人民共和国政治人物,曾任中华全国归国华侨联合会副主席,现任重庆市人民政府党组成员、副市长。
  • 李宗泫李宗泫(韩语:이종현,英语:Lee Jong Hyun,日语:イ・ジョンヒョン,1990年5月15日-),曾为韩国4人男子乐团CNBLUE成员,担任吉他手与副主唱,于2019年8月28日退出。出生于韩国釜山市,4-8岁时因