词嵌入

✍ dations ◷ 2025-07-22 22:11:07 #人工神经网络,计算语言学,自然语言处理

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

词嵌入的方法包括人工神经网络、对词语同现矩阵(英语:co-occurrence matrix)降维、概率模型以及单词所在上下文的显式表示等。

在底层输入中,使用词嵌入来表示词组的方法极大提升了NLP中语法分析器和文本情感分析等的效果。

词嵌入技术起源于2000年。约书亚·本希奥等人在一系列论文中使用了神经概率语言模型(Neural probabilistic language models)使机器“习得词语的分布式表示(learning a distributed representation for words)”,从而达到将词语空间降维的目的。罗维斯(Roweis)与索尔(Saul)在《科学》上发表了用局部线性嵌入(LLE)来学习高维数据结构的低维表示方法。这个领域开始时稳步发展,在2010年后突飞猛进;一定程度上而言,这是因为这段时间里向量的质量与模型的训练速度有极大的突破。

词嵌入领域的分支繁多,有许多学者致力于其研究。2013年,谷歌一个托马斯·米科洛维(Tomas Mikolov)领导的团队发明了一套工具word2vec来进行词嵌入,训练向量空间模型的速度比以往的方法都快。许多新兴的词嵌入基于人工神经网络,而不是过去的n元语法模型和非监督式学习。

阿斯加里(Asgari)和莫夫拉德(Mofrad)提出了生物信息学中生物序列(DNA、RNA和蛋白质等)基于n元语法的词嵌入技术。bio-vectors(BioVec)表示生物序列的统称,protein-vectors(ProtVec)表示蛋白质(氨基酸序列),gene-vectors(GeneVec)表示基因序列。BioVec在蛋白质组学与基因组学的深度学习中有广泛应用。他们提出的结果表明,BioVectors可描述生物化学与生物物理学意义下生物序列的基本模式。

将词嵌入扩展到对句子或整个文本的嵌入后得到的结果称为Thought vectors。部分研究者期望用Thought vectors来提升机器翻译的质量。

使用词嵌入技术的训练软件包括托马斯·米科洛维的Word2vec、斯坦福大学的GloVe(英语:GloVe (machine learning))和Deeplearning4j。主成分分析(PCA)和t-分布邻域嵌入算法(英语:t-distributed stochastic neighbor embedding)(t-SNE)也可以用来对词语空间降维,并实现词嵌入的可视化与词义感应(英语:Word-sense induction)。

相关

  • 实验心理学异常心理学 行为遗传学 生物心理学 心理药物学 认知心理学 比较心理学 跨文化心理学 文化心理学 差异心理学(英语:Differential psychology) 发展心理学 演化心理学 实验心理学
  • 克里米亚共和国俄罗斯联邦(浅黄色)克里米亚半岛克里米亚共和国(俄语:Республика Крым,罗马化:Respublika Krym;乌克兰语:Республіка Крим;土库曼斯坦语:Respublikasy Kr
  • 二面体在几何学中,二面体是指由2个面组成的多面体,但由于三维空间中的多面体至少又具有4个面,因此少于四个面的多面体只能是退化的,换句话说,小于4个面的多面体无法具有非零的体积。二
  • 苏莱曼山脉坐标:30°30′N 70°10′E / 30.500°N 70.167°E / 30.500; 70.167苏莱曼山脉是南亚的山脉,位于阿富汗和巴基斯坦,该地区超过一半面积海拔高度2,000米以上,最高点海拔高度3,487
  • 马踏里东山马踏里东山进攻战斗又称“三打马踏里”,是朝鲜战争1953年夏季进攻战役第三阶段中,中国人民志愿军第46军第136师对美国陆战第一师守卫的马踏里东山及其以北无名高地(美军称Outpo
  • 君子协定 (电影)《君子协定》(英语:)是一部于1947年上映的美国剧情电影,由伊利亚·卡赞执导。本片改编自劳拉·Z·霍布森(英语:Laura Z. Hobson)的畅销同名小说《君子协定(英语:Gentleman's Agreemen
  • 蔡震蔡震,明朝驸马,操行谨慎。明宪宗成化五年(1466年)娶明英宗皇女淳安公主。明武宗正德五年(1510年)宦官刘瑾被弹劾下狱,刘瑾于是乱指大臣依附自己,廷臣无人敢审问他。蔡震厉声道:“我皇
  • 大理小檗大理小檗(学名:)为小檗科小檗属的植物,为中国的特有植物。分布在中国大陆的云南等地,生长于海拔3,000米至3,900米的地区,见于松林下,目前尚未由人工引种栽培。
  • Kite Story使用Pygame的Pyweek7 - How long is a piece of string?的参赛作品。团体组冠军。使用一只风筝,用风筝的绳子捆住空中飞行的事物,但是风筝主体不能触及任何飞行物。
  • 马来西亚学生运动马来西亚学生运动,在第二次世界大战前已开始萌芽。1930年代初期,丹绒马林师训学院的学生,成立了反英殖民主义及争取祖国独立的马来青年会。1940年代,设在新加坡的马来亚大学学生