词嵌入

✍ dations ◷ 2024-09-20 12:21:50 #人工神经网络,计算语言学,自然语言处理

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

词嵌入的方法包括人工神经网络、对词语同现矩阵(英语:co-occurrence matrix)降维、概率模型以及单词所在上下文的显式表示等。

在底层输入中,使用词嵌入来表示词组的方法极大提升了NLP中语法分析器和文本情感分析等的效果。

词嵌入技术起源于2000年。约书亚·本希奥等人在一系列论文中使用了神经概率语言模型(Neural probabilistic language models)使机器“习得词语的分布式表示(learning a distributed representation for words)”,从而达到将词语空间降维的目的。罗维斯(Roweis)与索尔(Saul)在《科学》上发表了用局部线性嵌入(LLE)来学习高维数据结构的低维表示方法。这个领域开始时稳步发展,在2010年后突飞猛进;一定程度上而言,这是因为这段时间里向量的质量与模型的训练速度有极大的突破。

词嵌入领域的分支繁多,有许多学者致力于其研究。2013年,谷歌一个托马斯·米科洛维(Tomas Mikolov)领导的团队发明了一套工具word2vec来进行词嵌入,训练向量空间模型的速度比以往的方法都快。许多新兴的词嵌入基于人工神经网络,而不是过去的n元语法模型和非监督式学习。

阿斯加里(Asgari)和莫夫拉德(Mofrad)提出了生物信息学中生物序列(DNA、RNA和蛋白质等)基于n元语法的词嵌入技术。bio-vectors(BioVec)表示生物序列的统称,protein-vectors(ProtVec)表示蛋白质(氨基酸序列),gene-vectors(GeneVec)表示基因序列。BioVec在蛋白质组学与基因组学的深度学习中有广泛应用。他们提出的结果表明,BioVectors可描述生物化学与生物物理学意义下生物序列的基本模式。

将词嵌入扩展到对句子或整个文本的嵌入后得到的结果称为Thought vectors。部分研究者期望用Thought vectors来提升机器翻译的质量。

使用词嵌入技术的训练软件包括托马斯·米科洛维的Word2vec、斯坦福大学的GloVe(英语:GloVe (machine learning))和Deeplearning4j。主成分分析(PCA)和t-分布邻域嵌入算法(英语:t-distributed stochastic neighbor embedding)(t-SNE)也可以用来对词语空间降维,并实现词嵌入的可视化与词义感应(英语:Word-sense induction)。

相关

  • 永续发展目标可持续发展目标(英语:Sustainable Development Goals,简称SDGs)是联合国的一系列目标,这些目标于2015年底替换千年发展目标。这些目标将从2016年一直持续到2030年。这一系列目标
  • 大脑镰大脑镰(英语:falx cerebri),为硬膜的一部分,以其形状状似镰刀而得名。为硬膜上一拱形部分,深入大脑半球中央纵裂中,分隔大脑左右半球。大脑镰到了额骨处(腹侧)会变得较薄,与鸡冠突(英语
  • 陶艺陶艺即陶瓷艺术,属于人类的传统工艺,涉及制造、上色及修补工艺技巧,可追溯至石器时代。最早的陶器仅用于民生器皿,但随着技术和制造工具发达,制陶逐渐变成了一种艺术。现代陶艺有
  • 桑德里娜·博内尔桑德琳·波奈儿(法语:Sandrine Bonnaire,1967年5月31日-)是法国著名电影演员,她曾以电影《没有屋顶,也没有法律》(Sans toit ni loi)获得1986年法国凯撒奖最佳女主角奖。桑德琳·波奈
  • 台湾之星台湾之星电信股份有限公司(英语:Taiwan Star Telecom Corporation Limited,缩写:T STAR,简称台湾之星),是中华民国五大电信业者的其中一家,前身是2000年4月成立的联邦电信股份有限公
  • 枫生高速公路枫林-生米高速公路(江西省级高速公路网编号S49,简称枫生高速)是江西省地方加密横线高速公路。江西高速公路根据国家在2007年的高速公路编号调整而出现的,于2009年正式调整出现,分
  • 甲状腺肿瘤甲状腺肿瘤(Thyroid neoplasm)是生长于甲状腺的肿瘤,可分为良性肿瘤(如甲状腺腺瘤),以及恶性肿瘤(如甲状腺癌)。大多数患者在25到65岁时初次罹患此病,而且女性较男性罹病几率为高。甲
  • 裂肋三叶虫目裂肋三叶虫目(学名:Lichida),简称裂肋虫目,为三叶虫纲下的其中一目。是典型多刺的三叶虫类。裂肋三叶虫类的胸部通常有8-13个环节,有一些种类具有非常多的刺。目前还无法得知裂肋
  • 芬恩·莫顿小男孩芬恩(英语:Finn the Human,真名:芬恩·莫顿,英语:Finn Mertens),大多数被称为芬恩,酷狗杰克的搭档,由潘得顿·沃德创作美国系列动画片《探险时光》中的虚构人物。由杰瑞米·沙达
  • 影像式论文影像式论文又称专题摄影、影像论文,是指能够引起观众一连串情绪的系列照片。 影像式论文经常会展示有深刻情感阶段的相片。 影响式论文的范围从纯粹有图说或小段评论的摄影