Word2vec

✍ dations ◷ 2025-12-10 18:24:07 #Word2vec

Word2vec是一群用来产生词向量的相关模型。这些模型为浅层双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。

训练完成之后，word2vec模型可以把每个词映射到一个向量，来表示词与词之间的关系。该向量为神经网络的隐藏层。

Word2vec依赖skip-grams或连续词袋（CBOW）来建立神经词嵌入。Word2vec为托马斯·米科洛夫（Tomas Mikolov）在Google带领的研究团队创造。该算法渐渐被其他人所分析和解释。

CBOW把一个词从词窗剔除。在CBOW下给定n词围绕着词w，word2vec预测一个句子中其中一个缺漏的词c，即以几率 ${displaystyle p(c|w)}$ ${displaystyle p(c|w)}$ 来表示。相反地，Skip-gram给定词窗中的文本，预测当前的词 ${displaystyle p(w|c)}$ ${displaystyle p(w|c)}$ 。

Word2vec用来建构整份文件（而分独立的词）的延伸应用已被提出，该延伸称为paragraph2vec或doc2vec，并且用C、Python和 Java/Scala实做成工具（参考下方）。Java和Python也支援推断文件嵌入于未观测的文件。

对word2vec框架为何做词嵌入如此成功知之甚少，约阿夫·哥德堡（Yoav Goldberg）和欧莫·列维（Omer Levy）指出word2vec的功能导致相似文本拥有相似的嵌入（用余弦相似性计算）并且和约翰·鲁伯特·弗斯的分布假说（英语：Distributional semantics）有关。

相关

链型植物轮藻门有胚植物链型植物（英语：Streptophytina）是植物中的一大类群，包括轮藻门（广义上的轮藻）和有胚植物（现存的陆生植物：苔藓维管植物）两大类。
斯里赫里戈达岛बाप तहसील घंटियाली town斯里赫里戈达岛（శ్రీహరికోట）印度安得拉邦海岸外的一块沙洲，在南印大城市金奈以北约80千米处。在地理上，斯里赫里戈达岛将布
胜利广场 (巴黎)胜利广场（Place des Victoires）是巴黎的一个圆形广场，位于巴黎皇家宫殿东北方不远处，第一区和第二区交界处。在广场中心，是国王路易十四的宏伟的骑马雕像，以庆祝1678-79年签订《奈
马四娃马四娃（?－1784年）清朝穆斯林起义领导人之一，回族。原籍青海省大通。马明心弟子。甘肃省通渭县马营哲合忍耶学派阿訇，人称大通阿訇。乾隆四十六年(1781年)，苏四十三反清起义失败，没
蒙脱石散蒙脱石散（Diosmectite），俗称“思密达”（Smecta），是一种用于急性和慢性腹泻的治疗的药物，含双八面体蒙脱石微粉。蒙脱石散具有层状结构与可塑性，电荷为非均匀分布，这些特性使其可以非
大唐文宗《大唐文宗》（英语：Tang Wenzong）），待播的中国大陆唐代古装电视剧，一部讲叙唐代诗人陈子昂一生故事的古装电视连续剧，2011年12月在无锡影视基地开机拍摄。2014年1月取得发行许可证
郝德泉郝德泉，京剧琴师，曾给周信芳、盖叫天、王正屏、沈金波、赵晓岚等京剧表演艺术家操琴（以京剧胡琴；京胡给演员伴奏唱腔和带领音乐旋律）。中华人民共和国1949年10月1日成立后，他与周
萧铭卣萧铭卣（卣，音yǒu），字秬芗，号伟侯，山东福山县人。侨居玉田县。清朝翰林，官员。曾祖萧榕年为乾隆年间进士，官至知州。道光十五年（1835年）萧铭卣中式顺天乙未恩科乡试中举人，道光二十七年（1847年）考中丁未科二甲第三十一名进士，改庶吉士，道光三十年（1850年）散馆三等，改刑部主事，升员外郎。萧铭卣工书法，在曲周任职时，“城中为之纸贵”。
堆叠 (macOS)堆叠是一个苹果公司在Mac OS X Leopard及更新版操作系统中提供的桌面功能。就像其名字，他可以把资料夹或档案堆叠在Dock里。在WWDC07的发表会里，史提夫·乔布斯说明了在Mac OS X v10.5里会包含一个预设的的档案夹，也就是所有的档案下载的储存位置。当Mac OS X v10.5刚发布的时候，堆叠有两种模式："扇状"或"格状"。而第三个选项"列表"是在10.5.2发布时所增加的。在10.5.2版本发布以前，如果扇状档案过多，便会自动改为格状模式。使用者也可以把扇状改成格状，但是无法将
西里尔·拉马福萨马塔梅拉·西里尔·拉马福萨（文达语：Matamela Cyril Ramaphosa，1952年11月17日－），南非政治家、商人及工会领袖。他于2014年6月成为南非副总统，并在2017年12月当选非洲人国民大会主席。2018年2月14日晚上，拉马福萨接替刚辞职的时任总统雅各布·祖玛，出任代总统。2月15日，他正式获国民议会选出，成为第5任南非总统。1952年11月17日，西里尔·拉马福萨于南非约翰内斯堡索韦托一个贫民区里的文达人（英语：Venda people）家庭出生。他在家里三个孩子中排第二。中学