首页 >
潜在语义索引
✍ dations ◷ 2025-06-28 05:56:32 #潜在语义索引
潜在语义索引是一种搜索方法,也是一种索引。通过奇异值分解来识别非结构化的文本集合中的具有联系关系的模式。一般认为,在同样的语境中使用的词语一般具有相似的含义,LSI就是基于这一规则的搜索方法。LSI的一个重要特征就是,通过建立那些出现在相同语境中的词语之间的联系,它能够提取出一个文本的具体内容是什么,而不像以前的搜索方法只是检索具体的关键词。之所以叫潜在语义索引是因为它能够把一组文档中具有隐含的语义联系的词语联系起来。所谓隐性语义索引指的是,怎样通过海量文献找出词汇之间的关系。当两个词或一组词大量出现在同一个文档中时,这些词之间就可以被认为是语义相关。机器并不知道某个词究竟代表什么,不知道某个词是什么意思。
比如:单纯从理论上看,Latent semantic indexing (隐性语义索引)的实现机制并不复杂,它只不过是在正常的网页收录与索引过程中增添了一个步骤:可以看出,虽然搜索引擎本身并不知道某个词究竟代表什么,不知道某个词是什么意思,但通过Latent Semantic Indexing算法,与单纯的关键词匹配相比,搜索引擎能够以一种更准确的方式判断特定网页中内容与搜索项间的相关性,从而给出用户要寻找的内容,甚至从某种角度上看,更接近于“人”分析、查找内容时的判断方式。搜索引擎是使用机器算法来替代过去人工搜索的工作。但机器算法和人的工作有一个很不同的地方就是人可以直接理解词的意思,文章的意思,机器和算法却无法理解——人看到苹果这两个字就知道指的是那个圆圆的,有水的挺好吃的东西,搜索引擎却不能从感性上理解。
其原因和自然语言的特点有关。从自然语言的角度,大部分词具有一词多义的特点,机器算法无法确定在何环境下使用何种词义,这就导致了搜索结果与用户的理想值便存在很大的距离:Latent Semantic Indexing (LSI : 隐性语义索引)便是搜索引擎试图尽可能弱化这一弊端的可行解决方案之一。Latent Semantic Indexing通过绕开自然语言理解,以大样本数量的统计分析找出不同的词(词组、短语)间的相关性,以使搜索结果进一步接近于用户真正要查找的内容,同时,也能够保证搜索的效率。对Latent Semantic Indexing,可能大多数人注意的是其中的Semantic (语义有关的),但Latent Semantic Indexing方面的技术文档则往往更强调Latent (潜在的、隐含的),而非简单意义的语义相关。比如说对“水”一词而言,与其语义相关的可能是“热水”、“凉水”之类,但潜在相关的则可以是“蒸汽”、“冰”等,这里有很大区别。
需要强调的是,Latent Semantic Indexing(隐性语义索引)只是目前搜索引擎排名算法中关键词匹配技术的补充(排名算法会为不同的影响因素赋予不同的权重,Latent Semantic Indexing的权重值已经慢慢加大),但绝不是取代现有的关键词匹配算法。
相关
- 吕克·蒙塔尼耶吕克·蒙塔尼耶(法语:Luc Montagnier,1932年8月18日-) ,法国病毒学家,2008年诺贝尔生理学或医学奖获得者。 吕克·蒙塔尼耶是世界艾滋病研究及预防基金会(World Foundation for AID
- 甲砜霉素甲砜霉素,又名硫霉素、甲砜氯霉素或赛芬妥霉素,是一种酰胺醇类抗生素。它是氯霉素的甲基磺醘基相似体,有着相似的反应,强度却小2.5-5倍。与氯霉素相似,甲砜霉素不溶于水,但却极易溶
- 身体身体是每个生物的实体。身体是生物的外表,可表示该生物的健康程度,以致表示该生物是否死亡。人体主要组成部分有头、颈、躯干、双臂及双腿,另外包括呼吸、心血管、神经系统和其
- 冈瓦那大陆在地质学中,冈瓦那大陆(英语:Gondwana,/ɡɒndˈwɑːnə/,或Gondwanaland),也称冈瓦纳古陆、南方大陆,是存在于新元古代至侏罗纪前期(约5.73亿至1.8亿年前)的超大陆,它是从罗迪尼亚大
- 古典时代晚期古典时代晚期又称作古代晚期、晚古时期或近古代(英语:Late Antiquity),是历史学上的术语,意指古典古代到中世纪之间的期间,地区包含了欧洲的大部分和环地中海地区,历史学者彼得·布
- 排泄物排泄物指一生物的消化系统中任何排泄的固体或液体,通常指人类的。因此它最常被指为尿液和粪便,是这些词语的委婉说法。它在医疗说法中最常出现。虽然日常生活所指的“排泄”包
- 无政府主义与性和爱情大多数男性无政府主义思想家(除了普鲁东)支持女性平权。自由恋爱提倡者有时会把沃伦或其他试验性社群视为思想根源,并视性自由为自我所有权的体现。自由恋爱思潮特别注重妇女权
- 亚伯拉罕·林肯亚伯拉罕·林肯(英语:Abraham Lincoln,i/ˈeɪbrəhæm ˈlɪŋkən/,1809年2月12日-1865年4月15日),第十六任美国总统,1861年3月就任,直至1865年4月遇刺身亡。林肯领导美国经历其历
- 智库智库(英语:Think Tank)或称智囊团,另外也有许多智库以“基金会”、“研究所”、“研讨会”、“论坛”、“学会”或“协会”等名称称呼,智库是对政治、商业或军事政策进行调查、分
- 世界音乐日世界音乐节(法语:Fête de la Musique)是一个文化活动,于每年的6月21日举行。最早提处世界音乐节的是法国文化部长贾克·朗。现在世界超过120个国家庆祝世界音乐节。