潜在语义索引

✍ dations ◷ 2025-04-03 12:06:51 #潜在语义索引
潜在语义索引是一种搜索方法,也是一种索引。通过奇异值分解来识别非结构化的文本集合中的具有联系关系的模式。一般认为,在同样的语境中使用的词语一般具有相似的含义,LSI就是基于这一规则的搜索方法。LSI的一个重要特征就是,通过建立那些出现在相同语境中的词语之间的联系,它能够提取出一个文本的具体内容是什么,而不像以前的搜索方法只是检索具体的关键词。之所以叫潜在语义索引是因为它能够把一组文档中具有隐含的语义联系的词语联系起来。所谓隐性语义索引指的是,怎样通过海量文献找出词汇之间的关系。当两个词或一组词大量出现在同一个文档中时,这些词之间就可以被认为是语义相关。机器并不知道某个词究竟代表什么,不知道某个词是什么意思。 比如:单纯从理论上看,Latent semantic indexing (隐性语义索引)的实现机制并不复杂,它只不过是在正常的网页收录与索引过程中增添了一个步骤:可以看出,虽然搜索引擎本身并不知道某个词究竟代表什么,不知道某个词是什么意思,但通过Latent Semantic Indexing算法,与单纯的关键词匹配相比,搜索引擎能够以一种更准确的方式判断特定网页中内容与搜索项间的相关性,从而给出用户要寻找的内容,甚至从某种角度上看,更接近于“人”分析、查找内容时的判断方式。搜索引擎是使用机器算法来替代过去人工搜索的工作。但机器算法和人的工作有一个很不同的地方就是人可以直接理解词的意思,文章的意思,机器和算法却无法理解——人看到苹果这两个字就知道指的是那个圆圆的,有水的挺好吃的东西,搜索引擎却不能从感性上理解。 其原因和自然语言的特点有关。从自然语言的角度,大部分词具有一词多义的特点,机器算法无法确定在何环境下使用何种词义,这就导致了搜索结果与用户的理想值便存在很大的距离:Latent Semantic Indexing (LSI : 隐性语义索引)便是搜索引擎试图尽可能弱化这一弊端的可行解决方案之一。Latent Semantic Indexing通过绕开自然语言理解,以大样本数量的统计分析找出不同的词(词组、短语)间的相关性,以使搜索结果进一步接近于用户真正要查找的内容,同时,也能够保证搜索的效率。对Latent Semantic Indexing,可能大多数人注意的是其中的Semantic (语义有关的),但Latent Semantic Indexing方面的技术文档则往往更强调Latent (潜在的、隐含的),而非简单意义的语义相关。比如说对“水”一词而言,与其语义相关的可能是“热水”、“凉水”之类,但潜在相关的则可以是“蒸汽”、“冰”等,这里有很大区别。 需要强调的是,Latent Semantic Indexing(隐性语义索引)只是目前搜索引擎排名算法中关键词匹配技术的补充(排名算法会为不同的影响因素赋予不同的权重,Latent Semantic Indexing的权重值已经慢慢加大),但绝不是取代现有的关键词匹配算法。

相关

  • 抗细菌药的百科知识|抗细菌药的意思解释|抗细菌药是什么意思抗细菌药(英语:antibacterial)也称为“抗细菌剂”,是一类用于抑制细菌生长或杀死细菌的药物。在不引起歧义的情况下,抗细菌药也可简称为“抗菌药”,包括抗生素(英语:antibiotic) 由微
  • 地特胰岛素注射液地特胰岛素注射液(英文名:insulin Detemir)为长效胰岛素类似物,无色澄明液体,用于治疗糖尿病。其成分主要为地特胰岛素(通过基因重组技术,利用酵母生产的)。1单位(U)相当于0.142mg不含
  • 天王补心丸天王补心丹是中医药学传统方剂。同名方约有9首。《校注妇人良方》卷六:人参(去芦)、玄参、丹参、茯苓、远志、桔梗各五钱,生地黄四两,当归酒浸、五味、天门冬、麦门冬去心、柏子
  • 非认知主义非认知主义(英语:Non-cognitivism)是一种后设伦理理论,认为伦理句子不表达事实,因此不能是真或假。非认知主义与认知主义相反,而认为道德知识是不可能存在。
  • 苏消安苏消安(英语:Treosulfan,又称曲奥舒凡)是一种正在研究的治疗癌症的药物。 它属于烷化剂。卤化/核糖核苷酸还原酶抑制剂(克拉屈滨、克罗拉滨、氟达拉滨、奈拉滨)聚合酶链式反应抑制
  • 现象现象(古希腊语:φαινόμενoν;英语:phenomenon,复数型:phenomena)是指能被观察、观测到的事实。通常是用在较特别的事物上。“现象”一词源为“可见的东西”,英文的“phenomen
  • 马蒂亚斯·雅各布·施莱登马蒂亚斯·雅各布·施莱登(Matthias Jakob Schleiden,1804年4月5日-1881年6月23日)是一位德国植物学家,细胞学说的建立者之一。他出生于德国汉堡,大学时原本研读法律,但后来转向其
  • 格氏试剂格氏试剂,又称格林尼亚试剂,是指烃基卤化镁(R-MgX)一类有机金属化合物,是一种很好的亲核试剂。在有机合成和有机金属化学中有重要用途。此类化合物的发现者法国化学家维克多·格
  • 中国总统中国总统是中国历史上的一个元首职称,可能指:
  • 罗盘指南针,又称罗盘或司南,是一种用于指示方向的工具,广泛应用于各种方向判读,譬如航海、野外探险、城市道路、地图阅读等领域。指南针可分为依靠磁力与不依靠磁力两类。依靠磁力的