首页 >
潜在语义索引
✍ dations ◷ 2025-07-04 10:21:58 #潜在语义索引
潜在语义索引是一种搜索方法,也是一种索引。通过奇异值分解来识别非结构化的文本集合中的具有联系关系的模式。一般认为,在同样的语境中使用的词语一般具有相似的含义,LSI就是基于这一规则的搜索方法。LSI的一个重要特征就是,通过建立那些出现在相同语境中的词语之间的联系,它能够提取出一个文本的具体内容是什么,而不像以前的搜索方法只是检索具体的关键词。之所以叫潜在语义索引是因为它能够把一组文档中具有隐含的语义联系的词语联系起来。所谓隐性语义索引指的是,怎样通过海量文献找出词汇之间的关系。当两个词或一组词大量出现在同一个文档中时,这些词之间就可以被认为是语义相关。机器并不知道某个词究竟代表什么,不知道某个词是什么意思。
比如:单纯从理论上看,Latent semantic indexing (隐性语义索引)的实现机制并不复杂,它只不过是在正常的网页收录与索引过程中增添了一个步骤:可以看出,虽然搜索引擎本身并不知道某个词究竟代表什么,不知道某个词是什么意思,但通过Latent Semantic Indexing算法,与单纯的关键词匹配相比,搜索引擎能够以一种更准确的方式判断特定网页中内容与搜索项间的相关性,从而给出用户要寻找的内容,甚至从某种角度上看,更接近于“人”分析、查找内容时的判断方式。搜索引擎是使用机器算法来替代过去人工搜索的工作。但机器算法和人的工作有一个很不同的地方就是人可以直接理解词的意思,文章的意思,机器和算法却无法理解——人看到苹果这两个字就知道指的是那个圆圆的,有水的挺好吃的东西,搜索引擎却不能从感性上理解。
其原因和自然语言的特点有关。从自然语言的角度,大部分词具有一词多义的特点,机器算法无法确定在何环境下使用何种词义,这就导致了搜索结果与用户的理想值便存在很大的距离:Latent Semantic Indexing (LSI : 隐性语义索引)便是搜索引擎试图尽可能弱化这一弊端的可行解决方案之一。Latent Semantic Indexing通过绕开自然语言理解,以大样本数量的统计分析找出不同的词(词组、短语)间的相关性,以使搜索结果进一步接近于用户真正要查找的内容,同时,也能够保证搜索的效率。对Latent Semantic Indexing,可能大多数人注意的是其中的Semantic (语义有关的),但Latent Semantic Indexing方面的技术文档则往往更强调Latent (潜在的、隐含的),而非简单意义的语义相关。比如说对“水”一词而言,与其语义相关的可能是“热水”、“凉水”之类,但潜在相关的则可以是“蒸汽”、“冰”等,这里有很大区别。
需要强调的是,Latent Semantic Indexing(隐性语义索引)只是目前搜索引擎排名算法中关键词匹配技术的补充(排名算法会为不同的影响因素赋予不同的权重,Latent Semantic Indexing的权重值已经慢慢加大),但绝不是取代现有的关键词匹配算法。
相关
- 裂殖酵母纲裂殖酵母纲的真菌类似酵母菌,但不论基因的组织、结构及基因的表达调控等方面,还是细胞周期、rRNA的生物合成都和酵母菌并不相同,在某些方面裂殖酵母纲的真菌甚至和高等动物有一
- 环境经济学环境经济学是环境科学和经济学之间交叉的边缘学科,主要研究领域包括:环境经济学研究如何充分利用经济杠杆来解决对环境污染问题,使环境的价值体现得更为具体,将环境的价值纳入到
- 全球化与疾病大航海时代(一般是指15世纪到17世纪这段时期),在这期间,由于造船和航海技术的先进,很多国家更加容易探索国界以外的世界。全除了货物贸易,很多国家开始进行奴隶贸易。奴隶贸易是另
- 基线字体排印学中,基线(英语:Baseline)指的是多数字母排列的基准线。如右图所示,大多字母都沿着红色基线排列,唯有“p”向下延伸超过基线,超过的部分称为降部。段落中连续行的基线间的
- JAK激酶JAK激酶(英语:Janus kinase,缩写JAK)是一个细胞内非受体酪氨酸激酶家族,介导细胞因子产生的信号,并通过JAK-STAT信号通路传递下去。它们最初被命名为"just another kinase"1和2(因
- 几何结构在几何学中,凸正多面体,又称为柏拉图立体,是指各面都是全等的正多边形且每一个顶点所接的面数都是一样的凸多面体,是一种三维的正几何形状,符合这种特性的立体总共只有5种。在汉
- Agaricomycotina同担子菌亚纲(Homobasidiomycetes),又称无隔担子菌亚纲,在2001年已经被合并到伞菌纲,在此之前是真菌下属担子菌门的一类,并且也是担子菌门中种类最多的一个亚纲。同担子菌亚纲饱含
- 索恩-卢瓦尔省索恩-卢瓦尔省(法文:Saône-et-Loire,发音:)是法国勃艮第-弗朗什-孔泰大区所辖的省份。该省编号为71。藏传佛教寺院达香噶举林之千佛殿坐落于该省奥顿区的拉布莱镇。5个海外省及
- Ministère des Affaires Étrangères政治主题法国欧洲暨外交部(法语:Ministère de l'Europe et des Affaires étrangères),通称法国外交部,是法国政府部门之一,专门负责管理法国与外国的关系。外交部现在位于巴黎
- 复冰现象复冰现象(Regelation)是指固体在受到压力时熔化,在压力消失后又重新凝固的现象。有些来源的描述方式是“将细的金属线绑在一块冰上,线上再拉着重物,细线对冰所施加的压力会使冰局