首页 >
停用词
✍ dations ◷ 2025-05-16 21:10:46 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。
这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。
相关
- ICD人体解剖学 - 人体生理学 组织学 - 胚胎学 人体寄生虫学 - 免疫学 病理学 - 病理生理学 细胞学 - 营养学 流行病学 - 药理学 - 毒理学国际疾病与相关健康问题统计分类(英语:I
- 史前史史前时代一般是指人类出现到文字出现之前的时代,意即历史记载(信史)前的时代。由于各地人类发明文字的时间都有不同,所以史前时代没有一个适用于各地的特定时间。不过,作为一个泛
- 漏斗漏斗是一个筒型物体,被用作把液体及幼粉状物体注入入口较细小的容器。在漏斗咀部较细小的管状部分可以有不同长度。漏斗通常以不锈钢或塑胶制造,但纸制漏斗亦有时被使用于难以
- 休斯飞机公司休斯飞机公司(Hughes Aircraft)曾是美国一家主要的防务和航天公司,包括休斯航天与通讯公司和休斯直升机公司。由霍华德·休斯在1932年创建。在1980年代以后由于被分拆、并购而
- Na+/K+钠钾泵(也可称为钠钾-ATPase, Na+/K+-ATPase),是一种位于细胞膜上的酶(EC 3.6.3.9)(或说得更精确一点,离子匣式跨膜ATP酶)可在人类细胞及后生动物中发现。钠钾泵可以将细胞外相对细
- 生物技术学生物技术(英语:biotechnology),又称为生物科技,指利用生物体(含动物,植物及微生物的细胞)来生产有用的物质或改进制程,改良生物的特性,以降低成本及创新物种的科学技术。根据不同的工
- b梁/b font style=color:#888small502–557/small梁(502年-557年),又称南梁,是中国历史上南北朝时期南朝的第三个朝代,由南齐宗室萧衍称帝,改国号为梁,都建康(今江苏南京)。以萧衍封地在古梁郡,故国号为梁。因为皇帝姓萧,又称萧梁。南齐
- 电烧烧蚀(消融,Ablation)是物体表面经由汽化、切削、或其它侵蚀作用,去除表面材料或物质的过程。烧蚀材料的例子如下:包括太空船升空和返回时穿越大气层、在冰川的冰和雪、药物和被动
- 叶绿素ic2叶绿素 c2是六种叶绿素的其中一种,它和叶绿素c1有相同的结构。可帮助植物吸收光,以行光合作用。
- 脂溶性亲脂性是指一个化合物融解在脂肪、油、脂质或非极性溶剂的能力。这些非极性溶剂本身就亲脂,所以这告诉我们“相似相溶”。因此亲脂性的物质就会溶在亲脂的溶剂,亲水性的物质就