停用词

✍ dations ◷ 2024-12-22 14:46:48 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。 这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。

相关

  • 顺势疗法下面是以同治同疗法的介绍,于中文顺势二字无太多相关性,建议移除此条目。 同质疗法、同种疗法(英语:Homeopathy i/ˌhoʊmiˈɒpəθi/)为一
  • 科学科学(词源为拉丁文“scientia”,意为“知识”)是一种系统性的知识体系,它积累和组织并可检验有关于宇宙的解释和预测。科学强调预测结果的具体性和可证伪性,这有别于空泛的哲学。
  • 乳癌乳腺癌是由乳房组织发展成的癌症。乳腺癌的征象包括乳房肿块、乳房形状改变、皮肤凹陷、乳头分泌物或是皮肤出现红色鳞屑状斑块。而出现远端转移的病患,可能会有骨痛(英语:Bone
  • 高脂血症高脂血症(Hyperlipidemia,英式英文为 Hyperlipidaemia)又称高脂蛋白血症(Hyperlipoproteinemia),俗称血脂过高、高血脂,是指涉及血液任何或所有脂类以及又或脂蛋白异常升高水平的情
  • 李奥纳度·布伦尼列奥那多·布鲁尼(Leonardo Bruni,人称 Leonardo Aretino,1370年于阿雷佐-1444年3月9日于佛罗伦斯)意大利文艺复兴时期人文主义者,历史学家,曾任佛罗伦斯执政官、教皇秘书。列奥那
  • 边界在字体排印学中,边界指的是某页文件中四周留白的部分,可方便辨认行的起点和终点。当文字是以左右对齐排列时,其会贴紧左侧和右侧的边界。在多数的文书处理软件中,边界的标准宽度
  • 借代借代,又称换名、代称、替代、提喻,修辞技巧,通常用于修饰文句。借代,顾名思义便是以一物借来代替一物出现,类似一种以偏盖全的概念,因此多数为动词。使用时必须考虑两件事物是否有
  • 巫觋宗教巫.mw-parser-output ruby.zy{text-align:justify;text-justify:none}.mw-parser-output ruby.zy>rp{user-select:none}.mw-parser-output ruby.zy>rt{font-feature-setting
  • 水平基因转移基因水平转移(英语:horizontal gene transfer,缩写:HGT)又称水平基因转移或基因侧向转移(lateral gene transfer,缩写:LGT),指生物将遗传物质传递给其他细胞而非其子代的过程,例如:接合
  • 昭君出塞王昭君(前51年-前15年),名嫱,字昭君,西汉南郡秭归(今湖北省兴山县)人,汉元帝时期的宫女、和亲女性,古代四大美人的落雁,成语中“沉鱼落雁”、“画工弃市”记载她的生平典故。晋朝时为避