停用词

✍ dations ◷ 2024-07-08 04:17:15 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。 这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。

相关

  • 头孢哌酮头孢哌酮是第三代头孢菌素类抗生素 ,由辉瑞公司以Cefobid的名义销售 。 它是少数能有效治假单胞菌属细菌(如铜绿假单胞菌)感染的头孢菌素抗生素之一。该药于1974年获得专利,并于
  • 单次呼吸气息扩散能力弥散量或肺扩散容量(Diffusion capacity)是一个测量肺交换气体的能力的指标。它通常是肺功能检查的其中一项指标,在欧洲也被称作“传输系数”("transfer factor")。其标准计算公
  • 沟通障碍沟通障碍指的是任何会影响到个人有效在对话中理解、表达或应用的语言和语音与他人沟通之能力的障碍。 此类的迟缓或障碍的类型可能从简单的语音取代,到无法理解或使用一个人
  • 铁中毒铁中毒是由于摄入铁过量引起的中毒表现。它并不少见,大多是由于误食过量硫酸亚铁所致。注射铁制剂过量可以发生严重中毒。若长期内服大量铁剂,可能引起肺、肝、肾、心、胰等处
  • 量子相干在物理学里,相干性(coherence)指的是,为了产生显著的干涉现象,波所需具备的性质。更广义地说,相干性描述波与自己、波与其它波之间对于某种内秉物理量的相关性质。当两个波彼此相
  • 元老院古罗马政府与政治 系列条目罗马共和国前509年–前27年 罗马帝国前27年–1453年元首制西罗马帝国君主制东罗马帝国王政时代宪政(英语:Constitution of the Roman Kingdom) 共和
  • 美国疾病预防控制中心美国疾病控制与预防中心(英语:Centers for Disease Control and Prevention,缩写为CDC)是美国卫生与公众服务部所属的一个机构,总部设在乔治亚州亚特兰大。作为美国联邦政府行政
  • UTC+12UTC+12:00时区包含以下区域:
  • 聚落聚落,为人民聚居的地方,约分为“都市聚落”(城市)和“乡村聚落”(村落)。聚落多用作人类社会的早期进入定居生活以后,集中居住的区域。考古学上常指早期人类集中居住地域。部落,为部
  • C·戴维·阿利斯查尔斯·戴维·阿利斯(英语:Charles David Allis,1951年年3月22日-),美国分子生物学家,他目前是洛克菲勒大学的Joy and Jack Fishman教授以及染色质生物学和表观遗传学实验室的主任