停用词

✍ dations ◷ 2025-06-27 13:27:38 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。 这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。

相关

  • 多瘤病毒多瘤病毒科(Polyomaviridae)是一种双链DNA病毒,这类的病毒会造成肿瘤,其中有些种类会感染人的呼吸系统、肾脏或脑部。下有一属:环状双股DNA (dsDNA),会抓宿主的 histone 组成 mini
  • 血管舒张剂血管舒张是指在血管壁的平滑肌松弛下,令体内血管扩阔的情况。由于空间增大让血液流过,这会降低了血压。它的相反过程称为血管收缩。血管舒张可以自然产生或经由血管舒张剂引起
  • 丙酸丙酸(propanoic acid),又称初油酸,是三个碳的羧酸和短链饱和脂肪酸,化学式为CH3CH2COOH。纯的丙酸是无色、腐蚀性的液体,带有刺激性气味。工业上丙酸是通过四羰基镍催化剂存在下
  • 红统府红统府(泰语:จังหวัดอ่างทอง,皇家转写:Changwat Ang Thong,泰语发音:)是泰国中部的一个府。红统府以前称“威社猜餐城”,为大城府的前哨城市,以后在大城时代迁都至昭拍
  • 同分异构同分异构体又称同分异构物(英语:Isomer)。同分异构物指的是拥有相同分子式,但结构式却不相同的多种分子。同分异构物之间并不拥有相同的化学性质,除非它们拥有相同的官能团(functi
  • 核质核质(英语:Nucleoplasm)是真核细胞中细胞核内除核仁外,所含的其他部分物质。核质是原生质的一种类型,它被核膜包裹。 核质包括染色体和核仁。 许多物质例如核苷酸(对于DNA复制等目
  • 格威内特县格威内特县(Gwinnett County, Georgia)是美国乔治亚州北部的一个县。面积1,131方公里。根据美国2000年人口普查,共有人口588,448人,2006年人口为757,104人,是全州第二多。县治位
  • 希腊近卫军埃夫佐尼(单数)或者埃夫佐内斯(复数,希腊语:Εύζωνες, Εύζωνοι,Evzones, Evzone)是希腊陆军历史上前后数支精锐轻步兵部队和山地部队的总称。今日,埃夫佐尼指的是总统
  • 个人Wiki个人Wiki是一个主要作为个人使用而维护的Wiki。个人Wiki允许人们以类似社区Wiki的风格在他们的桌面或移动计算设备上组织信息。个人Wiki可以被粗略地分为含个人版的多用户Wi
  • 生技生物技术(英语:biotechnology),又称为生物科技,指利用生物体(含动物,植物及微生物的细胞)来生产有用的物质或改进制程,改良生物的特性,以降低成本及创新物种的科学技术。根据不同的工