首页 >
停用词
✍ dations ◷ 2025-10-12 13:12:44 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。
这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。
相关
- 纺织纺织原是纺纱(英语:spinning)与织布(英语:weaving)两道生产工序的合称,现在指将纺织纤维等纺织材料加工成产品的过程。中国旧石器时代山顶洞人址上发现了骨针,为已知纺织最早的起源,
- 底比斯圣队底比斯圣队(古希腊语 Ιερός Λόχος , hieròs lókhos)是古希腊城邦底比斯的一支精锐部队,共300人,由150对“古希腊少年爱”伴侣组成。这支部队是前4世纪底比斯军队的精
- 分子病毒学分子病毒学是1950年代分子生物学兴起以来将分子生物学方法运用于病毒学而形成的一门学科。1960年代以来,DNA病毒和RNA病毒的复制机制都得以阐明,一类亚病毒被发现;建立了绝大多
- 临床诊疗指南医学指南(medical guidelines)也称为临床指南(clinical guideline)或是临床实践指南 (clinical practice guideline) ,是目的在提供医疗决策及准则指南的文件,会针对医疗保健特定领
- 柏金逊症帕金森病(Parkinson's disease,简称PD)是一种影响中枢神经系统的慢性神经退化疾病,主要影响运动神经系统。它的症状通常随时间缓慢出现,早期最明显的症状为颤抖、肢体僵硬、运动
- ABP肌动蛋白结合蛋白(英语:actin-binding proteins,缩写作ABP)是指能与肌动蛋白的单体、多聚体(或两者皆可)结合的蛋白质。α-辅肌动蛋白、β-血影蛋白、抗肌萎缩蛋白(英语:dystrophin
- 私酒私酒是指非法生产(通常在自家酿造)的高酒精度的蒸馏酒。在美国主要是由玉米糊作为主要生产原料。为避免被发现所以蒸馏通常在夜间进行,所以美国也用“月光”(英语:Moonshine)一词
- 补体受体补体受体(英语:complement receptor)是补体系统中的受体,是先天免疫系统的一部分。当有病原体入侵时,可通过抗体或其他途径激活补体蛋白切割为活性形式,再与细胞表面的补体受体结
- 核战略司令部核战略司令部,也称印度战略部队司令部(英语:Strategic Forces Command,SFC),负责国家的战术和战略核武器储备之管理和行政。创建于2003年1月4日。战略力量司令部接受印度核指挥管
- 里卡多·米莱迪里卡多·米莱迪-道(西班牙语:Ricardo Miledi y Dau,1927年9月15日-2017年12月18日)是墨西哥神经生物学家。里卡多·米莱迪于1927年9月15日出生于墨西哥,1955年获得墨西哥国立自治