首页 >
停用词
✍ dations ◷ 2025-09-19 02:43:59 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。
这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。
相关
- 大西洋鲑鱼大西洋鲑(学名:Salmo salar)又名安大略鲑,是主要分布在北大西洋海域及周边河流的一种鲑鱼。成鱼尺寸平均约90CM,大型个体可至110~150CM,重达40公斤以上。大西洋鲑的学名是由卡尔·
- 南非南部非洲即非洲大陆南部地区,不常简称为南非,“南非”通常指南非共和国。联合国的南部非洲次分区包括下列五个国家:南部非洲除了以上五国和其他南部非洲发展共同体的国家外,有时
- Atkins减肥法阿特金斯饮食法(英语:Atkins diet)是美国医生罗伯特·阿特金斯(Robert Atkins)创造的一种颇具争议的减肥饮食方法,其要求完全不吃碳水化合物,而可以吃高蛋白的食品,即不吃任何淀粉类
- 素食素食主义(英语:vegetarianism),又称蔬食主义,素食,蔬食(英语:plant-based food)等,是一种有关饮食的文化,主张不食用飞禽、走兽、鱼虾等动物的身体,也就是肉类,实践这种饮食文化的人被称
- 周边动脉阻塞性疾病周边动脉疾病(Peripheral artery disease, PAD),可以称为周边血管疾病(Peripheral vascular disease, PVD)、周边动脉阻塞性疾病(Peripheral artery occlusive disease, PAOD),或是
- 埃德蒙·罗卡埃德蒙·洛卡德(法语:Edmond Locard;1877年11月13日-1966年4月4日),法国司法科学家,提出洛卡德物质交换定律(行为人一定会带走一些东西,也会留下一些东西)。这是侦查学的基础理论。
- 热力学平衡热力学平衡,简称热平衡,指一个热力学系统在没有外界影响的条件下,系统各部分的宏观属性(如物质的量、能量、体积等)在长时间内不发生任何变化的状态。热平衡是热力学中的一个基本
- Gasub2/subSsub3/sub硫化镓是镓的多种硫化物之一,化学式为Ga2S3。硫化镓可由金属镓和硫化氢在高温下反应制得。硫化镓可以缓慢在水中分解,在热水中迅速分解,并放出硫化氢。它和稀盐酸反应,也会生成
- 大高加索山脉大高加索山脉是高加索山脉中两个主要山脉之一,与另一主要山脉小高加索山脉在苏拉姆山脉相连后平行伸延,两者平均相距100公里。大高加索山脉从黑海海岸的塔曼半岛一直向东南方
- 佐川真人佐川真人(日语:佐川眞人,1943年8月3日-),日本发明家、企业家,以发明钕铁硼磁铁而知名。1978年,佐川萌发发了在化合物中加入小原子半径元素来扩大铁原子间距的想法,开始了实验,最后制出