首页 >
停用词
✍ dations ◷ 2025-04-26 06:19:20 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。
这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。
相关
- 营养体营养体(Trophosome;源自trophē),亦作滋养体,是一种在部分原口动物(例如:须腕科物种)体腔(英语:coelomic cavity)内的深绿棕色海绵组织器官,用来储存内共生细菌,以为其宿主提供完全营养。
- 联合国环境署联合国环境署,又称为联合国环境规划署(英语:United Nations Environment Programme, UNEP;或 UN Environment),是联合国专责环境规划的常设部门。它的任务在于协调联合国的环境计
- 冰山冰山(英语:Iceberg)是一块大若山川的冰,脱离了陆上的冰川或冰架,并漂浮在广阔的水面上。由于冰山质地结实坚硬、体积大,与船擦撞时常导致船难,其中较著名的有1912年所发生的泰坦尼
- 石绵石棉,又称石绵,是天然的纤维晶体状的6大硅酸盐类矿物质的总称;(Asbestos,5.5FeO,1.5MgO,8SiO2,H2O)成分中含有一定数量的水;分裂成絮时呈白色;丝绢光滑,富有弹性。 最常见的有3种:温石
- 女女部,为汉字索引里为部首之一,康熙字典214个部首中的第三十八个(在三划的部首中则为第九个)。在中文里,女部归于三划部首。女部通常是从上、下、左、右方均可为部字,且无其他部首
- 第三产业第三级产业,又称服务业,是指位处一件产品的生产链中最上层的行业,这些行业在一件产品的生产链中担任物流、分销、中介等工作。第三级产业需要接触产品的终端顾客,是该产品自生产
- 紫苜蓿M. sativa subsp. ambigua M. sativa subsp. microcarpa M. sativa subsp. sativa M. sativa subsp. varia Ref: ILDIS as of November 2005紫花苜蓿(学名:Medicago sativa,阿
- 灰色灰色介于黑和白之间的一系列颜色,可以大致分为深灰和浅灰。像乌云密布的天空、草木灰及铅都是灰色的。在欧洲及北美,大部分人认为灰色是中性、一致性、无聊、不确定、老年、冷
- 丙酸杆菌等丙酸杆菌属(学名Propionibacterium)是一类革兰氏阳性菌。
- 芽殖出芽生殖 (英文: budding),是一种无性繁殖方式,亲代借由细胞分裂产生子代,但是子代并不立即脱离母体,而与母体相连,继续接受母体提供养分,直到个体可独立生活才脱离母体。是一种特