首页 >
停用词
✍ dations ◷ 2025-06-06 23:28:24 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。
这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。
相关
- 胃肠病学胃肠学(英语:Gastroenterology,又称为肠胃病学)是医学的一个分枝,专门研究消化系统(从口腔到肛门的消化道)及相关疾病。
- 脐带绕颈脐带绕颈(nuchal cord)是指胎儿在母体子宫内时,发生脐带缠绕在胎儿颈部的情形。脐带绕颈的胎儿出生后,可能很快就会出现脸色发黑、面部瘀青及眼白布有血丝(英语:subconjunctival b
- 消化器官消化系统(英语:digestive system)是多细胞生物用以进食、消化食物、获取能量和营养、排遗剩余废物的一组器官,其主要功能为摄食、消化、吸收、同化和排遗。其中有关排遗的部分,也
- Ivan Pavlov伊万·彼得罗维奇·巴甫洛夫(俄语:Иван Петрович Павлов,1849年9月26日-1936年2月27日),俄罗斯生理学家、心理学家、医师。他因对狗研究而首先对古典制约作出描
- 福岛县立医科大学福岛县立医科大学(日语:福島県立医科大学,英语:Fukushima Medical University)是位于日本福岛县的一所公立大学,成立于1944年,简称是福岛医大或县立医大。1944年建立,1950年开设大学
- 阿普第阶灭绝事件阿普第阶灭绝事件(Aptian extinction)是个发生于白垩纪早期的小规模灭绝事件,年代为约1亿1700万年前到1亿1600万年前,大约是阿普第阶中期。根据地层中的证据,阿普第阶灭绝事件对
- 铈4f1 5d1 6s22, 8, 18, 19, 9, 2蒸气压第一:534.4 kJ·mol−1 第二:1050 kJ·mol−1 第三:1949 kJ·mol−1 (六方面心立方主条目:铈的同位素铈(英语:Cerium)是一种化学元素,它的化学
- 道格拉斯县道格拉斯县(Douglas County, Georgia)是美国乔治亚州西北部的一个县。面积519平方公里。根据美国2000年人口普查,共有人口92,174,2005年估计人口112,760。县治道格拉斯维尔 (Dou
- CNRS法国国家科学研究中心(法语:Centre national de la recherche scientifique, CNRS)是法国最大的政府研究机构,也是欧洲最大的基础科学机构。 2016年,它雇用了31,637名员工,其中包
- .yt.yt为马约特国家及地区顶级域(ccTLD)的域名。目前由法国代为管理注册事宜,官方网站nic.yt会被重定向到法国AFNIC的网站,2011年11月开放注册。A .ac .ad .ae .af .ag .ai .al .a