首页 >
停用词
✍ dations ◷ 2025-08-29 19:18:58 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。
这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。
相关
- 前列腺炎前列腺炎(Prostatitis)指发生于前列腺组织的炎症。由于前列腺在一定水平血睾丸酮作用下形成,女性仅找到组织胚胎学意义上的前列腺痕迹;没有人体解剖学意义上的前列腺,前列腺炎属
- 大洋洋即大洋,是地球海洋的主体,为海洋的中心部分。世界大洋的总面积约占海洋面积的89%。大洋的水深一般在3000米以上,最深处可达1万多米。大洋离陆地远,不受陆地的影响,其水文和盐度
- 咪唑咪唑(英语:Imidazole),即1,3-二氮唑,是一个五元杂环芳香性有机化合物,化学式C3H4N2。它也是一个生物碱。白色或浅黄色固体结晶,可溶于水、氯仿、醇、醚,具有酸性,也具有碱性。氢原子
- 农业社会农业社会为以农业为经济主导的社会。当人类的农业活动达一定规模,便渐渐进入农业社会,工业总产值与农业总产值,是一般区分农业社会及工业社会的方法。然而,农业社会中人与自然之
- 神圣罗马皇帝神圣罗马皇帝(德语:Römisch-deutscher Kaiser;拉丁语:Imperatores Romani Sacri)是历史学家称呼中世纪时获教宗赐予“罗马皇帝”头衔的德意志国王和罗马人民的国王,和1356年后统
- 疫情防控指挥部新型冠状病毒感染的肺炎疫情防控指挥部,是中国大陆各地政府部门为应对2019冠状病毒病疫情而成立的指挥部。最早成立指挥部的是疫情最初爆发地湖北省武汉市,之后中国大陆受疫情
- 扁桃酸扁桃酸(化学式:C8H8O3),又名苦杏仁酸、苯乙醇酸,学名α-羟基苯乙酸。白色斜方片状结晶,露置遇光变色分解。易溶于乙醚和异丙醇,溶于水和乙醇。扁桃酸及其衍生物在体内是肾上腺素和
- 拾破烂者病羊毛工病是炭疽病中透过吸入病原体的一种,其名称来自早其主要的感染者,多为接触动物制品或排泄物而受到感染。
- 布拉酵母菌布拉酵母菌(Saccharomyces boulardii),是一种热带酵母物种,于1923年由法国科学家亨利·布拉德自荔枝与山竹中分离出来。在一些分类学、代谢和遗传特性上,它与酿酒酵母相近,但略有
- 荷兰省份荷兰本土分为12个省(provincie),另外在加勒比海有博奈尔、圣尤斯特歇斯、萨巴三个直属荷兰的公共实体(荷兰语:Openbaar lichaam)共同构成荷兰王国。