停用词

✍ dations ◷ 2024-11-06 08:19:52 #停用词

在信息检索中，为节省存储空间和提高搜索效率，在自然语言处理数据（或文本）之前或之后会自动过滤掉某些字或词，这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。这些停用词都是人工输入、非自动化生成的，生成后的停用词会形成一个停用词表。但是，并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的，任何一类的词语都可以被选作停用词。通常意义上，停用词大致分为两类。一类是人类语言中包含的功能词，这些功能词极其普遍，与其他词相比，功能词没有什么实际含义，比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说，当所要搜索的短语包含功能词，特别是像The Who、The The或Take That等复合名词时，停用词的使用就会导致问题。另一类词包括词汇词，比如'want'等，这些词应用十分广泛，但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果，难以帮助缩小搜索范围，同时还会降低搜索的效率，所以通常会把这些词从问题中移去，从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一，他创造了这个短语并在他的研究中应用这个概念，为信息检索工作做出了贡献。

相关

红外线红外线（Infrared，简称IR）是波长介乎微波与可见光之间的电磁波，其波长在760奈米（nm）至1毫米（mm）之间，是波长比红光长的非可见光，对应频率约是在430 THz到300 GHz的范围内。室温下物体
高胱胺酸尿症高胱氨酸尿症（英语：Homocystinuria）是一种遗传病，其会导致体内堆积甲硫氨酸、高胱氨酸、高半胱氨酸及复合双硫化合物，造成智能不足、骨骼畸型、心脏血管疾病等。此遗传病的发生率
瑞氏综合征雷伊氏综合征（Reye's syndrome），又称雷氏综合征是会快速进展的脑部疾病（英语：Encephalopathy）。症状包括呕吐、精神混乱、癫痫发作、失去意识（英语：Unconsciousness）。虽然一般也会有
官方语言列表索引国防预算石油储量军事（武装部队）死刑国债生育率最高点官方语言地理政体面积代码陆地面积人口人口密度国内生产总值国徽国旗国歌国家格言首都城市
尤素甫·哈斯·哈吉甫玉素甫‧哈斯‧哈吉甫 (阿拉伯语：يوسف خاصّ حاجب‎; Yūsuf Khāṣṣ Ḥājib Balasağuni; 维吾尔语：.mw-parser-output .font-uig{font-family:"UKIJ Tuz","UKI
科西嘉坐标：42°9′N 9°5′E / 42.150°N 9.083°E / 42.150; 9.083科西嘉领土集体（Collectivité Territoriale de Corse）是法国的一个领土集体，其范围包括科西嘉岛及附近小岛。科西
信德语信德语 (سنڌي‎, सिन्धी sindhī) ，辛德语，是南亚巴基斯坦内信德省的语言。能说信德语的人在巴基斯坦境内大约有1700万，在印度也有280万。两个国家都承认信德语为法
设得兰群岛设得兰（英语：Shetland，/ˈʃɛtlənd/；苏格兰盖尔语：Sealtainn；古诺斯语：Hjaltland）是大不列颠岛以北的群岛，英国领土的最北端，距离丹麦自治领地法罗群岛280公里（170哩）。它也是苏格兰32
怀特腓怀特腓德（George Whitefield，1714年12月27日－1770年9月30日）是基督教大觉醒运动中的重要人物之一，循道宗的共同创始人。怀特腓德1714年12月27日生于英国格洛斯特，12岁时已发挥演说
全息存储激光全息存储技术是一种利用激光全息摄影原理将图文等信息记录在感光介质上的大容量信息存储技术，它有可能取代磁存储和光学存储技术，成为下一代的高容量数据存储技术。传统的