停用词

✍ dations ◷ 2025-01-23 03:24:19 #停用词

在信息检索中，为节省存储空间和提高搜索效率，在自然语言处理数据（或文本）之前或之后会自动过滤掉某些字或词，这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。这些停用词都是人工输入、非自动化生成的，生成后的停用词会形成一个停用词表。但是，并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的，任何一类的词语都可以被选作停用词。通常意义上，停用词大致分为两类。一类是人类语言中包含的功能词，这些功能词极其普遍，与其他词相比，功能词没有什么实际含义，比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说，当所要搜索的短语包含功能词，特别是像The Who、The The或Take That等复合名词时，停用词的使用就会导致问题。另一类词包括词汇词，比如'want'等，这些词应用十分广泛，但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果，难以帮助缩小搜索范围，同时还会降低搜索的效率，所以通常会把这些词从问题中移去，从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一，他创造了这个短语并在他的研究中应用这个概念，为信息检索工作做出了贡献。

相关

血管性痴呆血管性痴呆（Vascular dementia），亦称多发梗塞性痴呆（multi-infarct dementia），是一系列由于血管性疾病引起的大脑梗塞，其中包括高血压性脑血管病、脑动脉硬化性痴呆。其梗塞过程往
各国人均烟草消费量列表本列表列出各国人均每年消费香烟数。全世界有超过11亿人吸烟。同时发达国家的烟民比例出现下降，但发展中国家的烟草消费量年均上升3.4%。大概有67%的男性和4%的女性吸烟。在
语言哲学语言哲学是一门哲学的分支，对语言的用法、来源及本质作理性的研究。对于分析哲学来说，有四个主要关心的问题：意义的本质、语言用法、语言认知及语言与现实的关系。对欧陆哲学家
工艺工艺（Craft）是劳动者利用生产工具对各种原材料、半成品进行增值加工或处理，最终使之成为制成品的方法与过程。制定工艺的原则是：技术上的先进和经济上的合理。由于不同的工厂的
第四次工业革命第四工业革命 (4IR) 指的是从18世纪工业革命开始后进入的第四个阶段，它被描述成各种科技的融合，而融合的过程因使得物理、数位和生物等领域科技之间界线难分，故统称为网宇实体
计量单位单位系指给定的某一基础物理量，单位的给定皆属人为。常伴随着某种表示法，例如米、秒、千克等，以方便人们在沟通某一量时有共通的概念。计量单位（度量单位）为单位的具体统称，为人类
赛博朋克赛博朋克（英语：Cyberpunk，又译作“电驭叛客”）是“控制论”（Cybernetics）与“朋克”（Punk）的结合词，以信息技术为主体的科幻故事类别之一。它的背景大都建立于“低端生活（英语：Low-life
贫血症贫血（英语：anemia, anaemia，拉丁语：anæmia）通常定义为血液中红血球或血红素总数量下降的情形；也可以被定义为血液携带氧气能力下降的情况。当贫血慢性发作时，其症状往往不明显，可能
弗里德里希·帕邢路易斯·卡尔·海因里希·弗里德里希·帕邢（德语：Louis Carl Heinrich Friedrich Paschen，1865年1月22日－1947年2月25日），德国物理学家，1889年建立帕邢定律，1908年发现了氢原子光谱
飞轮储能飞轮能量储存（英语：Flywheel energy storage，缩写：FES）系统是一种能量储存方式，它通过加速转子（飞轮）至极高速度的方式，用以将能量以旋转动能的形式储存于系统中。当释放能量时，根据能