停用词

✍ dations ◷ 2025-04-06 01:50:12 #停用词
在信息检索中,为节省存储空间和提高搜索效率,在自然语言处理数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。不要把停用词与安全口令混淆。 这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。对于一个给定的目的,任何一类的词语都可以被选作停用词。通常意义上,停用词大致分为两类。一类是人类语言中包含的功能词,这些功能词极其普遍,与其他词相比,功能词没有什么实际含义,比如'the'、'is'、'at'、'which'、'on'等。但是对于搜索引擎来说,当所要搜索的短语包含功能词,特别是像The Who、The The或Take That等复合名词时,停用词的使用就会导致问题。另一类词包括词汇词,比如'want'等,这些词应用十分广泛,但是对这样的词搜索引擎无法保证能够给出真正相关的搜索结果,难以帮助缩小搜索范围,同时还会降低搜索的效率,所以通常会把这些词从问题中移去,从而提高搜索性能。Hans Peter Luhn, 作为信息检索的先驱者之一,他创造了这个短语并在他的研究中应用这个概念,为信息检索工作做出了贡献。

相关

  • 内科医师人体解剖学 - 人体生理学 组织学 - 胚胎学 人体寄生虫学 - 免疫学 病理学 - 病理生理学 细胞学 - 营养学 流行病学 - 药理学 - 毒理学医生又称医师,在中国古代称大夫或郎中
  • 芽孢杆菌目脂环酸杆菌科(英语:Alicyclobacillaceae)(Alicyclobacillaceae) 芽孢杆菌科(英语:Bacillaceae)(Bacillaceae) 显核菌科(英语:Caryophanaceae)(Caryophanaceae) 李斯特菌科(英语:Listeriaceae)(L
  • 头孢洛林头孢洛林 (国际非专利药品名) (发音为/sɛfˈtærɵliːn/, 商品名Teflaro)是一种第五代头孢菌素类抗生素。它对于包括耐甲氧西林金黄色葡萄球菌(MRSA)在内的革兰氏阳性菌具
  • 亚美利哥·维斯普西亚美利哥·韦斯普奇(意大利语:Amerigo Vespucci,1454年3月9日-1512年2月22日)是佛罗伦萨商人、航海家、探险家和旅行家,美洲(全称亚美利加洲)是以他的名字命名的。他经过对南美洲东
  • 詹姆斯·林德詹姆斯·林德(James Lind,1716年10月4日 - 1794年6月13日),英国皇家海军外科医生(1739年 - 1748年),皇家海军Haslar医院医师(1758年 - 1783年),是英格兰卫生学的创始人,发起利用柑桔类
  • 音部,为汉字索引中的部首之一,康熙字典214个部首中的第一百八十个(九划的则为第五个)。就繁体和简体中文中,音部归于九划部首。音部只以左方、下方为部字。且无其他部首可用者将
  • Hsub2/subCSesub3/sub硒代碳酸是一种无机化合物,为碳酸中的氧被硒取代产生的化合物,其分子式为H2CSe3。用二硒化碳(CSe2)从金属的硒氢化物(HSe-)的水溶液或乙醇溶液沉淀出紫色的三硒代碳酸盐。通常
  • 指准化石指准化石(英语:Index fossils,又称为标准化石、指标化石)是指一种可以被用来推知所处地层的地质年代之化石。其运作原理基于一个前提上:虽然沉积物可能会因为沉积时所处的环境不
  • 赫伯特·布朗赫伯特·查尔斯·布朗(英语:Herbert Charles Brown,1912年5月22日-2004年12月19日),乌克兰裔美籍犹太人化学家,1979年因将硼化合物用于有机合成之中而与格奥尔格·维蒂希分享诺贝尔
  • 食物安全五要点食物安全五要点(英文:Five keys to safer food manual)是世界卫生组织提倡的有关食品安全的要注意的五个要点。 包括了保持清洁(keep clean),生熟分开(separate raw and cooked),煮熟