齐夫定律

✍ dations ◷ 2025-04-04 11:22:44 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • 消化系统消化系统(英语:digestive system)是多细胞生物用以进食、消化食物、获取能量和营养、排遗剩余废物的一组器官,其主要功能为摄食、消化、吸收、同化和排遗。其中有关排遗的部分,也
  • 一元二次公式一元二次方程是只含有一个未知数,并且未知数的最高次数是二次的多项式方程。例如, x 2
  • 阿克塞尔·斯普林格集团阿克塞尔·斯普林格集团为欧洲最大的数位出版公司之一,拥有众多新闻媒体品牌,如图片报、世界报、Fakt(英语:Fakt)等,雇员超过1.5万人。于2015年财政年度,营收达33亿欧元,税前利润为5
  • 胍(英语:Guanidine)是一个含氮的有机化合物,晶状固体,有强碱性,也称“氨基甲脒”,可由瓜氨酸氧化制得。一般以盐的形式使用,是有机合成(合成杂环化合物)、药物、染料合成的中间体。胍
  • 奥布宁斯克核电站奥布宁斯克核电站(俄语:Обнинская АЭС)是世界上首个商用发电的核反应堆,于1954年6月27日在俄罗斯卡卢加州奥布宁斯克正式运行,装机容量为5千千瓦。
  • 太湖片太湖片,即为北部吴语,亦有人习惯称之为低地吴语,是吴语中最大的一个方言片,以太湖为中心区,分布在苏南浙北的广大地区,地域及人口都达到吴语使用总数的65%,为影响力最强的一支吴语
  • 美国国家公园巡逻员国家公园巡逻员(英语:National Park Service Ranger)是美国国家公园系统下属、负责维护保护区域的雇员。虽然该机构的所有人都参与到了国家公园的有关工作中,但“公园巡逻员(英语
  • 原梧栖官吏派出所及宿舍群原梧栖官吏派出所及宿舍群位于台中市梧栖区梧栖老街上,建于1919年(大正8年),位于梧栖朝元宫旁。于民国九十九年(2010年)11月8日公告为县定古迹。官吏派出所外墙为清水砖,后油漆成米
  • F4F野猫式战斗机F4F战斗机是美国海军与海军陆战队在二次世界大战爆发之际最主要的舰载战斗机,他的昵称野猫(Wild Cat)开启了格鲁曼公司以猫作为战斗机昵称的传统。该型战斗机也在英国皇家海军
  • 文学奖列表文学奖项名单,列举世界各地文学奖项,名单尚不完整,而是代举那些与维基百科文章的一种列表。