齐夫定律

✍ dations ◷ 2025-12-01 23:55:38 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • 狭鼻小目见内文狭鼻小目(Catarrhini)是灵长目简鼻亚目中三个小目之一,包含了旧世界猴(猴总科)及猿(人猿总科)。后者再细分为长臂猿科及人科。以往认为人类及其已灭绝的近亲或祖先是一个独立
  • 阿尔斯特苏格兰语阿尔斯特苏格兰语(英语:Ulster Scots或Ulster-Scots,阿尔斯特苏格兰语:Ulstèr-Scotch)指的是在爱尔兰阿尔斯特省境内所说的一种低地苏格兰语方言。 一些区分方法把带着阿尔斯特
  • 2-甲基-1-丙醇异丁醇(IUPAC名:2-甲基-1-丙醇)(2-Methyl-1-Propanol) 是一种无色易燃,有特殊气味的有机化合物。其异构体为正丁醇、仲丁醇和叔丁醇。它被列为醇类,因此,它被广泛用作化学反应的溶
  • 联邦食品、药品和化妆品法案美国联邦食品、药品和化妆品法案(常缩写为FFDCA,FDCA,或FD&C)是美国国会在1938年通过的一系列法案的总称,赋予美国食品药品监督管理局(FDA)监督监管食品安全、药品、及化妆品的权力
  • 日置益日置益(1861年12月21日-1926年10月22日)日本伊势国(三重县)人,日本明治、大正时期外交官。日置益于文久元年十一月二十日(1861年12月21日)生于日本伊势国(三重县)。明治21年(1888年)从东
  • 布里斯托尔坐标:41°40′52″N 72°56′26″W / 41.68111°N 72.94056°W / 41.68111; -72.94056布里斯托尔(英语:Bristol),绰号铃城 (Bell City)和菊城 (Mum City),是美国康乃狄克州哈特福德县
  • 二氟化氧二氟化氧是化学式为OF2的化合物,结构与水分子相似,但化学性质非常不同,是强氧化剂。将氟气通入氢氧化钠溶液中,可得二氟化氧。二氟化氧中的氧具有不寻常的+2氧化态 具有强氧化性
  • 1920年夏季奥林匹克运动会水球比赛1920年夏季奥林匹克运动会的水球比赛由1920年8月22日至8月28日进行,为期7天;只设男子项目,决出金、银、铜牌各一面。本届赛事有12支队伍参与,最终由英国夺得金牌。
  • 李杜 (称呼)李杜是李姓和杜姓人物的合称,最著名的是唐玄宗时最著名的两位诗人,诗仙李白、诗圣杜甫,又称“大李杜”。另外,晚唐著名诗人李商隐、杜牧称为“小李杜”。《新唐书·杜甫传》:“甫
  • 邻苯二甲酰亚胺邻苯二甲酰亚胺,俗称酞酰亚胺,是邻苯二甲酸生成的酰亚胺。白色棱状结晶。能升华。溶于碱、苯、沸乙酸,微溶于水、乙醇。用于药物、染料、农药、橡胶助剂等物质合成的中间体,例如