齐夫定律

✍ dations ◷ 2025-12-06 13:26:24 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • 牛脑海绵状病变牛海绵状脑病(英语:bovine spongiform encephalopathy,缩写:BSE),俗称疯牛症(mad cow disease),是由传染因子引起,属于牛的一种进行性神经系统的传染性疾病,此疾病是一种传染性海绵状脑
  • 克里米亚战争总计:213,147–293,447死亡  奥斯曼帝国总死亡数估计95,000–175,300 法兰西第二帝国总死亡:95,00010,240人阵亡20,000人受伤不治~ 60,000人死于疾病  大英帝国总死亡:21,09
  • 海底生物底栖生物是指任何在海底或海床附近的生命,在希腊语有“海的底部”的意思,有的时候底栖生物也会只在湖底或河底的生物,因此也属于淡水生物学的一环,典型的栖地生物有海星、蚌类、
  • 郑道传郑道传(韩语:정도전,1342年-1398年8月26日),字宗之(종지),号三峯(삼봉),是高丽王朝末期和朝鲜王朝初期的文臣、政治家、诗人、革命家、儒学学者,朝鲜王朝的首任宰相(都评议使司事:1392年7月
  • 永济市永济市是中华人民共和国山西省的一个县级市,由运城市代管。位于山西西南隅,同蒲铁路穿越市境。古称蒲坂,相传为舜帝之都。战国时属于魏国,称蒲邑。秦置蒲坂县,王莽时改蒲城。东汉
  • 乌尔都文U+0600—U+06FF U+0750—U+077F U+FB50—U+FDFF乌尔都字母是用于乌尔都语的从右至左书写的字母。它是对演化自阿拉伯字母的波斯字母的修改。共有 38 个字母,乌尔都字母通常用
  • 罗灵丘陵罗灵丘陵(英文:Rolling Hills),是美国加利福尼亚州洛杉矶县下属的一座城市。建市于1957年1月24日,面积 大约为2.99平方英里 (7.7平方公里)。根据2010年美国人口普查,该市有人口1,8
  • 猫草猫草是专门栽培供猫食用后可以帮助吐毛球的一类植物的统称。猫喜欢通过舔的方法自我清洁,因此胃中会结毛球。这类植物猫食用无毒无害,富含纤维,可以刺激猫的肠胃蠕动,帮助猫吐出
  • 氧化锂氧化锂(Li2O)是一种无机化合物,可透过锂在空气或氧气中燃烧而得,过程中会伴随生成少量的过氧化锂。高纯度的Li2O可由过氧化锂(Li2O2)在450°C的热分解中制得。 一般来说,氧化锂是
  • 沙特阿拉伯历史沙特阿拉伯始建于1750年的阿拉伯半岛中部地区,一名名为穆罕默德·本·沙特的当地国王与一名伊斯兰改革家穆罕默德·阿卜杜勒-瓦哈卜一起建立了新的政体。在之后的150多年中,沙