齐夫定律

✍ dations ◷ 2025-12-04 18:12:03 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • 白虎白虎起源于上古星宿崇拜,是西方七宿,天之四灵之一,道教将其称为“监兵”,在不同的道经中有“帝君”、“圣将”、“神将”和“捕鬼将”等称呼。 在二十八宿中,白虎是西方七宿(奎、
  • 2003年 大邱第二十二届夏季世界大学生运动会于2003年8月21日至2003年8月31日在韩国的大邱举行。这是韩国首次主办夏季世界大学生运动会,韩国也成为第三个获得夏季大学生运动会主办权的亚
  • 228和平纪念公园二二八和平公园,原名为台北公园,后改称台北新公园,是一座位于台湾台北市中正区的公园,北起襄阳路、南至凯达格兰大道、西为怀宁街、东为公园路,占地71,520平方米,邻近总统府、外交
  • 两极地理极点是行星、卫星或其它较大天体的自转轴与其表面交会的点。如在地球上的北极和南极,其它天体的极也称为南极和北极,分别会在该天体赤道两侧各90度之处。每一颗行星都有地
  • 德意志奥地利共和国德意志-奥地利共和国(德语:Republik Deutschösterreich oder Deutsch-Österreich)是第一次世界大战结束、奥匈帝国解体后,其境内说德语的人所短暂建立的政权。其德语名Deutsch
  • 贝坎贝坎县(Beckham County, Oklahoma)是美国奥克拉荷马州西南部的一个县,西邻德克萨斯州。面积2,344平方公里。根据美国2000年人口普查,共有人口19,799人。县治塞尔 (Sayre)。成立
  • 爱沙尼亚SSR爱沙尼亚苏维埃社会主义共和国(爱沙尼亚语:Eesti Nõukogude Sotsialistlik Vabariik,俄语:Эстонская Советская Социалистическая Респ
  • 各国国内生产总值列表 (国际汇率)这是一份按照国内生产总值排列的经济体列表,是某经济体指定年份的经济中所生产出的全部最终成果(产品和劳务)的市场价值。这里的GDP是按照市场价值或政府官方汇率所估算,单位是
  • 异囊藻目异囊藻目(Heterogloeales)为藻类植物之一植物目。该植物于植物分类表上,归于黄藻门(Xanthophyta) (Chromophyta)黄藻纲 (Xanthophyceae) ,同纲者尚有异鞭藻目(Heterochloridales)等
  • 童鳃螈属童鳃螈(学名:),又称为异螈,是一种已绝种的离片锥目两生类动物,来自三叠纪时期的格陵兰、德国、瑞典以及可能于泰国,为一属一种,仅包含一模式种。童鳃螈的体长可达1米(3.3英尺),身形十分