齐夫定律

✍ dations ◷ 2025-11-25 10:41:30 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • 日期在日历中,日期是一个在历法中特定的日子。日期可以帮助我们表示一个指定的日子。我们可以计算出两个日期的距离,例如在公历里,"2020年3月24日"在"2020年3月14日"十日后。一个事
  • 糖皮质类固醇可抑制性醛固酮症糖皮质类固醇可抑制性醛固酮增多症(glucocorticoid remediable aldosteronism,GRA),又名地塞米松可抑制性醛固酮增多症(dexamethasone-suppressible hyperaldosteronism,DSH)或ACTH
  • eEF-1真核延伸因子1(英文:eukaryotic elongation factor-1,简称“EEF-1”)是参与真核翻译的真核延伸因子之一。EEF-1的化学本质是蛋白质,其α亚基对应原核延伸因子中的EF-Tu,而β和γ亚
  • 独立厅美国独立纪念馆(又称独立厅,Independence Hall)是位于美国宾夕法尼亚州费城的一栋乔治风格的红砖建筑物。建于1732年到1753年之间,由埃德蒙·伍利(英语:Edmund Woolley)和安德鲁·
  • 国家级湿地公园中国的湿地公园,是依据《国务院办公厅关于加强湿地保护管理的通知》中有关“采取多种形式,加快推进自然湿地的抢救性保护……对不具备条件划建自然保护区的,也要因地制宜,采取建
  • 麻蝇麻蝇即肉蝇,是双翅目麻蝇科(学名:Sarcophagidae)下的所有苍蝇的统称。麻蝇以卵胎生的方式繁殖,大部分种类的麻蝇都在腐肉、粪便或者腐败的物质上产下蛆,少数种类会在哺乳动物的伤
  • 第十一克劳狄军团第十一克劳狄军团(英语:Legio XI Claudia)古罗马军队建制名称。由尤利乌斯·凯撒于公元前58年建立并存在至5世纪。该军团曾参加罗马内战、腓立比战役等一系列相关军事活动,具有
  • 亨利·加蒂安·贝特朗亨利·加蒂安·贝特朗伯爵(法语:Henri-Gatien Bertrand,1773年3月28日-1844年1月31日),法国将军。出生在安德尔省沙托鲁的一个富裕的资产阶级家庭。法国大革命爆发后,他恰好从法国
  • 华盛顿月刊《华盛顿月刊》(Washington Monthly)是一份总部位于美国华盛顿特区的双月刊非营利杂志,主要刊登关于美国政治和美国政府的文章。该杂志由查尔斯·彼得斯成立于1969年,起先是月刊
  • 乌兹别克斯坦语言大部分乌兹别克斯坦的语言都属于突厥语系。其中,乌兹别克语是乌兹别克斯坦的第一官方语言,而俄语是当地不同民族间交流使用的语言,通常被视为第二官方语言。在突厥语系中,乌兹别