齐夫定律

✍ dations ◷ 2025-12-10 09:09:09 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • 语言灭亡语言灭亡(英语:language death、language extinction、linguistic extinction、linguicide、glottophagy)是一个影响语言社群的过程。这现象显示某项语言变体的讲者族群,相关之
  • 奥柏丹尼尔·弗朗索瓦·埃斯普雷特·奥柏(法语:Daniel François Esprit Auber,1782年1月29日-1871年5月13日),法国作曲家,他早年在伦敦商界当小职员,1804年回国,致力于音乐创作,曾任巴黎
  • 白芷白芷(学名:Angelica dahurica),又名虈(汉语拼音:xiāo)、
  • 国家广场坐标:38°53′24″N 77°01′25″W / 38.89000°N 77.02361°W / 38.89000; -77.02361国家广场(英语:National Mall)是位于美国首都华盛顿特区的一处开放型国家公园。该广场由数
  • Dromiacea绵蟹派(Dromiacea)是短尾下目下的一个节,包含240种现存的和约300已灭绝的蟹。绵蟹派和绵蟹亚派、圆关公蟹派被认为来自同一个单系群,但是形态学研究得出了相反的结论。绵蟹派的
  • 中州名贤文表《中州名贤文表》,明代刘昌编,三十卷。《中州名贤文表》辑载元代河南人物遗文,有许衡六卷、姚遂八卷、马祖常五卷、许有壬三卷、王恽六卷、孛术鲁翀二卷。意在表彰诸贤,又有考证
  • 陈弘绪陈弘绪(1597年-1665年),字士业,号石庄,明末清初文学家、史学家、藏书家,南昌新建人。陈道亨之子,出身于官宦家庭,自幼受到良好的家庭教育,曾随其父至各地收集典籍。后承父荫为诸生,出任
  • 博伊德尔莎士比亚画廊博伊德尔莎士比亚画廊首出现伦敦,为1786年11月起专门展示以莎士比亚作品为画作题材的出版品。因为有其特殊性,从刚出版以来就相当受到关注,并在1790年代掀起一片同业改革。之所
  • Ally金融公司Ally金融公司(Ally Financial Inc.),前身为通用汽车金融服务公司(General Motors Acceptance Corporation,简写GMAC),当时为通用汽车的财务部门。目前总部位于美国密歇根州底特律,在
  • 妃十三学园 Alternative Girls《妃十三学园 Alternative Girls》(日语:オルタナティブガールズ)是CyberAgent, Inc.(日语:サイバーエージェント)开发的手机游戏,2016年7月20正式在Android与iOS平台上市,在2018年