齐夫定律

✍ dations ◷ 2025-07-04 10:58:08 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • Hsub4/subXeOsub6/sub高氙酸(化学式: H 4 X
  • 禁运禁运在商业和政治中,是指与一个国家停止贸易和商业往来,令该国家被孤立。禁运通常是某一国或某一国际组织对另一国的惩罚,原因包括两方在某些政策上的不同意见,或是违反国际法、
  • 经济部水利署经济部水利署(简称水利署)为中华民国经济部所属之行政机关,主管全国河川、水利、水资源相关业务之推动及其政策、法规之拟订与执行。依照《环境资源部水资源保育署组织法》规划
  • 本溪市 (1949–1954)本溪直辖市,中华人民共和国已撤消的直辖市,范围包括今地级本溪市市区及本溪满族自治县。1949年时,中国大陆共设有12个直辖市,分别为:南京、上海、武汉(今武汉三镇)、鞍山、抚顺、沈
  • 台山台山可以指:
  • 中沙大桥中沙大桥横跨台湾彰化县溪州乡与云林县西螺镇,全长跨越2,345米,桥下跨越的为浊水溪上游三公里处。1978年建成时为台湾第一长桥,至2004年才由福尔摩沙高速公路自龙井交流道南至
  • 自生系统论自生系统论(希腊语:Αυτοποίηση) 这个概念表达了结构与功能的互补性。这个概念最先为智利的生物学家弗朗西斯克·瓦雷拉(Francisco Varela)和洪贝尔托·梅图拉纳(Humbert
  • 克劳迪娜魮克劳迪娜魮(学名:)为辐鳍鱼纲鲤形目鲤科的其中一个种。被IUCN列为濒危保育类动物,分布于非洲Nyabarongo河流域,本鱼身体圆筒形或瘦长,最后的背鳍鳍条单一而且钙化不被有小齿状突刺
  • 松鹤站 (咸镜北道)松鹤站(韩语:송학역)是朝鲜民主主义人民共和国咸镜北道恩德郡松鹤里的一个铁路车站,属于咸北线和春斗线。咸北线春斗线
  • 林兑林兑 (1906年-?),日治时期台中州大甲郡龙井庄人。一名政治立场激进的台湾旅日青年,留日时期积极从事当时具有强烈反殖民色彩的社会主义运动,多次遭日本当局逮捕入狱后一蹶不振,出狱