齐夫定律

✍ dations ◷ 2025-11-25 23:11:56 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • 扁桃体炎扁桃体炎(Tonsillitis),或称扁桃腺炎,通常会快速发病。扁桃体炎属于咽炎的一种。其症状包括咽喉痛、发烧、扁桃腺肿大、吞咽困难、颈部的淋巴结肿大(英语:Lymphadenopathy)。并发症
  • 伊万·彼得罗维奇·巴甫洛夫伊万·彼得罗维奇·巴甫洛夫(俄语:Иван Петрович Павлов,1849年9月26日-1936年2月27日),俄罗斯生理学家、心理学家、医师。他因对狗研究而首先对古典制约作出描
  • 松木松属(学名:Pinus)为松柏目松科的一属,是常绿乔木。但有些种却是灌木。松树的木质轻,木纹独特,经常用于家具制作。松树嫩枝上长有针叶。而每条嫩枝上的针叶数(两,三,四或五)是判断该树
  • 搜寻来自近地外智慧生命群落的无线电波计划搜寻来自近地外智慧生命群落的无线电波计划(Search for Extraterrestrial Radio Emissions from Nearby Developed Intelligent Populations,缩写SERENDIP) 是一个搜索地外生命
  • 元妃佟佳氏清太祖元妃(1560年-1592年),佟佳氏,名哈哈纳扎青。满洲正红旗人。清太祖努尔哈赤的元配,《满洲实录》称“neneme gaiha fujin”,意为“先娶之福晋”。其它文献称称她为“元妃”。塔
  • 氟化亚铜氟化亚铜是一种无机化合物,其化学式为CuF。它的存在性仍是不确定的。1933年时由报道称它的晶体结构为立方晶系闪锌矿型。现代的教科书大多认为氟化亚铜未曾被发现,因为氟的电
  • 阿部正福阿部正福(あべ まさよし、元禄13年6月6日(1700年7月21日) - 明和6年10月10日(1769年11月7日)),备后福山藩第2代藩主。阿部家宗家6代。福山藩初代藩主阿部正邦四男,母亲为中村氏。正
  • 黄金面罩黄金面罩出土于1987年。其实只是表面贴上金箔的青铜物件。由于金元素的稳定性,出土时依然金光灿灿。
  • 超致密恒星系统超致密恒星系统(英语:Hypercompact stellar system,HCSS)是一个被从星系中心弹出后,围绕特大质量黑洞(SMBHs)的恒星团。较靠近黑洞的恒星在被从星系中弹出后,会被黑洞吸引而形成超致
  • 视向速度视向速度是物体朝向视线方向的速度。一个物体的光线在视向速度上会受多普勒效应的支配,退行的物体光波长将增加(红移),而接近的物体光波长将减少(蓝移)。恒星的视向速度,能够经由高