齐夫定律

✍ dations ◷ 2025-06-09 16:00:48 #离散分布,计算语言学,幂定律,统计学定律,实证定律,概率分布尾,计量语言学,书目计量学,经验定律

齐夫定律(英语:Zipf's law,IPA/ˈzɪf/)是由哈佛大学的语言学家乔治·金斯利·齐夫(George Kingsley Zipf)于1949年发表的实验定律。它可以表述为:在自然语言的语料库里,一个单词出现的频率与它在频率表里的排名成反比。所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与幂定律概率分布有关的事物的参考。

最简单的齐夫定律的例子是“1/ function”。给出一组齐夫分布的频率,按照从最常见到非常见排列,第二常见的频率是最常见频率的出现次数的½,第三常见的频率是最常见的频率的1/3,第n常见的频率是最常见频率出现次数的1/n。然而,这并不精确,因为所有的项必须出现一个整数次数,一个单词不可能出现2.5次。

在布朗语料库(英语:Brown Corpus)中,“the”、“of”、“and”是出现频率最前的三个单词,其出现的频数分别为69971次、36411次、28852次,大约占整个语料库100万个单词中的7%、3.6%、2.9%,其比例约为6:3:2。大约占整个语料库的7%(100万单词中出现69971次)。满足齐夫定律中的描述。仅仅前135个字汇就占了Brown语料库的一半。

齐夫定律是一个实验定律,而非理论定律,可以在很多非语言学排名中被观察到,例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察,坐标分别为排名和频率的自然对数(log)。比如,“the”用上述表述可以描述为x = log(1), y = log(69971)的点。如果所有的点接近一条直线,那么它就遵循齐夫定律。

主要:

次要:

相关

  • 太阳帆太阳帆(也称为光帆,特别是它使用来自于太阳以外的光源时)是使用巨大的薄膜镜片,以太阳的辐射压做为太空船推进力的一种计划。辐射压非常小,但不同于火箭的是,太阳帆不需要燃料。推
  • 拉尼尔县拉尼尔县(Lanier County, Georgia)是美国乔治亚州南部的一个县。面积518方公里。根据美国2000年人口普查,共有人口7,241人。县治莱克兰 (Lakeland)。成立于1919年8月11日。县名
  • 黄诗厚黄诗厚(英语:Alice S. Huang,1939年3月22日-),美籍华裔病毒学家,中央研究院院士。1939年出生于中华民国大陆时期的江西省南昌市,1949年赴美,在卫斯理学院读了两年,1966年获约翰·霍普
  • PD-1n/an/an/an/an/an/an/an/an/an/a细胞程序死亡-配体1(英语:Programmed cell death 1 ligand 1,PD-L1)也称为表面抗原分化簇274('cluster of differentiation 274,CD274)或 B7同源体1
  • 马翰默德·阿卜杜勒-劳夫马翰默德·阿卜杜勒-劳夫(英语:Mahmoud Abdul-Rauf,1969年3月9日-),原名克里斯·韦恩·杰克逊(Chris Wayne Jackson),美国NBA联盟职业篮球运动员,妥瑞症患者。在LSU大二结束后投入NBA
  • 伊达宗城伊达宗城(1818年9月1日-1892年12月20日),日本江户时代末期大名、明治时代时期政治家。宇和岛藩第八代藩主(1844年-1858年)。官位从四位下、远江守、侍从。明治时代封伯爵。由于为
  • 义兵义兵,是中世纪朝鲜人(主要是农民)自发组成扺抗侵略者的军队。义兵出现在10世纪末期,最有名是万历朝鲜战争与甲午战争后抗日的义兵。在韩国农民通常很少参加战争,然而由于官军力量
  • 普韦布洛号事件普韦布洛号通用环境研究舰(USS Pueblo AGER-2,Pueblo为西班牙语,意为“人民”)是一艘原属美国海军的间谍船,因1968年1月23日在朝鲜东岸、元山港外海的日本海(即朝鲜东海)海域进行谍
  • 二硫化钨二硫化钨是一种无机化合物,化学式为WS2。灰色有金属光泽的细小六方晶系结晶或粉末。在空气中稳定。不溶于水,溶于硝酸和氢氟酸混酸中。溶于熔融碱,不溶于醇。钨酸铵与硫化氢气
  • 杜心五杜心五(1869年-1953年),名慎魁,号儒侠,道号斗米观居士,是中国著名的武术家,被万籁声称为自然门的第二代宗师,也是清末时的革命党员,曾担任宋教仁、孙中山先生等人的保镖。杜心五出生于