马尔可夫链

✍ dations ◷ 2025-04-04 11:18:47 #马尔可夫链

马尔可夫链(英语:Markov chain),又称离散时间马尔可夫链(discrete-time Markov chain,缩写为DTMC),因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质:下一状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。

在马尔可夫链的每一步,系统根据概率分布,可以从一个状态变到另一个状态,也可以保持当前状态。状态的改变叫做转移,与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点,每一步可以移动到任何一个相邻的点,在这里移动到每一个点的概率都是相同的(无论之前漫步路径是如何的)。

马尔可夫链是离散状态、离散时间的马尔可夫过程。

马尔可夫链是满足马尔可夫性质的随机变量序列1, 2, 3, ...,即给出当前状态,将来状态和过去状态是相互独立的。从形式上看,

的可能值构成的可数集叫做该链的“状态空间”。

通常用一系列有向图来描述马尔可夫链,其中图的边用从时刻的状态到时刻的状态的概率 Pr ( X n + 1 = x X n = x n ) {displaystyle Pr(X_{n+1}=xmid X_{n}=x_{n})} 到时刻的转移矩阵表示同样的信息。但是,马氏链常常被假定为时齐的(见下文的变种),在这种情况下,图和矩阵与无关,因此也不表现为序列。

这些描述强调了马尔可夫链与初始分布 Pr ( X 1 = x 1 ) {displaystyle Pr(X_{1}=x_{1})} 到的概率非零,但到位于图的不同连通分量,那么 Pr ( X n + 1 = b | X n = a ) {displaystyle Pr(X_{n+1}=b|X_{n}=a)} 步从状态到状态的概率为

而单步转移是

对于一个时齐马尔可夫链来说:

步转移概率满足查普曼-科尔莫戈罗夫等式,对任意使得0 <  < ,

其中为此马尔可夫链的状态空间。

边缘分布Pr( = )为第次状态的分布。初始分布为Pr(0 = )。用一步转移把过程演变描述为

注意:上标()是索引而非指数。

马尔可夫链是由一个条件分布来表示的

这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三,以及更多步的转移概率可以导自一步转移概率和马尔可夫性质:

同样,

这些式子可以通过乘以转移概率并求 k 1 {displaystyle k-1} 求和:

所以,对于可反转马尔可夫链,总是一个平稳分布。

伯努利方案是马尔可夫链的一种特殊情形,其转移概率矩阵有相同的行,即下一状态均匀独立于当前状态(除了独立于过往状态以外)。 仅有两个可能状态的伯努利方案是伯努利过程。

对于一般状态空间上的马尔可夫链的概述,详见文章状态空间可测的马尔可夫链。

马尔可夫系统广泛出现在热力学和统计力学中,

隐马尔科夫模型是大多数现代自动语音识别系统的基础。

谷歌所使用的网页排序算法(PageRank)就是由马尔可夫链定义的。如果 N {displaystyle N} 是已知的网页数量,一个页面 i {displaystyle i} k i {displaystyle k_{i}} 个链接到这个页面,那么它到链接页面的转换概率为 α k i + 1 α N {displaystyle {frac {alpha }{k_{i}}}+{frac {1-alpha }{N}}} ,到未链接页面的概率为 1 α N {displaystyle {frac {1-alpha }{N}}} , 参数 α {displaystyle alpha } 的取值大约为0.85。

马尔可夫模型也被应用于分析用户浏览网页的行为。一阶或者二阶的马尔可夫模型可以用于对一个用户从某一网络链接转移到另一链接的行为进行建模,然后这些模型可以用于对用户之后的浏览行为进行预测。

马尔科夫链可以应用于金融与经济中一系列现象的建模,包括资产价值与市场冲击。1974年Prasad等人第一次应用马尔科夫链于金融模型,另一个是James D. Hamilton 1989年应用的机制转换模型,其中马尔科夫链用来对高GDP增长速度时期与低GDP增长速度时期(换言之,经济扩张与紧缩)的转换进行建模。

马尔可夫链也有众多的生物学应用,特别是增殖过程,可以帮助模拟生物增殖过程的建模。隐蔽马尔可夫模型还被用于生物信息学,用以编码区域或基因预测(见哈代-温伯格定律。)

马尔可夫过程,能为给定样品文本,生成粗略,但看似真实的文本:他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。

用于计算马尔可夫信源的极限熵

马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由俄国数学家柯尔莫果洛夫(俄语:Андре́й Никола́евич Колмого́ров)在1936年给出的。马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的,但马尔可夫寻求的似乎不仅于数学动机,名义上是对于纵属事件大数法则的扩张。

相关

  • 非编码非编码核糖核酸(英语:non-coding RNA),缩写ncRNA,是指各种不翻译成蛋白质的RNA分子。过去也称此类RNA为小核糖核酸(sRNA)。不过有些ncRNA分子其实相当大。其他较少使用的同义词还有
  • 世袭贵族世袭贵族(英语:Hereditary peer),英国的一种贵族爵位。全国大约有八百个持有世袭头衔的贵族。大部分世袭贵族以前在上议院拥有席位。国会通过1999年上议院法令(House of Lords Ac
  • 汤姆孙散射物理学中,汤姆孙散射是指电磁辐射和一个自由带电粒子产生的弹性散射。入射电磁波的电场使粒子加速,从而激发粒子产生和入射波频率相同的辐射(散射波)。汤姆孙散射是康普顿散射在
  • 海法区海法区(希伯来语:מחוז חיפה‎)是以色列六个行政区(不计约旦河西岸)之一,面积864平方公里,首府海法。2011年人口926,700,其中233,000(25.1%)是阿拉伯人,642,700(69.4%)是犹太人,其
  • 口袋否决口袋否决(英语:Pocket veto)是指总统或其他行政长官不主动行使否决权,以置之不理的方式否决法案。口袋否决特指一种美国宪政运作现象。美国国会通过之法案需总统签署公布才具法
  • 树蛙属 Peters, 1867 Palacky, 1898 () Schlegel, 1826 ()树蛙(学名:Rhacophorus)是无尾目树蛙科下的一个属,全世界大约有80种,大多皮色美丽,并能随环境不同而变色。主要分布在东亚包
  • 620新闻直播间《620新闻直播间》(后称新闻直播间)是由广东南方电视台制作的一个已停播的普通话新闻节目,于南方电视台经济科教频道(TVS-1)播映。该节目前身为2001年开播的《南方报道》普语版,是
  • 非洲、加勒比和太平洋国家集团非洲、加勒比和太平洋国家集团(英语:African, Caribbean and Pacific Group of States,缩写ACP),简称“非加太”,是一个国家集团(截至2008年有79个成员:48个非洲成员,16个加勒比成员,
  • 沃托环礁沃托环礁是太平洋由13个岛屿组成的环礁,属于拉利克礁链的一部分,是马绍尔群岛24个立法选区(legislative district)之一,总土地面积4.33平方公里,中央的潟湖面积94.92平方公里,1998
  • Taboo (歌手)海梅·路易斯·戈麦斯(英语:Jaime Luis Gómez,1975年7月14日-)艺名为Taboo,是一位美国歌手,演员和饶舌歌手,流行音乐团体黑眼豆豆的成员。Taboo出生于美国加利福尼亚州洛杉矶博伊尔高地。父亲是墨西哥裔美国人,母亲是墨西哥裔美国人和肖松尼本土美国人。2008年7月12日,他的33岁生日的前两天,Taboo和Jaymie Dizon在加利福尼亚州帕萨迪纳结婚。will.i.am和apl.de.ap担任伴郎。这对夫妻的第一个孩子Jimmy Jalen Gomez出生于2009年7月1