概率模型

✍ dations ◷ 2025-06-07 22:31:59 #机器学习

几率模型(Statistical Model,也称为Probabilistic Model)是用来描述不同随机变量之间关系的数学模型,通常情况下刻画了一个或多个随机变量之间的相互非确定性的几率关系。从数学上讲,该模型通常被表达为 ( Y , P ) {\displaystyle (Y,P)} ,其中 Y {\displaystyle Y} 是观测集合用来描述可能的观测结果, P {\displaystyle P} Y {\displaystyle Y} 对应的几率分布函数集合。若使用几率模型,一般而言需假设存在一个确定的分布 P {\displaystyle P} 生成观测数据 Y {\displaystyle Y} 。因此通常使用统计推断的办法确定集合 P {\displaystyle P} 中谁是数据产生的原因。

大多数统计检验都可以被理解为一种几率模型。例如,一个比较两组数据均值的学生t检验可以被认为是对该几率模型参数是否为0的检测。此外,检验与模型的另一个共同点则是两者都需要提出假设并且误差在模型中常被假设为正态分布。

概率模型 P {\displaystyle {\mathcal {P}}} 是一个概率分布函数或密度函数的集合。可分为参数模型,无参数和半参数模型。

参数模型是一组由有限维参数构成的分布集合 P = { P θ : θ Θ } {\displaystyle {\mathcal {P}}=\{\mathbb {P} _{\theta }:\theta \in \Theta \}} 。其中 θ {\displaystyle \theta } 是参数,而 Θ R d {\displaystyle \Theta \subseteq \mathbb {R} ^{d}} 是其可行欧几里得子空间。概率模型可被用来描述一组可产生已知采样数据的分布集合。例如,假设数据产生于唯一参数的高斯分布,则我们可假设该概率模型为 P = { P ( x ; μ , σ ) = 1 2 π σ exp { 1 2 σ 2 ( x μ ) 2 } : μ R , σ > 0 } {\displaystyle {\mathcal {P}}=\{\mathbb {P} (x;\mu ,\sigma )={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left\{-{\frac {1}{2\sigma ^{2}}}(x-\mu )^{2}\right\}:\mu \in \mathbb {R} ,\sigma >0\}}

无参数模型则是一组由无限维参数构成的概率分布函数集合,可被表示为 P = { all distributions } {\displaystyle {\mathcal {P}}=\{{\text{all distributions}}\}}

相比于无参数模型和参数模型,半参数模型也由无限维参数构成,但其在分布函数空间内并不紧密。例如,一组混叠的高斯模型。确切的说,如果 d {\displaystyle d} 是参数的维度, n {\displaystyle n} 是数据点的大小,如果随着 d {\displaystyle d\rightarrow \infty } n {\displaystyle n\rightarrow \infty } d / n 0 {\displaystyle d/n\rightarrow 0} ,则我们称之为半参数模型。

相关

  • 压力是一个心理学与生物学的术语,意指人类或动物面对情绪上或身体上的有形或无形威胁时,无法正常回应的感受状态。该名词首次出现于1930年代的生物学研究领域里,近年来已逐渐为
  • 定律定律,或称科学定律(英语:Scientific law或Laws of science)、科学法则,为研究宇宙间不变的事实规律所归纳出的结论,不同于理论、假设、定义、定理,是对客观事实的一种表达形式,通过
  • 稳定岛稳定岛理论是核子物理中的一个理论推测,核物理学家推测原子核的质子数和中子数为“幻数”的超重元素会特别稳定。假如这个猜测正确的话,那么某些特定的超重元素的同位素将比其
  • 菲亚特菲亚特(Fiat)可以意指下列事物:
  • Federal Research Division联邦研究部(英语:Federal Research Division)是美国国会图书馆辖下的研究机构。联邦研究部的主要工作为分析国内外事务,服务对象包括美国政府、哥伦比亚特区和一些委托的承包商
  • 世界关务组织世界海关组织(World Customs Organization,缩写:WCO),是一个帮助各成员国在海关事务方面进行沟通和协作的政府间组织。该组织成立于1952年,当时称海关合作理事会(Customs Cooperati
  • 长跑长跑(英语:long-distance running),即长距离跑步,路程通常在5000米以上。 最初项目为4英里(6,400米)跑、6英里(9,700米)跑,从19世纪中叶开始,逐渐被5000米跑和10000米跑替代。田径比赛
  • 金融学院南开大学金融学院,成立于2015年6月15日,其历史可以追溯至1923年成立的南开大学经济学科。1958年,南开大学经济管理类学科被抽调组建河北财经学院(今天津财经大学)。改革开放后,南
  • 穆希丁17,599(1995) 12,850(1999) 18,747(2004) 12,581(2008) 12,842(2013)丹斯里穆希丁·穆罕默德亚辛(马来语:Tan Sri Dato' Haji Muhyidin bin Haji Mohammad Yassin,1947年5月15日-),马来西亚
  • 半导体器件制造半导体工艺是被用于制造芯片,一种日常使用的电气和电子器件中集成电路的处理工艺。它是一系列照相和化学处理步骤,在其中电子电路逐渐形成在使用纯半导体材料制作的芯片上。硅