语言模型

✍ dations ◷ 2025-07-26 20:36:05 #计算语言学,马尔可夫模型

统计式的语言模型是一个几率分布,给定一个长度为 m {\displaystyle m} -元 。

典型地,n-元语法模型概率不是直接从频率计数中导出的,因为以这种方式导出的模型在面对任何之前没有明确看到的n-元时会有严重的问题。相反,某种形式的平滑是必要的,将一些总概率质量分配给看不见的单词或n-元。使用了各种方法,从简单的“加一”平滑(将计数1分配给看不见的n-元,作为一个无信息的先验)到更复杂的模型,例如Good-Turing discounting(英语:Good-Turing discounting)或 back-off 模型(英语:back-off model)。

在二元语法模型中 ( = 2) , 这个句子的概率可以被估计为

而在三元语法模型中,这个句子的概率估计为

注意前 n-1 个词的 n-元会用句首符号 <s> 填充。

最大熵(英语:Principle of maximum entropy)语言模型用特征函数编码了词和n-元的关系。

P ( w m | w 1 , , w m 1 ) = 1 Z ( w 1 , , w m 1 ) exp ( a T f ( w 1 , , w m ) ) {\displaystyle P(w_{m}|w_{1},\ldots ,w_{m-1})={\frac {1}{Z(w_{1},\ldots ,w_{m-1})}}\exp(a^{T}f(w_{1},\ldots ,w_{m}))}

其中 Z ( w 1 , , w m 1 ) {\displaystyle Z(w_{1},\ldots ,w_{m-1})} 是分区函数(英语:partition function), a {\displaystyle a} 是参数向量, f ( w 1 , , w m ) {\displaystyle f(w_{1},\ldots ,w_{m})} 是特征函数。

在最简单的情况下,特征函数只是某个n-gram存在的指示器。使用先验的 a 或者使用一些正则化的手段是很有用的。

对数双线性模型是指数型语言模型的另一个例子。

相关

  • 加州理工学院加州理工学院(California Institute of Technology,缩写:Caltech)是一所位于美国加利福尼亚州帕萨迪纳的私立研究型大学,创建于1891年,以自然科学及工程学著称,常被评为世界前十的
  • 安色尔字体安色尔字体(英语:uncial)是一种全大写字母的字体,在公元3到8世纪中被拉丁和希腊的抄写员使用。安色尔字体用来书写希腊语、拉丁语和哥特语。早期的安色尔体字母可能是起源于晚期
  • 颅骨膜骨膜是附着在除长骨关节外所有骨骼外层的薄膜。所有骨骼内侧都有骨内膜(英语:endosteum)。骨膜内含有致密不规则结缔组织(英语:dense irregular connective tissue)。骨膜从外至内
  • D09(Antifungals for dermatological use)(Emollients and protectives)(Preparations for treatment of wounds and ulcers)(Antipruritics, including antihistamines, anesthetics,
  • 封建领主勋爵是一种敬称,主要用于翻译英语中对有爵位的贵族的泛称(英语:Lord),也是对此类男性贵族的称呼,和对某些封爵的儿子,及一些拥有相应身份但没有爵位的人士的尊称。此外也可用来翻译
  • 凤凰市菲尼克斯(英语:Phoenix),又译凤凰城,是美国亚利桑那州的首府和最大城市。凤凰城于1881年2月25日被注册为城市,当时凤凰城在纳瓦霍语中被称为Hoozdo,意为炎热之地;在西阿帕契语中被称
  • 电解水电解水通常是指含盐(如氯化钠)的水经过电解之后所生成的产物。电解过后的水本身是中性,可以加入其他离子,或者可经过半透膜分离而生成两种性质的水。其中一种是碱性离子水,另一种
  • 放射性同位素放射性同位素(英语:radionuclide,radioactive nuclide 或 radioactive isotope),是指原子核不稳定、具有放射性的核素。每种元素的原子都有着很多种同位素,同种元素的同位素的原子
  • 熔岩平原熔岩平原(lava field)是一种平原地貌。火山喷发后,熔岩会向地势较低的区域流动,在凝固后,平整的熔岩表面凝固成固态,就形成了熔岩平原。熔岩平原的一个特征是地表会有许多类似于水
  • 首页首页或主页(英语:home page或homepage)是计算机术语,各网站的主要网页——一般是指访问一个应用程序启动时始终显示在网站或网页浏览器中的一个或多个初始网页等画面存在的站点,