K-L 转换

✍ dations ◷ 2025-07-27 18:12:59 #估计理论,概率论,信号处理,随机过程

K-L转换(Karhunen-Loève Transform)是建立在统计特性基础上的一种转换,它是均方差(MSE, Mean Square Error)意义下的最佳转换,因此在资料压缩技术中占有重要的地位。

K-L转换名称来自Kari Karhunen和Michel Loève。

K-L转换是对输入的向量x,做一个正交变换,使得输出的向量得以去除数据的相关性。

然而,K-L转换虽然具有均方差(MSE)意义下的最佳转换,但必须事先知道输入的讯号,并且需经过一些繁杂的数学运算,例如协方差(covariance)以及特征向量(eigenvector)的计算。因此在工程实践上K-L转换并没有被广泛的应用,不过K-L转换是理论上最佳的方法,所以在寻找一些不是最佳、但比较好实现的一些转换方法时,K-L转换能够提供这些转换性能的评价标准。

以处理图片为范例,在K-L转换途中,图片的能量会变得集中,有助于压缩图片,但是实际上,KL转算为input-dependent,即需要对每张输入图片存下一个转换机制,每张图都不一样,这在实务应用上是不实际的。

KL转换属于正交转换,其处输入讯号的原理如下:

对输入向量 x {\displaystyle \mathbf {x} } 做KL传换后,输出向量 X {\displaystyle \mathbf {X} } 之元素间( u 1 u 2 {\displaystyle u_{1}\neq u_{2}} , u 1 {\displaystyle u_{1}} u 2 {\displaystyle u_{2}} X {\displaystyle \mathbf {X} } 之元素的index)的相关性为零,即: E X ¯ ) ( X X ¯ ) ] = 0 {\displaystyle E-{\bar {X}})(X-{\bar {X}})]=0}

展开上式并做消去:

E X ] X ¯ X ¯ = 0 {\displaystyle EX]-{\bar {X}}{\bar {X}}=0}

如果 x ¯ = 0 {\displaystyle {\bar {x}}=0} ,因为KL转换式线性转换的关系, X ¯ = 0 {\displaystyle {\bar {X}}=0} ,则可以达成以下式,所以这里得输入向量 x {\displaystyle \mathbf {x} } 之平均值 x ¯ {\displaystyle {\bar {x}}} 需为 0 {\displaystyle 0} ,所以KLT是专门用于随机程序的分析:

E X ] = 0 {\displaystyle EX]=0}

其中 u 1 u 2 {\displaystyle u_{1}\neq u_{2}} ,即输出向量不同元素相关性为 0 {\displaystyle 0}

回到矩阵表示形式,令 K {\displaystyle \mathbf {K} } 为KL转换矩阵,使:

X = K x {\displaystyle \mathbf {X} =\mathbf {Kx} }

K {\displaystyle \mathbf {K} } x {\displaystyle \mathbf {x} } 表示 X {\displaystyle \mathbf {X} } 之covariance矩阵:

E = E = K E K T {\displaystyle E=E=\mathbf {K} E\mathbf {K} ^{T}}

因为 x ¯ = 0 {\displaystyle {\bar {x}}=0} E {\displaystyle E} 直接等于covariance矩阵:

E = K C K T {\displaystyle E=\mathbf {K} \mathbf {C} \mathbf {K} ^{T}}

其中 C {\displaystyle \mathbf {C} } x {\displaystyle \mathbf {x} } 之covariance矩阵。

如果要使 E X ] = 0 {\displaystyle EX]=0} ,则 E {\displaystyle E} 必须为对角线矩阵,即对角线上之值皆为 0 {\displaystyle 0} ,所以 K {\displaystyle \mathbf {K} } 必须将传换成对角线矩阵,即 K {\displaystyle \mathbf {K} } 的每一行皆为 C {\displaystyle \mathbf {C} } 之特征向量。

K-L转换的目的是将原始数据做转换,使得转换后资料的相关性最小。若输入数据为一维:

y = n = 0 N 1 K x {\displaystyle y=\sum _{n=0}^{N-1}Kx}

K = e n {\displaystyle K=e_{n}}

其中en为输入讯号x共变异数矩阵(covariance matrix)Cx的特征向量(eigenvector)

若输入讯号x为二维:

y = m = 0 M 1 n = 0 N 1 K K x {\displaystyle y=\sum _{m=0}^{M-1}\sum _{n=0}^{N-1}KKx}

KLT和Principle component analysis (PCA)有相似的特性,二者之间有很细微的差异,其中KLT专门处理随机性的讯号,但PCA则没有这个限制。对PCA而言,这里假设输入讯号为ㄧ向量,输入向量 x {\displaystyle \mathbf {x} } 在乘上转换矩阵 W {\displaystyle \mathbf {W} } 之前,会先将输入向量扣去平均值,即:

X = W ( x x ¯ ) {\displaystyle \mathbf {X} =\mathbf {W} (\mathbf {x} -{\bar {x}})}

PCA会根据 x {\displaystyle \mathbf {x} } 之covariance矩阵来选择特征向量做为转换矩阵之内容:

E = W Λ W T {\displaystyle E=\mathbf {W\Lambda W} ^{T}}

其中 Λ {\displaystyle \mathbf {\Lambda } } 为对角线矩阵且对角线值为特征值。

由上述可见PCA和KLT之差异在于有没有减去平均值,这是由于输入资料分布的限制造成的,当输入向量支平均值为零时,二这者没有差异。

在影像的压缩上,目的是要将原始的影像档用较少的资料量来表示,由于大部分的影像并不是随机的分布,相邻的像素(Pixal)间存在一些相关性,如果我们能找到一种可逆转换(reversible transformation),它可以去除数据的相关性,如此一来就能更有效地储存资料,由于K-L转换是一种线性转换,并有去除资料相关性的特性,便可以将它应用在影像的压缩上。此外,由于K-L转换具有将讯号转到特征空间(eigenspace)的特性,因此也可以应用在人脸辨识上。

1. Ding, J. J. (2017). Advanced Digital Signal Processing http://djj.ee.ntu.edu.tw/ADSP8.pdf

2. Gerbrands, J.J., On the relationships between SVD, KLT, and PCA, Pattern Recogn., 14 (1981), pp. 375-381

相关

  • 伍荣生伍荣生(1934年1月17日-),浙江瑞安人,中国气象学家。生于浙江瑞安。早年就读于云峰中心小学,1952年从瑞安中学考入南京大学。1956年南京大学气象系毕业,毕业后留校任教。曾任南京大
  • 4-氨基水杨酸4-氨基水杨酸(英语:4-Aminosalicylic acid,又名对氨基水杨酸、氨基水杨酸或PAS)是一种用于治疗结核病的抗菌药。 它也被用于治疗炎症性肠病。 它通过抑制NF-κB及清除自由基而发
  • 乞沙比克湾切萨皮克湾(英语:Chesapeake Bay),是美国面积最大的河口湾,位于美国大西洋海岸中部,为马里兰州和弗吉尼亚州三面环绕,仅南部与大西洋连通。其名来自阿尔冈金印第安语,意为“大贝壳湾
  • 台湾日治时期鸦片政策台湾日治时期鸦片政策是台湾日治时期为有效管理吸鸦片人口所采行的政策。首任台湾总督桦山资纪、后藤新平等人认为,渐进式禁绝鸦片的可行性比直接禁绝高许多。在日治初期,鸦片
  • 温菲尔德·斯科特·汉考克美墨战争南北战争温菲尔德·斯科特·汉考克(英语:Winfield Scott Hancock,1824年2月14日-1886年2月9日),美国陆军职业军官,1880年美国总统大选的民主党总统候选人。他在陆军服役长
  • 奥格尼扬·科罗曼奥格尼扬·科罗曼(塞尔维亚语:Огњен Короман,1978年9月19日-),出生在帕莱,是一名塞尔维亚足球运动员,现效力贝尔格莱德红星,司职中场。科罗曼能够出任左右两翼,他的足球生
  • 北城区街道 (定州市)北城区街道,是中华人民共和国河北省保定市定州市下辖的一个乡镇级行政单位。北城区街道下辖以下地区:文庙街社区、大道观街社区、刀枪街社区、东门街社区、东大街社区、新立街
  • 阿布拉姆·彼得罗维奇·加尼巴尔阿布拉姆·彼得罗维奇·加尼巴尔(俄语:Абра́м Петро́вич Ганниба́л,1696年-1781年5月14日),一位俄罗斯军事工程师, 将军,非洲裔贵族,俄国著名诗人亚历山大
  • 田边修田边修(日语:田辺修,1965年-)是出生于日本冈山县的男性动画师。自冈山大学毕业后,田边修在动画师生涯里最初是进入Oh!Production里工作,之后以自由职业身份持续一段时期、则进入了
  • 光影风暴娱乐光影风暴娱乐(英语:Lightstorm Entertainment)是一家美国制作公司,由电影制片人詹姆斯·卡梅隆和制片人劳伦斯·卡萨诺夫于1990年创立。其作品包括卡梅隆的电影《终结者2:审判日