矩阵微积分

在数学中, 矩阵微积分是多元微积分的一种特殊表达，尤其是在矩阵空间上进行讨论的时候。它把单个函数对多个变量或者多元函数对单个变量的偏导数写成向量和矩阵的形式，使其可以被当成一个整体被处理。这使得要在多元函数寻找最大或最小值，又或是要为微分方程系统寻解的过程大幅简化。这里我们主要使用统计学和工程学中的惯用记法，而张量下标记法更常用于物理学中。

在本小节中，我们在表示向量和矩阵时，通过用单个变量来表示许多变量的方式，把矩阵记法的效用发挥到最大。接下来我们用不同字体来区分标量、向量和矩阵。我们使用(,)来表示包含行列的实矩阵的空间。该空间中的一般矩阵用粗体大写字母表示，例如A，X，Y等。而若该矩阵属于(,1)，即列向量，则用粗体小写字母表示，如a，x，y等。特别地，(1,1)中的元素为标量，用小写斜体字母表示，如，，等。XT 表示矩阵转置，tr(X)表示矩阵的迹，而 det(X)或|X|表示行列式。除非专门注明，所有函数都默认属于光滑函数1。 通常字母表前半部分的字母(a, b, c, …)用于表示常量，而后半部分的字母(t, x, y, …)用于表示变量。

由于向量可看成仅有一列的矩阵，最简单的矩阵求导为向量求导。

这里的标记方法可以通过如下方式表达大部分向量微积分：把维向量构成的空间(,1)等同为欧氏空间 R， 标量(1,1)等同于R。对应的向量微积分的概念在每小节末尾列出。

向量的导数可以（用分子记法）写成

在向量微积分中，向量y关于标量的导数也被称为向量y的切向量，${\displaystyle \frac{\mathrm{\partial <!--\; \partial \; -->}\mathbf{y}}{\mathrm{\partial <!--\; \partial \; -->}x}}$。

例子 简单的样例包括欧式空间中的速度向量，它是位移向量（看作关于时间的函数）的切向量。更进一步而言， 加速度是速度的切向量。

标量对向量在的空间R(其独立坐标是x的分量)中的梯度是标量对向量x的导数的转置。在物理学中，电场是电势的负梯度向量。

标量函数(x)对空间向量x在单位向量u（在这里表示为列向量）方向上的方向导数可以用梯度定义：

使用刚才定义的标量对向量的导数的记法，我们可以把方向导数写作${\displaystyle {\mathrm{\nabla <!--\; \nabla \; -->}}_{\mathbf{u}}f={\left(\frac{\mathrm{\partial <!--\; \partial \; -->}f}{\mathrm{\partial <!--\; \partial \; -->}\mathbf{x}}\right)}^{\mathrm{\top <!--\; \top \; -->}}\mathbf{u}.}$空间中向量v的前推为${\displaystyle d\mathbf{f}(\mathbf{v})=\frac{\mathrm{\partial <!--\; \partial \; -->}\mathbf{f}}{\mathrm{\partial <!--\; \partial \; -->}\mathbf{v}}d\mathbf{v}.}$的导数被称为切矩阵，(用分子记法)可写成：

定义在元素是独立变量的×矩阵X上的标量函数对X的导数可以(用分子记法)写作

定义矩阵上的重要的标量函数包括矩阵的迹和行列式。

类比于向量微积分，这个导数常被写成如下形式：

类似地，标量函数(X)关于矩阵X在方向Y的方向导数可写成

梯度矩阵经常被应用在估计理论的最小化问题中，比如卡尔曼滤波算法的推导，因此在这些领域中有着重要的地位。