最优化

最优化，是应用数学的一个分支。主要研究在特定情况下最大化或最小化某一特定函数或变量。主要研究以下形式的问题：这类定式有时还称为“数学规划”（譬如，线性规划）。许多现实和理论问题都可以建模成这样的一般性框架。典型的， A {displaystyle A} 一般为欧几里得空间 R n {displaystyle mathbb {R} ^{n}} 中的子集，通常由一个 A {displaystyle A} 必须满足的约束等式或者不等式来规定。 A {displaystyle A} 的元素被称为是可行解。函数 f {displaystyle f} 被称为目标函数，或者代价函数。一个最小化（或者最大化）目标函数的可行解被称为最优解。一般情况下，会存在若干个局部的极小值或者极大值。局部极小值 x ∗ {displaystyle x^{*}} 定义为对于一些 δ > 0 {displaystyle delta >0} ，以及所有的 x {displaystyle x} 满足公式成立。这就是说，在 x ∗ {displaystyle mathbf {x} ^{*}} 周围的一些闭球上，所有的函数值都大于或者等于在该点的函数值。一般的，求局部极小值是容易的，但是要确保其为全局性的最小值，则需要一些附加性的条件，例如，该函数必须是凸函数。最优化问题通常有一些较特别的符号标示方法。例如：这是要求表达式 x 2 + 1 {displaystyle x^{2}+1} 的最小值，这里x取值为全体实数， R {displaystyle mathbb {R} } 。这个问题的最小值应该是 1 {displaystyle 1} ，当 x = 0 {displaystyle x=0} 。这是要求表达式 2 x {displaystyle 2x} 的最大值，同样地， x {displaystyle x} 在全体实数上取值。对于这个问题，由于该表达式不是有上界的，因此不存在最大值，因此，答案应该是无限大，或者是不可定义的。这是求使表达式x2+1 达到最小值时x的值。在这里x被限定在区间[-∞ ,-1]之间，所以上式的值是-1。对于无约束的优化问题， 如果函数是二次可微的话，可以通过找到目标函数梯度为0（也就是拐点）的那些点来解决此优化问题。我们需要用黑塞矩阵来确定此点的类型。如果黑塞矩阵是正定的话，该点是一个局部最小解， 如果是负定的话，该点是一个局部最大解，如果黑塞矩阵是不定的话，该点是某种鞍点。要找到那些拐点，我们可以通过猜测一个初始点，然后用比如以下的迭代的方法来找到。如果目标函数在我们所关心的区域中是凸函数的话，那么任何局部最小解也是全局最优解。现在已经有稳定，快速的数值计算方法来求二次可微地凸函数的最小值。有约束条件的约束问题常常可以通过拉格朗日乘数转化为非约束问题。其他一些流行的方法有：现代的计算机科学技术和人工智能科学把最优化作为一个重要的领域来研究。我们也可以认为人工智能的一些算法，就是模拟了人类寻求实际问题最优解的过程。例如，利用人工智能方法设计软件，配合外部的电子设备例如摄像头识别人脸；利用数据挖掘和神经网络算法来寻找投资的最佳时机等。