黄金分割搜索

黄金分割搜索是一种通过不断缩小单峰函数的最值的已知范围，从而找到最值的方法。它的名称源于这个算法保持了间距具有黄金分割特性的三个点。这个算法与斐波那契搜索和二分查找关系紧密。黄金分割搜索是由Kiefer提出的，而斐波那契搜索是由Avriel和Wilde所提出。

上图表示了算法中找最小值的一个步骤。${\displaystyle f(x)}$的函数值位于垂直坐标轴上，参数x位于水平坐标轴。已经有三个位于函数${\displaystyle f(x)}$上的点的值被计算出来。: ${\displaystyle x_1}$，${\displaystyle x_2}$，和${\displaystyle x_3}$。可见${\displaystyle f_2}$小于${\displaystyle f_1}$和${\displaystyle f_3}$，所以很明显的，最小值处于${\displaystyle x_1}$和${\displaystyle x_3}$之间。

接下来的步骤是通过计算函数位于另一个点${\displaystyle x4}$的值。在最大的区间选择${\displaystyle x4}$会更有效率，例如：${\displaystyle x_2}$和${\displaystyle x_3}$之间。从图中我们可以看出，如果函数的值落在${\displaystyle f_{4a}}$的话，最小值落于${\displaystyle x_1}$和${\displaystyle x_4}$之间，并且新的一组点将会是${\displaystyle x_1}$和${\displaystyle x_2}$和${\displaystyle x_4}$。然而如果函数的值为${\displaystyle f_{4b}}$的话，新的一组点将会是${\displaystyle x_2}$和${\displaystyle x_4}$和${\displaystyle x_3}$。因此，无论是哪种情况，我们都可以建立一个新的更狭窄的区间，用于搜索函数的最小值。

由图可知，新的区间会介于${\displaystyle x_1}$和${\displaystyle x_4}$，长度为a+c，或者介于${\displaystyle x_2}$和${\displaystyle x_3}$，长度为${\displaystyle b}$。黄金分割搜索要求这些区间是相等的。若不是如此，较宽的区间会被使用很多次，降低了收敛率。为了确保${\displaystyle b}$ = ${\displaystyle a}$ + ${\displaystyle c}$，算法应确保${\displaystyle x_4}$ = ${\displaystyle x_1}$ - ${\displaystyle x_2}$ + ${\displaystyle x_3}$。

然而${\displaystyle x_2}$的确定仍是一个问题。我们避免了${\displaystyle x_2}$非常接近${\displaystyle x_1}$或者${\displaystyle x_3}$的情况，确保了每一次迭代区间宽度会缩小同样的比例。

为了确保计算${\displaystyle f(x_4)}$后的值与之间的成比例，假设${\displaystyle f(x_4)}$的值为${\displaystyle f_{4}a}$，且我们新的一组点为${\displaystyle x_1}$，${\displaystyle x_2}$和${\displaystyle x_4}$，则必须使：

而φ就是黄金比例：

这就是这个算法被成为黄金分割搜索的原因。