## 顺着负梯度前进梯度指向函数局部增长最快的方向。因此，一个自然的优化策略是沿负梯度更新： $$ x_{k+1}=x_k-\alpha\nabla f(x_k). $$ 参数 $\alpha$ 是步长，它决定每一步走多远。 ## 从最简单的二次函数看起对于 $f(x)=\frac{1}{2}x^2$，迭代变成 $x_{k+1}=(1-\alpha)x_k$。因此，固定步长满足 $0<\alpha<2$ 时，这个例子会收敛到零。 - 步长较小：变化平稳，但可能需要更多迭代。 - 步长在 1 与 2 之间：会交替跨过最优点，同时逐渐靠近它。 - 步长等于或大于 2：一般不再收敛，除非初值已经是最优点。 ## 更一般的情形对于光滑凸函数，如果梯度具有 Lipschitz 常数 $L$，选择与 $1/L$ 同量级的步长是常见策略。具体保证取决于函数条件与算法设定。实际问题中，可以用回溯线搜索调整步长，再结合梯度范数和目标值变化判断停止时机。