梯度下降里的步长，应该有多大？

顺着负梯度前进

梯度指向函数局部增长最快的方向。因此，一个自然的优化策略是沿负梯度更新：

参数 $\alpha$ 是步长，它决定每一步走多远。

从最简单的二次函数看起

对于 $f(x)=\frac{1}{2}x^2$，迭代变成 $x_{k+1}=(1-\alpha)x_k$。因此，固定步长满足 $0<\alpha<2$ 时，这个例子会收敛到零。

• 步长较小：变化平稳，但可能需要更多迭代。
• 步长在 1 与 2 之间：会交替跨过最优点，同时逐渐靠近它。
• 步长等于或大于 2：一般不再收敛，除非初值已经是最优点。

更一般的情形

对于光滑凸函数，如果梯度具有 Lipschitz 常数 $L$，选择与 $1/L$ 同量级的步长是常见策略。具体保证取决于函数条件与算法设定。

实际问题中，可以用回溯线搜索调整步长，再结合梯度范数和目标值变化判断停止时机。