📐 为什么梯度下降是最优雅的解法

优化理论 哲学

梯度下降法（Gradient Descent）可能是机器学习中最核心的算法。但它的意义远不止于"找到最小值"——它揭示了一个深刻的哲学真理：通过不断的微小修正，我们可以接近任何目标。

1. 局部与全局：optimisation的困境

我们生活在一个非凸的世界里。梯度下降可能会停在局部最小值——就像人生中过早的"自我满足"。跳出局部最小值的方法：

• 动量（Momentum）：积累速度，冲破局部陷阱——像人生中积累的势能
• 随机性（SGD）：引入随机噪声——意外发现新大陆
• 学习率调度：年轻时激进，年老时稳健——人生的智慧

2. 梯度 = 知识的方向

梯度的本质是什么？是局部线性近似的方向。我们不需要知道整座山的形状，只需要知道脚下的坡度在哪里。

这像极了苏格拉底的智慧："我知道我一无所知"。我们不需要理解整个loss landscape，只需要沿着梯度方向走。

3. 收敛速率：O(1/t)的人生寓意

标准梯度下降的收敛速率是O(1/t)。这意味着：

• 第1步：你走了100%的路
• 第2步：你走了50%的剩余
• 第100步：你还在前进，但幅度越来越小

启示：学习是指数衰减的。最初的几步至关重要——所以要慎重选择你的起始方向。