🧠 理解神经网络：从函数逼近到世界模型

深度学习 表示学习

1. Universal Approximation

通用逼近定理（Universal Approximation Theorem）说：一个足够大的神经网络可以逼近任何连续函数。

但这里有个深刻的悖论：表达能力 ≠ 可学习性

神经网络可以表示任何函数，但不意味着我们可以训练它找到这个函数。就像你有一本包含所有答案的书，但不知道如何查找。

2. 层次化表示：理解的本质

深度网络之所以有效，是因为它学会了层次化的表示：

• 第一层：边缘检测（你能看到线条）
• 第二层：形状组合（你能看到轮廓）
• 第三层：部件识别（你能看到眼睛、鼻子）
• 最后一层：概念（你能看到"人脸"）

这像极了人类理解世界的方式：从感知到概念。康德的先验综合感性理论，或许在神经网络的层次结构中找到了数学对应。

3. 深度 = 组合爆炸的力量

这像组织知识：不是把所有东西平铺，而是建立抽象的层级。软件开发中的模块化、面向对象编程，都是同样的智慧。

4. 损失函数：目标的哲学

我们用损失函数定义"什么是好"。但：

• L1 loss：对异常值鲁棒——像追求中位数的人生
• L2 loss：惩罚大错误——像追求均值的人生
• Cross-entropy：追求概率分布的匹配——像追求理解他人

你选择什么样的loss function，就是选择什么样的人生目标。