一、什么是"学习"

"学习"本质上是一种从经验中改进未来决策的过程。
Mitchell（1997）在经典教材 Machine Learning 中下了一个非常简洁的定义：

若某个程序在任务 T 上，通过经验 E，使得其在性能度量 P
上的表现提高，则称该程序从经验 E 中学习。

换成人话就是：
程序从数据（经验）里提炼规律，以便下一次遇到类似情况时做得更好。

---

二、学习算法的本质