DL Fundamentals Wiki

基于 Simon J.D. Prince 的 《Understanding Deep Learning》（MIT Press）正文整理。 把全书 21 章的正文主线提炼成通俗易懂的中文笔记——讲清直觉、保留核心公式、附中英术语对照。 原书（含配图、习题、Python notebooks）：http://udlbook.com

本 wiki 不建议逐字背诵。更有效的用法：

1. 先用每章的 「本章一句话」+「本章速览」 建立主干。
2. 再逐节理解直觉与核心公式。
3. 最后结合代码/项目，把概念变成自己的工具。

目录

第一部分：有监督学习基础（第 2–9 章）

第二部分：常见架构（第 10–13 章）

第三部分：无监督与生成模型（第 14–18 章）

第四部分：强化学习与前沿思考（第 19–21 章）

推荐阅读顺序

第一轮：建立主干

引言 → 有监督学习 → 浅层网络 → 深层网络 → 损失函数 → 模型拟合 → 反向传播 → 性能度量 → 正则化

目标：能用一句话说清每个概念「是什么、为什么、核心权衡」。

第二轮：架构与应用

卷积网络 → 残差网络 → Transformer → 图神经网络

这些架构横跨有监督、无监督、强化学习，是现代深度学习的骨架。

第三轮：生成模型与强化学习

无监督总纲 → GAN → 归一化流 → VAE → 扩散模型 → 强化学习

四类生成模型可对照阅读：它们在「采样效率 / 生成质量 / 似然可算性 / 训练稳定性」上各有取舍。

第四轮：再思考

深度学习为什么有效 → 伦理

全书四大主线（一句话版）

1. 模型：深度网络是一族由参数决定的函数；ReLU 让它成为分段线性函数，深度让表达能力指数级增长。
2. 训练目标：几乎所有损失都来自最大似然——让模型输出的概率分布最好地解释数据。
3. 如何训练：用反向传播算梯度，用 SGD/Adam 优化，用正则化改善泛化。
4. 如何评估与理解：用训练/验证/测试集衡量；过参数化、双下降、彩票假说等现象至今仍是开放问题。

整理说明：本 wiki 由原书英文正文逐章提炼而成，聚焦「正文主线」，略去了原书的 Notes（历史与文献）与 Problems（习题）。如需深入与练习，请回到原书。