第 1 章　引言（Introduction）

返回目录

本章一句话：深度学习是机器学习的一个分支——用“深度神经网络”这种数学模型去拟合数据；机器学习又可分成有监督、无监督、强化学习三大类，本书（以及这份 wiki）就沿着这条主线展开。

读这章的收获：搞清楚 AI / 机器学习 / 深度学习的关系，建立“输入向量 → 模型 → 输出向量”的统一视角，并对全书地图和 AI 伦理有个整体印象。

本章速览

• 概念层级：人工智能（AI）⊃ 机器学习（ML）⊃ 深度学习（DL）。ML 是“用数据拟合数学模型来做决策”，DL 是“用深度神经网络来做 ML”。
• 三大范式：有监督学习（有标注，学输入→输出的映射）、无监督学习（无标注，学数据本身的结构）、强化学习（智能体在环境中靠奖励试错）。
• 统一视角：不管输入是房产数据、文本、音频还是图像，都先编码成数字向量送进模型；模型吐出另一个向量，再翻译回现实含义。可以先把模型当成一个黑箱。
• 训练 = 在一“族”函数里搜索：模型不是一条固定公式，而是一族由参数决定的公式；训练就是用数据找出最能描述数据的那一组参数。
• 伦理不可回避：偏见与公平、可解释性、AI 武器化、权力集中、生存性风险，这五大隐忧贯穿全书。

1.1 有监督学习（Supervised learning）

有监督学习的目标是学一个从输入到输出的映射。要素有四个：输入、输出、模型本身、以及“训练”的含义。

1.1.1 回归 vs. 分类

所有任务的共同套路：现实输入（句子、声音、图片……）先编码成一个数字向量，作为模型输入；模型输出一个向量，再翻译回现实含义。按输出类型分两大类：

关键直觉：分类模型输出的不是“是/否”，而是落在每个类别上的概率。

1.1.2 输入的多样性

不同任务的输入差别极大，这正是深度学习要解决的难点：

• 表格数据（tabular）：定长向量，无内部结构，打乱顺序不影响含义（如房产特征）。
• 文本：变长，且顺序重要——“我老婆吃了鸡”和“鸡吃了我老婆”完全不同。需先用词表（如 10000 词）编码成数字。
• 音频：定长但维度极高。10 秒 44.1 kHz 的音频就有 44.1 万个整数。
• 图像：维度巨大，且有空间结构——上下相邻的像素强相关，哪怕在向量里离得远。
• 分子：原子数量可变、连接方式不同，模型要同时吃进几何结构和原子组成。

1.1.3 机器学习模型到底是什么

打开黑箱：模型本质是一个数学方程。以“用年龄预测身高”为例——方程描述平均身高如何随年龄变化，输入 10 岁就输出约 139 cm。

更准确地说，模型代表的是一族方程（一族不同的曲线）。具体选哪条，由训练数据（输入/输出对）决定。训练 / 拟合的意思就是：在这一族曲线里，搜索最能贴合训练数据的那一条。

正因为训练需要成对的“输入 + 正确答案（标签）”，这些标签像老师/监督者一样指导训练，所以叫有监督学习。

1.1.4 深度神经网络

深度神经网络是一类特别好用的模型，它的方程能表示极其广泛的一族输入输出关系，而且在这一族里搜索最优解特别容易。它能处理超大、变长、带各种内部结构的输入，输出也可以是单个数、多个数或多类概率。

1.1.5 结构化输出

输出本身也可以很大、很复杂：

• 与输入强相关的结构化输出：语义分割（每个像素标“牛/背景”）、单目深度估计（每个像素给出深度）。这类输出结构紧贴输入，可加以利用——某像素是“牛”，那 RGB 相近的邻居大概也是“牛”。
• 与输入关系松散的结构化输出：语音转写、机器翻译、文生图。难点有二：① 输出天然有歧义（一句英文有多种合法法文翻译）；② 输出自带语法（不是随便的词串/像素都合法）。除了学映射，还得尊重输出的“语法”。

而这种“语法”可以无需标签、仅从大量数据的统计规律中学到——这就引出了无监督学习。

1.2 无监督学习（Unsupervised learning）

只用输入数据、没有对应输出标签来建模，就是无监督学习（没有标签 → 没有“监督”）。目标不是学映射，而是描述/理解数据的结构。

1.2.1 生成模型（Generative models）

本书聚焦生成式无监督模型：学会合成与训练数据统计上无法区分的新样本。

• 有的模型显式描述数据的概率分布，再从分布里采样生成新样本；
• 有的只学一个生成机制，并不显式写出分布。

它们在生成图像和文本上极为成功，还能做条件生成（部分输出被预先指定），如图像修复（inpainting）、文本续写。现代文本生成模型强大到“看起来很智能”，但它其实只懂语言的统计规律，并不理解答案的意义。

1.2.2 潜变量（Latent variables）

很多生成模型利用一个事实：数据的真实维度远低于原始观测维度。合法英文句子的数量远少于随机词串；真实图像也只是所有随机 RGB 组合中极小的子集——因为它们都由物理过程产生（比如人脸的变化大致可由约 42 块肌肉描述）。

于是可以用少量潜变量来描述每个样本。深度学习的角色就是描述潜变量与数据之间的映射。潜变量被设计成服从简单的概率分布，所以：

生成新样本 = 从简单分布采样潜变量 → 过一遍深度网络 → 得到高维数据。

这还带来新玩法：找到两张真实图片各自的潜变量，在潜空间里插值，再映射回图像空间，就能生成兼具两者特征、视觉上又合理的过渡图。

1.2.3 连接有监督与无监督

当有监督任务的输出有结构时（如文生图），可以不直接 文本→图像，而是学“解释文本的潜变量”与“解释图像的潜变量”之间的关系。好处有三：① 维度降低，需要的配对数据更少；② 更容易生成合理图像；③ 在映射中引入随机性，可对同一文本生成多张都合理的图。

1.3 强化学习（Reinforcement learning）

引入智能体（agent） 的概念：它生活在某个世界里，每个时间步可执行动作。动作会改变系统状态（不一定确定性地改变），并可能带来奖励。目标是学会选择平均奖励高的动作。

两个核心难点：

• 时间信用分配问题（temporal credit assignment）：奖励常常在动作之后很久才出现，很难判断到底是哪个动作的功劳。
• 探索 vs. 利用（exploration–exploitation）：是沿用已知能拿小奖励的策略（利用），还是尝试新动作看能不能更好（探索）？

两个例子：

• 机器人学走路：动作是转动关节，奖励是到达障碍赛检查点。哪些动作真正有功？——典型的信用分配难题。机器人可能学会“侧躺用一条腿蹭”（能拿奖励但很慢），该继续蹭还是探索“站起来走”？
• 下棋：动作是合法走子，但对手的回应让状态变化非确定。若只在赢棋时给一个奖励，信用分配难度极大。

深度学习怎么融入？一种方式是用深度网络建立从状态到动作的映射，称为策略网络（policy network）——机器人从传感器读数映射到关节动作，棋手从棋局映射到走子。

1.4 伦理（Ethics）

作者强调：写一本 AI 的书却不谈伦理是不负责任的。AI 的影响力堪比电力、内燃机、晶体管或互联网，潜在收益巨大，但潜在危害同样巨大。五大隐忧：

1. 偏见与公平（Bias and fairness）：用历史数据训练会复制历史偏见。例：超分辨率把非白人“洗白”；生成“律师”图片时只出现男性。算法决策可能固化甚至加剧偏见。
2. 可解释性（Explainability）：我们通常不知道深度系统为何、依据什么做决策。催生了“可解释 AI”子领域；目前较成功的是局部解释（解释单个决策），但能否造出对用户乃至创造者都完全透明的复杂系统，仍是未知。
3. AI 武器化（Weaponizing AI）：所有重大技术都被用于战争，AI 也不会例外，且已在发生。
4. 权力集中（Concentrating power）：巨头重金投入 AI 是为了利润。它可能让权力集中到少数掌控者手中，自动化将不成比例地冲击低技能、低薪工作者。
5. 生存性风险（Existential risk）：人类的重大生存威胁多源于技术（气候变化、核武器、流行病）。对于“比人类更强、更可扩展”的系统应极度谨慎——乐观情形是巨大权力落入少数人手中，悲观情形是我们无法控制甚至无法理解它的动机。

作者呼吁：每个研究/学习 AI 的人都应思考科学家对技术用途负有多大责任，审视自己愿为之工作的机构是真在防范危害，还是只在做“伦理洗白（ethics-washing）”。

1.5 全书结构（这份 wiki 的地图）

1.6 / 1.7 其他书 & 如何读这本书

• 同类好书：本书定位为 Goodfellow《Deep Learning》(2016) 的“精神续作”；更百科全书式的是 Murphy《Probabilistic Machine Learning》；经典则有 Bishop《PRML》。强化学习权威是 Sutton & Barto。
• 每章结构：正文（自成体系，可单独读）+ notes（历史脉络与延伸阅读）+ problems（习题）。本 wiki 主要提炼“正文”部分。
• 作者态度：正文不拘泥历史，过时的旧技术不提；对“目前理解仍不清楚”的现象会明确标注，提醒读者谨慎对待。
• 一句忠告（来自 Pólya）：“数学不是观赏性运动”——边读边动手做题/跑 notebook，才学得会。

本章小结

• 概念层级：AI ⊃ 机器学习 ⊃ 深度学习；深度学习 = 用深度神经网络去拟合数据。
• 三大范式：有监督（学输入→输出映射）、无监督（学数据结构/做生成）、强化学习（靠奖励试错），当下三者的最强方法都依赖深度网络。
• 统一视角：一切任务都先把现实输入编码成数字向量，过模型得到输出向量，再翻译回现实；训练就是在一族由参数决定的函数里搜索最契合数据的那一组。
• 生成模型 + 潜变量：用少量潜变量描述数据，从简单分布采样再映射回数据空间，即可生成逼真新样本，并能在潜空间插值/编辑。
• 伦理是底色：偏见与公平、可解释性、武器化、权力集中、生存性风险，贯穿全书，需要每个从业者认真对待。

关键术语对照

返回目录 ｜ 下一章：第 2 章 有监督学习