00. 机器学习核心概念

返回目录

本章是“定义层”，覆盖面试开场常考的基础概念。这些题看似简单，但答得清楚、能区分易混点，往往决定面试官对基本功的第一印象。

1. AI、机器学习与深度学习的区别

30 秒回答

三者是包含关系，不是并列关系。

  • 人工智能（AI）：最大范畴，指让机器表现出智能行为的所有方法，包括规则系统、搜索、专家系统、机器学习等。
  • 机器学习（ML）：AI 的子集，强调从数据中学习规律，而不是人工写死规则。
  • 深度学习（DL）：ML 的子集，使用多层神经网络自动学习层次化特征表示。

\[ \text{AI} \supset \text{ML} \supset \text{DL} \]

关键区别

  • 传统 AI / 规则系统：人工编码知识和规则。
  • 经典 ML：人工设计特征，模型学习特征到标签的映射，例如逻辑回归、SVM、XGBoost。
  • 深度学习：模型同时学习特征表示和决策，弱化人工特征工程，但通常需要更多数据和算力。

面试怎么说？

AI 是大目标，ML 是用数据学规律的一类方法，DL 是用深层神经网络做表示学习的 ML 子集。区别不只是“神经网络层数”，而是特征是人工设计还是模型自动学习，以及对数据和算力的需求不同。

2. 机器学习的三种主要类型

30 秒回答

按监督信号来源划分：

  • 监督学习（Supervised）：训练数据有输入和标签，学习 \(x\to y\) 的映射。分类、回归。
  • 无监督学习（Unsupervised）：只有输入没有标签，发现结构。聚类、降维、密度估计。
  • 强化学习（Reinforcement）：智能体与环境交互，通过奖励信号学习策略，目标是最大化长期回报。

容易被追问的第四类

现代大模型的核心其实是 自监督学习（Self-Supervised）：从无标注数据中构造监督信号，例如语言模型预测下一个 token、BERT 预测被 mask 的词。它形式上像监督学习，但标签来自数据本身，不需要人工标注。

还有 半监督（少量标注 + 大量无标注）等介于其间的范式。

面试怎么说？

经典三分法是监督、无监督、强化学习。但要补一句：当前 LLM 的预训练本质是自监督，用 next-token prediction 把海量无标注文本变成监督信号，这是它能 scale 的关键。

3. 参数（Parameter）与超参数（Hyperparameter）

30 秒回答

  • 参数：模型从数据中学出来的量，例如线性回归的权重 \(w\)、神经网络的所有 weight 和 bias、embedding。
  • 超参数：训练开始前人为设定、不由梯度直接学习的量，例如学习率、batch size、层数、隐藏维度、正则强度 \(\lambda\)、树的 max_depth、KNN 的 \(K\)。

区分要点

  • 参数：随训练更新，数量可能上亿，决定模型“是什么”。
  • 超参数：控制训练过程和模型容量，决定模型“怎么学、多复杂”，通常通过验证集或搜索（grid/random/贝叶斯优化）来选。

注意一些边界情况：Adam 的动量是优化器内部状态而非模型参数；通过可微方式学习的“可学习超参数”属于特例，不是常规定义。

面试怎么说？

参数是模型从数据里学出来的，比如权重；超参数是训练前设定、不靠梯度更新的，比如学习率、层数、正则系数，通常用验证集调。

4. 归纳学习与演绎学习

30 秒回答

  • 归纳学习（Inductive）：从具体样本归纳出一般规律，再用到新样本上。绝大多数机器学习都是归纳：从训练集学一个泛化的模型。
  • 演绎学习（Deductive）：从已知一般规则推出具体结论，更接近逻辑推理和规则系统。

延伸：Transductive 学习

还有 直推学习（Transductive）：不学一个通用模型，而是直接对特定的、已知的测试样本做预测，例如某些图半监督方法。它和归纳学习的区别是“是否产出可泛化到未知新样本的模型”。

面试怎么说？

归纳是从样本到一般规律，是大多数 ML 的范式；演绎是从规则到具体结论，更像逻辑推理。补充一点：transductive 学习只针对给定测试集预测，不产出通用模型。

5. Underfitting、Overfitting 与 Bias-Variance

Underfitting

模型或特征不足以捕获数据规律，训练集和验证集误差都较高。常见处理：

  • 增加模型容量或有效特征。
  • 减弱过强正则化。
  • 延长训练并改善优化。
  • 检查标签、输入或任务定义是否存在问题。

Overfitting

训练误差低，但验证/测试误差明显更高，说明模型学习了训练数据中的偶然噪声或特有模式。常见处理见 01. 基础与神经网络机制 的“防止过拟合的方法”。

不能只凭“模型复杂”判断过拟合，也不能只看一次 train/validation gap。数据分布漂移、切分泄漏和验证集太小同样会造成异常差异。

追问：Overfitting 和 Data Leakage 怎么区分？

  • Overfitting：训练好、验证差，通常是模型记住训练噪声。
  • Leakage：验证/测试异常好，上线差，通常是用了预测时拿不到的信息。

排查 leakage 时重点看：时间特征、label 后发生的行为、全量 fit 的 preprocessing、重复用户/样本跨 split。详见 03. 数据处理与实验方法。

Bias-Variance 分解

对平方误差回归，在固定输入 \(x\) 处可写为：

\[ \mathbb E_{D,\epsilon} \left[ (y-\hat f_D(x))^2 \right] = \operatorname{Bias}[\hat f(x)]^2 +\operatorname{Var}[\hat f(x)] +\sigma_\epsilon^2 \]

  • Bias：不同训练集上模型平均预测与真实函数之间的系统偏差。
  • Variance：更换训练集后模型预测的波动。
  • Irreducible noise：数据本身无法由输入解释的噪声。

简单模型常有高 bias、低 variance；灵活模型常能降低 bias，但可能提高 variance。正则化、数据量和模型容量共同决定权衡。现代深度学习中该关系不总是经典 U 型，可能出现 double descent，因此应以验证实验为准。

追问：Bias-Variance 权衡如何影响模型选择？

  • 数据少、模型复杂 → 方差主导，优先正则化、降容量、加数据。
  • 模型太简单、训练验证都差 → 偏差主导，优先增容量、加特征、减正则。
  • 实践中用 learning curve 判断当前瓶颈是 bias 还是 variance，再决定下一步。

6. 维度灾难（Curse of Dimensionality）

30 秒回答

维度越高，空间越稀疏，样本间距离趋于相近，基于距离的度量（KNN、K-Means）失效，模型也更容易过拟合，所需样本量随维度指数增长。

影响

  • 距离集中：高维下最近邻和最远邻距离差距变小，相似度失去区分力。
  • 数据稀疏：固定样本数填不满高维空间。
  • 过拟合风险上升：特征多、样本相对少时模型自由度过高。

应对

特征选择、正则化、降维（PCA / UMAP）、收集更多数据，或换用对维度更鲁棒的模型。PCA 的机制与权衡见 03. 数据处理与实验方法。

面试怎么说？

维度灾难是指高维空间里数据变稀疏、距离失去区分度，KNN/K-Means 这类距离模型尤其受影响，而且需要的样本量随维度爆炸。常用降维、特征选择和正则化来缓解。