AI Researcher Intern Wiki
第一部分：通用机器学习基础
| 章节 | 内容 |
|---|---|
| 00. 机器学习核心概念 | Underfitting、Overfitting、Bias/Variance |
| 01. 基础与神经网络机制 | L1/L2 、batchnorm/layernorm、backpropagation |
| 02. 模型评估与指标 | 混淆矩阵、ROC-AUC/PR-AUC |
| 04. 经典机器学习 | 线性/逻辑回归、MSE/KL、SVM、决策树、K-Means、EM、GMM、Random Forest、Naive Bayes、KNN、XGBoost |
第二部分：NLP 与大模型
| 章节 | 内容 |
|---|---|
| 05. NLP、RNN 与词向量 | RNN/LSTM、梯度问题、Attention、Language Model、N-Gram、Word2Vec、Stemming/Lemmatization |
| 06. LLM 基础 | 自注意力、Causal Mask、复杂度、FlashAttention、RoPE、MHA/MQA/GQA、Norm、SwiGLU、Weight Tying、BERT、Tokenizer、MoE、Scaling Laws |
| 07. 训练与系统 | 预训练、SFT、蒸馏、合成数据、并行策略 |
| 08. 对齐与 RLHF | RM、PPO、DPO、GRPO、KL 与 Reward Hacking、ORM vs PRM、RL for Reasoning |
| 09. 推理与部署 | Prefill/Decode、解码策略、Best-of-N、KV Cache 优化、Continuous Batching、投机解码、量化 |
第三部分：应用系统与工程
| 章节 |
|---|
| 12. ML Coding |
| 参考资料 |