大语言模型学习指南
如何使用该文档系统地学习有关大语言模型的知识
01
机器学习基础
先建立统一的 ML 认知框架，理解数据如何驱动模型学习、如何评估与改进表现， 为后续大模型训练与应用打下方法论基础
- 监督 / 无监督 / 自监督
- 损失函数与优化方法
- 特征工程与数据预处理
- 评估指标与过拟合
02
LLM 基础
从表示学习到 Transformer 结构，理解 LLM 的核心组件、数据流动方式与关键计算瓶颈， 建立对 "模型内部如何工作" 的直观认知
- Tokenization 与词表设计
- Embedding 与位置编码
- Self-Attention 与多头机制
- Transformer 结构与残差
03
LLM 训练
覆盖预训练、指令微调到对齐的完整流程，理解不同阶段的数据目标与质量要求， 让模型从 "能说话" 走向 "更可靠、更可控"
- 预训练目标与数据清洗
- 指令微调与数据配比
- 对齐方法：RLHF / DPO
- 训练评估与回归测试
04
分布式训练
规模化训练需要工程化能力与成本控制：并行策略、内存管理、通信与吞吐优化， 让训练在可控成本内稳定扩展
- 数据并行 / 张量并行 / 流水线
- ZeRO 与内存优化策略
- 混合精度与梯度累积
- 通信开销与吞吐优化
05
LLM 推理
关注真实生产中的低延迟与高吞吐：缓存、批量化、量化与部署策略， 让推理服务稳定且成本可控
- KV Cache 与批量化
- 量化与蒸馏
- 推理加速：vLLM / FlashAttention
- 服务化与成本优化
06
Agent 与应用
将模型能力落地到真实业务场景，围绕工具调用、检索增强、工作流编排与评测， 构建可维护、可迭代的智能应用体系
- 工具调用与函数规划
- RAG 与检索策略
- 工作流编排与评测
- 安全与监控
这篇文档有帮助吗？