介绍语言模型的定义、基本原理及概率分布，包括自回归语言模型、熵、交叉熵、香农游戏、n-gram 模型和神经网络语言模型等内容

介绍 Transformer 输入表示的分词方法（Tokenization）及子词编码算法（BPE、WordPiece、Unigram）

介绍位置编码的基本原理、常见方法（正余弦编码、可学习编码、RoPE、ALiBi）及长度外推问题的解决方案

介绍 Attention 机制的基本原理，包括 Scaled Dot-Product Attention、Bahdanau Attention、Self-Attention、Cross-Attention、多头注意力等内容，以及相关的数学公式和直观理解

介绍 Transformer 结构，包括 Encoder-Decoder 架构、多头自注意力机制、前馈网络、残差连接、层归一化等内容，以及相关的变量符号说明

介绍 BERT、GPT、T5 等主流模型的结构与推理方法

介绍常见的解码策略，包括贪心解码、束搜索、Top-k 采样、Top-p 采样、典型解码和对比解码

介绍混合专家（Mixture of Experts，MoE）架构及其在大语言模型中的应用

介绍 Build LLM from Scratch，包括 Tokenization、Batching、Model Architecture、Training Loop 等内容

介绍 Mamba 模型和状态空间模型（SSM）的基本概念和原理

介绍多模态大规模语言模型的基本概念及其应用

介绍视觉生成模型（Diffusion等）的基本概念及其应用

LLM