MiniMind-O 逐行代码解读 · 目录 让零基础读者也能看懂每一行代码此文章为管理解读章节总目录 提及到的解读章节可见作者主页 章节列表章节文件核心内容行数第一章model/model_minimind.py基座LLM配置、RMSNorm、RoPE、GQA Attention、SwiGLU FFN、MoE、自回归生成287第二章model/model_omni.py多模态扩展音频/视觉编码器、Thinker-Talker双路架构、8路并行音频生成、VAD实时交互461第三章dataset/omni_dataset.py数据集7种音频增强、2种频谱增强、9路输入张量、8路延迟audio labels、Scheduled Sampling344第四章trainer/train_sft_omni.pytrainer_utils.py训练三阶段SFT、余弦学习率、混合精度、梯度累积、stop token 10倍权重、原子checkpoint463第五章eval_omni.pyscripts/web_demo_omni.py推理流式生成、Mimi音频解码、Gradio WebUI、ASR并行、声音克隆、模型热切换538总计2093 行核心代码5 章113M 参数️ 建议阅读顺序初学者路线: 第一章(基座LLM) → 第三章(数据集) → 第四章(训练) → 第二章(多模态扩展) → 第五章(推理) 有经验路线: 第二章(核心创新) → 第四章(训练策略) → 第三章(数据处理细节) → 第五章(工程实现) 只关心怎么用: 第五章(推理WebUI) → 第二章的 generate/stream_generate 部分 关键概念速查概念在哪章一句话解释Thinker-Talker 双路架构第二章Thinker 理解文本Talker 生成语音通过 bridge_layer 连接GQA 注意力第一章8个Q头共享4组KV头节省显存RoPE 位置编码第一章用旋转矩阵给Q/K编码位置信息8层 RVQ第二章Mimi编解码器用8层残差量化表示音频音频延迟机制第二章8层RVQ逐层激活第i层延迟i步开始输出stop token 10倍权重第四章音频终止信号极其关键训练时重点加权Scheduled Sampling第三章5%概率用随机值替代GT教模型从错误中恢复音频注入第二章扫描|audio_pad|占位符替换为编码器输出视觉注入第二章扫描|image_pad|占位符替换为SigLIP2特征object.setattr第二章把冻结编码器挂载为普通属性不参与训练和checkpointtext_scale / audio_scale第二章可学习参数控制文本特征和音频特征的混合比例初始3:1