1. 项目概述一份面向LLM与RAG求职者的实战面试指南最近在帮团队面试一些大模型应用开发方向的候选人也和一些正在求职的朋友交流发现大家对于“LLM RAG面试会问什么”这个问题普遍感到焦虑。网上的八股文资料很多但要么过于零散要么深度不够难以应对现在越来越卷的技术面试。我自己在准备面试和实际面试他人的过程中梳理了一份覆盖LLM、RAG、Agent等核心领域的面试问题清单并附上了我个人的理解、回答思路以及一些容易踩坑的细节。这份清单不是让你死记硬背的“标准答案”而是一个帮你构建知识体系、理清面试逻辑的“思考框架”。无论你是准备应聘大模型算法工程师、AI应用开发工程师还是Agent工程师相信这份结合了真实面试场景和实战经验的总结都能帮你更从容地应对挑战。2. 核心面试领域深度解析2.1 LLM基础理论与模型架构面试官问LLM基础绝不是想听你背概念而是考察你是否真正理解模型工作的“为什么”以及这些设计如何影响实际应用。2.1.1 Transformer与注意力机制从原理到工程权衡“请详细解释自注意力机制。” 这个问题几乎必问。一个合格的回答不能只停留在“Q、K、V矩阵相乘”的公式层面。你需要讲清楚其核心优势并行计算能力和长距离依赖建模。对比RNN/LSTM要明确指出其序列计算导致的训练低效和梯度消失/爆炸问题而自注意力通过计算序列中任意两两位置的关系一举解决了这两个痛点。这里可以举个生动的例子在翻译“The animal didnt cross the street because it was too tired”时自注意力机制能让模型轻松判断“it”指代的是“animal”而不是“street”这是RNN难以做到的。更深一层面试官可能会追问MHA、MQA、GQA的区别。这是考察你对推理效率优化的理解。MHA标准的多头注意力每个头都有独立的Q、K、V投影矩阵。表达能力最强但KV缓存占用显存大。MQA多个查询头共享同一套K、V投影。显著减少了KV缓存大幅提升推理速度但可能牺牲一些模型容量和效果。GQA介于两者之间将查询头分成若干组每组共享一套K、V。这是效果和效率的折中方案也是当前许多最新模型如Llama 3的选择。回答时一定要结合应用场景如果追求极致的推理性能且对效果损失有一定容忍度如某些边缘设备部署MQA是优选如果资源相对充足且希望效果更好GQA是更平衡的选择在训练阶段或对效果有极致要求的研发场景MHA仍是基础。2.1.2 位置编码与模型扩展性“为什么需要位置编码” 这个问题考察你对Transformer“排列不变性”缺陷的理解。一个经典的回答路径是先说明自注意力机制本身不考虑token的顺序打乱输入序列输出不变而自然语言中顺序至关重要因此需要注入位置信息。然后对比绝对位置编码和相对位置编码。绝对位置编码如原始Transformer的sin/cos简单直接但外推性差即训练时见过的序列长度有限推理时遇到更长的序列效果会下降。相对位置编码如RoPE, T5 Bias则关注token之间的相对距离通常具有更好的长度外推能力。特别是RoPE它通过旋转矩阵将位置信息融入注意力计算在理论上保证了任意相对距离的稳定性因此被LLaMA、GPT-NeoX等众多主流模型采用。面试官可能会进一步问“如何让模型具备处理更长上下文的能力” 这时你可以从几个层面回答位置编码层面采用像RoPE、ALiBi等具有更好外推性的编码方式。工程优化层面使用FlashAttention-2、PagedAttention等技术优化长序列下的显存和计算效率。模型结构层面探索状态空间模型如Mamba等可能替代Transformer的架构它们天生在处理长序列上有优势。2.1.3 解码策略与生成控制当面试官问及解码策略时他关心的是你如何在实际应用中控制LLM的生成质量、多样性和速度。Greedy Search每一步都选概率最高的token。速度快但容易生成重复、枯燥的文本陷入局部最优。Beam Search维护一个大小为k的候选序列集合。效果通常比Greedy好但速度慢且可能生成过于保守、模板化的文本。Top-K Sampling从概率最高的K个token中随机采样。引入了随机性生成更丰富但K值固定可能在某些步采样到不合理的低概率词。Top-P (Nucleus) Sampling从累积概率超过P的最小token集合中采样。这是一种动态的采样方法能自适应不同概率分布下的词汇表大小是目前最常用的方法在多样性和合理性之间取得了很好的平衡。实操心得在API调用如OpenAI或开源模型推理时temperature参数与采样策略共同作用。temperature越高如0.8-1.0概率分布越平滑生成越随机、有创意temperature越低如0.1-0.3分布越尖锐生成越确定、保守。对于代码生成、事实问答建议用低temperatureTop-P对于创意写作可以用高temperatureTop-K。2.2 RAG技术全链路拆解RAG是当前大模型落地应用最核心的技术之一面试官会从数据、检索、生成、评估全链路考察你的理解深度。2.2.1 RAG为何兴起对比微调的优劣首先必须厘清RAG的核心价值。与全量微调相比RAG的优势在于知识实时更新无需重新训练模型只需更新知识库即可让模型获取最新信息。降低幻觉答案来源于检索到的可信文档提供了事实依据减少了模型“胡编乱造”。可解释性可以追溯答案的来源文档增强了可信度。成本与效率对于领域知识注入构建RAG系统的成本远低于训练一个同等知识水平的专用大模型。但RAG并非万能。它的劣势在于依赖检索质量“垃圾进垃圾出”。如果检索不到相关文档生成质量无从谈起。上下文长度限制检索到的文档需要拼接到提示词中受模型上下文窗口限制。多跳推理能力弱对于需要串联多个文档信息才能回答的复杂问题基础RAG表现不佳。因此面试中常问“什么场景用RAG什么场景用微调” 一个清晰的判断标准是知识变动频繁、需要溯源、数据私有但量不大的场景优先考虑RAG任务范式固定、领域特有表达或推理模式需要学习、且有充足高质量数据的场景考虑微调。两者也可以结合例如先用领域数据微调模型使其理解专业术语再结合RAG提供具体事实。2.2.2 数据准备与文本切分的艺术这是RAG的基石也是最容易出问题的一环。“文本切块策略怎么定” 没有标准答案只有权衡。固定大小切分最简单但可能割裂完整语义。例如一个关键答案恰好被切在两块的边缘。按分隔符切分如按段落、标题能保持语义完整性但块大小可能不均过大的块会影响检索精度。智能切分使用NLP工具句子分割器、语义分割模型识别语义边界。效果最好但更复杂。关键参数是块大小和重叠长度。块大小通常设置在256-1024个token之间。较小的块如256检索精度高但可能丢失上下文较大的块如1024包含更多上下文但可能引入噪声且占用更多上下文窗口。重叠长度如50-200个token是为了防止语义割裂但会增加索引量和检索时的去重复杂度。避坑指南千万不要对所有文档使用同一套切分参数应对不同类型的文档采用不同策略。技术手册可能适合按章节/小标题切分新闻文章适合按段落对话记录则可能需要按对话轮次切分。在构建系统前务必对不同切分策略进行小规模实验用“检索精度”这个核心指标来衡量。2.2.3 检索增强从基础向量检索到混合检索“除了向量检索还有哪些技术” 这是区分普通使用者和深度理解者的关键问题。混合检索结合稠密向量检索语义相似度和稀疏检索如BM25关键词匹配。向量检索擅长处理语义相似但词汇不同的查询如“苹果公司” vs “Apple Inc.”BM25擅长处理精确关键词匹配。两者结果通过加权如 Reciprocal Rank Fusion合并能显著提升召回率。重排序初步检索可能返回几十上百个相关文档重排序器如Cohere的rerank模型、BGE的交叉编码器会对这些候选文档进行更精细的语义相关度打分只保留Top-K个最相关的送入LLM有效缓解“Lost in the Middle”问题即模型容易忽略长上下文中间部分的信息。查询转换/扩展在检索前对用户原始查询进行优化。例如查询重写将口语化查询改写成更正式的检索语句。HyDE让LLM根据查询生成一个假设性答案然后用这个答案的向量去检索有时能更好地捕捉查询意图。子问题分解对于复杂查询先让LLM分解成多个子问题分别检索后再综合。2.2.4 评估RAG系统不仅仅是准确率“如何评估RAG” 这是一个系统工程问题。不能只看最终答案的对错。检索阶段评估命中率Top-K个检索结果中至少包含一个能回答问题的相关文档的比例。平均排序倒数相关文档在结果列表中的平均排名的倒数衡量排序质量。生成阶段评估忠实度生成答案是否严格基于检索到的上下文有没有添加不存在的信息幻觉。答案相关性生成的答案是否直接回答了问题。引用准确性答案中声称引用的来源是否真的支持该说法。目前自动化评估常结合LLM-as-a-Judge用GPT-4等强模型作为裁判和传统指标。但人工评估仍是黄金标准尤其是对于关键业务场景。需要设计清晰的评估准则让标注者从多个维度打分。2.3 Agent设计与工程实践Agent是大模型走向实际应用的关键形态面试官会关注你如何让LLM“思考”和“行动”。2.3.1 Agent的核心组件与设计模式一个典型的Agent通常包含以下模块规划模块将复杂目标分解为可执行的子任务序列。常用技术有思维链、思维树、思维图等。记忆模块包括短期记忆当前会话的上下文和长期记忆向量数据库存储的历史经验或知识。如何高效、准确地从长期记忆中检索相关信息是关键。工具使用模块让LLM能够调用外部API、数据库或函数。核心是Function Calling即让模型理解工具的描述名称、功能、参数并在适当时机生成符合规范的调用请求。行动与反思模块执行工具调用观察结果并根据结果决定下一步行动继续、重试、修正计划。2.3.2 主流框架选型LangChain vs LlamaIndex这是高频面试题。两者定位有重叠但侧重点不同LangChain更像一个“全能工具箱”或“粘合剂”。它提供了极其丰富的模块Models, Prompts, Chains, Agents, Memory等设计理念是高度模块化和可组合性让你可以自由搭建非常复杂和定制化的应用流水线。学习曲线相对陡峭。LlamaIndex更专注于“数据连接与检索”。它在RAG和数据接入方面做得非常深入和易用提供了大量现成的数据连接器、索引结构和高级检索策略。如果你核心是做RAG应用LlamaIndex可能上手更快、更省心。选型建议如果你的应用核心是复杂的工作流编排、多步骤推理、与大量异构工具交互LangChain更合适。如果你的应用核心是快速构建一个针对私有数据的高质量问答系统LlamaIndex可能是更直接的选择。很多项目也会混合使用例如用LlamaIndex做数据索引和检索用LangChain来构建Agent逻辑。2.3.3 多智能体系统与挑战当面试官问到多智能体系统时他关心的是你对协同、竞争和系统复杂性的理解。多智能体的优势在于分工协作如一个负责调研一个负责写作一个负责审核和群体智慧通过辩论达成更优决策。但它引入了通信开销、协作策略设计如何让智能体有效沟通、一致性保证如何避免决策冲突以及更高的复杂度和不可预测性等挑战。一个常见的架构是“管理者-工作者”模式一个主管智能体负责接收任务、制定计划并分配给不同的专家智能体执行最后汇总结果。确保这个架构稳定运行需要精细的提示工程、清晰的通信协议和良好的错误处理机制。3. 面试实战从问题到回答策略3.1 高频问题深度剖析与回答思路这里我挑选几个最具代表性的问题展示如何构建一个既有深度又有广度的回答。问题“请详细解释RLHF的三个阶段以及为什么需要PPO”回答思路总述目标RLHF旨在将LLM的行为与复杂、模糊的人类价值观对齐这是SFT有监督微调难以做到的因为人类偏好难以用简单的“正确/错误”标签来概括。分阶段阐述阶段一SFT。用高质量的指令-回答对微调预训练模型教会它遵循指令的格式和能力。这是对齐的基础。阶段二奖励模型训练。收集人类对模型多个输出的偏好排序数据A比B好训练一个奖励模型来学习人类的偏好判断标准。这里要强调使用成对比较而非绝对分数的原因人类更擅长做相对判断且Bradley-Terry模型等能将偏好概率化。阶段三强化学习优化。用训练好的奖励模型作为信号使用PPO算法优化SFT后的模型使其输出能获得更高的奖励分数。聚焦PPO为什么是PPO因为策略梯度算法如REINFORCE方差大、训练不稳定而像DQN这类价值学习算法不适合巨大的动作空间词汇表。PPO通过“信赖域”思想约束每次参数更新不要偏离旧策略太远保证了训练的稳定性。其中的KL散度惩罚项至关重要它防止模型过度优化奖励分数而“走火入魔”奖励黑客导致输出偏离自然语言或丧失通用能力。延伸对比可以简要提及其他方案如DPO它省去了奖励模型训练和复杂的PPO步骤直接利用偏好数据微调模型更简单高效但可能在大规模、复杂偏好上不如RLHF灵活。问题“评估一个Agent为什么比评估一个基础LLM更复杂”回答思路维度多元化基础LLM评估主要看生成质量流畅度、相关性、事实性等。而Agent评估需要增加多个维度任务完成率最终目标达成了吗、工具使用正确率调用的工具和参数对吗、效率用了多少步/多少token完成任务、成本调用了多少次API。过程与结果并重Agent的思考过程规划步骤和行动序列本身就有评估价值。一个最终失败的任务可能因为规划合理但工具API临时出错一个最终成功的任务可能规划迂回、效率低下。需要设计过程指标。环境交互与动态性Agent在与环境如数据库、API、模拟器交互。评估需要模拟或搭建这个环境并考虑环境的动态变化和不确定性。长程依赖与一致性Agent在长对话或多步骤任务中需要保持记忆和行动的一致性评估其长期表现更具挑战。3.2 项目经验阐述框架当被要求介绍一个LLM/RAG/Agent项目时如“金融大模型问答机器人”采用STAR法则并突出技术深度项目公司/背景简要说明业务需求。例如“在XX金融科技公司为解决投研人员快速从海量研报、公告中提取关键信息的痛点。”项目职责清晰定位。例如“我作为AI应用开发工程师负责整个RAG流水线的设计与核心模块开发。”项目设计整体架构描述技术选型。例如“采用LangChain作为应用框架使用Qwen作为基座LLM结合FastAPI封装服务接口。”数据处理详细说明针对金融文档PDF、Word、HTML的解析、清洗和切分策略。例如“针对PDF表格和金融术语我们定制了OCR和实体识别模块并采用基于章节标题和语义分割的混合切分策略块大小设为512重叠100。”检索方案说明索引和检索的优化。例如“使用BGE-large-zh作为嵌入模型在Milvus中构建向量索引。为提升检索精度我们实现了‘BM25 向量检索’的混合检索并引入BGE-reranker进行重排序。”生成与Agent如果有。例如“对于复杂的多指标查询我们设计了一个简单的Agent先调用工具查询数据库获取具体数据再让LLM进行分析总结。”项目实现技术栈细节LLM: Qwen-7B/14B; 微调: 采用LoRA在金融问答数据上进行了SFT 框架: LangChain, FastAPI; 向量数据库: Milvus; 嵌入模型: BGE-large-zh。核心代码/逻辑片段可以简述关键实现如自定义的文本分割器、检索后处理逻辑、提示词模板设计。难点与解决例如“初期检索结果包含大量无关的页眉页脚我们通过设计正则规则和训练一个简单的文本分类器过滤低质量块使检索命中率提升了25%。”项目业绩用量化指标说话。例如“系统上线后将投研人员的信息查找平均耗时从2小时降低到5分钟问答准确率经人工抽检达到92%。”采用的技术/主要技术栈总结性列出与设计部分呼应。4. 进阶话题与未来展望4.1 Agentic RAG下一代RAG的演进方向普通RAG是静态的“检索-生成”而Agentic RAG引入了智能体“规划-行动-观察”的循环能力。它的核心区别在于动态检索Agent可以根据LLM的中间思考决定是否需要检索、何时检索、以及检索什么生成新的查询。例如在回答一个复杂问题时LLM可能先规划出需要知道的几个子问题然后依次检索获取信息最后综合回答。多轮交互与工具调用Agentic RAG中的LLM不仅可以生成答案还可以调用计算器、代码解释器、搜索引擎等工具来验证信息或进行复杂运算使答案更精准。自我修正当生成的答案与检索到的证据矛盾或自身推理出现不确定性时Agent可以触发重新检索或重新思考的循环。这要求系统具备更强的规划、工具调用和状态管理能力。面试中被问到区别时可以强调Agentic RAG的主动性和迭代性它更像一个“研究员”而普通RAG更像一个“档案管理员”。4.2 模型优化技术微调、量化与部署高效微调是让通用模型适配特定领域的关键。除了LoRA可以提及更进一步的QLoRA它结合了量化能在极少的显存下如单卡24G微调70B模型进行微调。SFT是基础而PPO/DPO等基于人类或AI反馈的优化方法则用于打磨模型输出的质量和风格。量化是将模型权重从高精度如FP16转换为低精度如INT8/INT4的过程能大幅减少模型体积和推理显存提升推理速度。但会带来一定的精度损失。常用的量化库有GPTQ后训练量化精度保持较好、AWQ感知激活的量化和GGUFLlama.cpp使用的格式。面试中需要了解不同量化方法的优缺点和适用场景。知识蒸馏则是用一个大模型教师模型的输出或中间特征来指导一个小模型学生模型的训练让小模型获得接近大模型的能力从而实现轻量化部署。4.3 前沿趋势与个人思考面试最后常会问及行业看法。你可以从以下几个方向准备多模态融合从“拼接”走向“深度融合”。未来的模型可能从架构层面就是为多模态设计的视觉、语言、音频等信息在更早的层次进行交互。小型化与专业化在边缘设备上运行的小型、专业化的模型如用于手机端的文本生成、特定行业的诊断模型将是重要方向这离不开量化、蒸馏、高效架构等技术的进步。评估的挑战随着模型能力越来越强尤其是Agent的出现如何设计全面、可靠、自动化的评估体系将是制约其发展和落地的一大瓶颈。对求职者的建议夯实基础深度学习、NLP、Python深入理解1-2个主流模型和框架如Transformer、LangChain动手做项目哪怕是从复现一个经典RAG pipeline开始保持对论文和开源项目的持续关注。工程能力和算法理解同样重要。面试的本质是技术交流与思维碰撞。准备时建立自己的知识树理解技术之间的关联与权衡回答时结合具体场景和实例展现你的思考深度和工程落地能力。这份问题大全是一个地图真正的旅程需要你用自己的实践和思考去填充。