2026 年大厂 AI/LLM 岗位面试无论你面的是算法岗还是工程岗这 12 道题的出现概率超过 80%。我面试了 40 个候选人后把每次必问、每次有人栽的题整理成了这份清单——从 Transformer 到 RAG从 LoRA 到部署优化每道题附带面试官追问方向、可运行代码和加分回答技巧。速查表面试前 3 分钟过一遍·建议截图保存#问题核心答案面试频率最易栽的坑Q1Transformer 自注意力计算过程QKV 投影→Score QK^T/√dk→Softmax→加权 V⭐⭐⭐⭐⭐不知道 √dk 为什么是 √dkQ2位置编码有几种正弦/可学习/RoPE/ALiBi2026 主流 RoPE⭐⭐⭐⭐说不出 RoPE 为什么能外推Q3LoRA 原理冻结原参数旁路插入低秩矩阵 B×A⭐⭐⭐⭐⭐把低秩解释成参数少Q4微调过拟合怎么办lr1e-4~5e-4, 1-3 epoch, 数据质量数量⭐⭐⭐只会调 lr 不会加 dropoutQ5RAG 完整流程切分→Embedding→向量库→检索 Top-K→注入 Prompt→生成⭐⭐⭐⭐⭐跳过了检索策略BM25向量混合Q6RAG vs 长上下文RAG 低成本可溯源长上下文全量但贵2026 趋势融合Q7CoT vs ToTCoT 单线程推理ToT 多分支树搜索⭐⭐⭐Q8Prompt 注入怎么防输入过滤→Prompt 分隔→输出检测⭐⭐⭐只说了加分隔符Q9推理加速方案KV Cache/Flash Attention/量化/vLLM/TP⭐⭐⭐⭐说不出 vLLM PagedAttention 原理Q10生产级 LLM API 技术栈vLLM/SGLangFastAPINginxPrometheus⭐⭐⭐漏了监控和容器化Q11大模型未来两年突破点Agent 自主执行·多模态融合·端侧推理·推理成本⭐⭐⭐只泛泛而谈没有具体路线图Q12关注的开源项目DeepSeek/Qwen3/vLLM·SGLang/AI Coding⭐⭐只列名字不说为什么关注五大模块关系图面试知识体系一、Transformer 核心基础·必考二、模型微调高频追问三、RAG系统设计四、Prompt Engineering安全专项五、模型部署架构加分六、开放题决定级别Q1·自注意力 | Q2·位置编码Q3·LoRA | Q4·过拟合Q5·RAG流程 | Q6·vs长上下文Q7·CoT/ToT | Q8·注入防御Q9·推理加速 | Q10·API部署Q11·趋势 | Q12·开源一、Transformer 核心机制Q1请简述 Transformer 的自注意力机制计算过程面试官想听到的三层回答Q、K、V 三个矩阵的来源输入 X 分别乘以 Wq、Wk、Wv注意力分数公式 √dk 缩放的作用多头注意力的意义标准答案自注意力让序列中每个 token 关注所有其他 token。计算分四步输入 X 通过三个权重矩阵投影得 Q查询、K键、V值Score Q × K^T / √dkSoftmax 归一化得到注意力权重权重 × V 得到输出 关于为什么是 QKV 而不是直接用 X、√dk 为什么是 √dk、多头到底多了什么——我在 Transformer 面试官视角——5 个必挖考点 中逐问拆解了面试官内心真实想法建议配合阅读。代码importtorchimporttorch.nn.functionalasFdefscaled_dot_product_attention(Q,K,V,maskNone):d_kQ.size(-1)scorestorch.matmul(Q,K.transpose(-2,-1))/torch.sqrt(torch.tensor(d_k,dtypetorch.float32))ifmaskisnotNone:scoresscores.masked_fill(mask0,float(-inf))attention_weightsF.softmax(scores,dim-1)returntorch.matmul(attention_weights,V),attention_weightsQ2位置编码有哪几种各有什么优缺点类型原理优点缺点正弦位置编码sin/cos 固定编码可外推表达能力有限可学习位置编码随机初始化训练更新灵活不能外推RoPELLaMA/Qwen旋转矩阵编码相对位置外推强·相对位置好实现稍复杂ALiBiBloom注意力分数加线性偏置零额外参数长文本弱2026 标准结论RoPE 是事实标准。LLaMA 3、Qwen 3、DeepSeek 全部用 RoPE。面试时只说RoPE 好不够——要说清楚为什么能外推编码相对位置关系而非绝对位置。 RoPE 外推原理的深度拆解含代码验证见 Transformer 面试官视角 考点五。二、模型微调Q3LoRA 微调的原理是什么核心冻结原权重 W旁路插入低秩矩阵 B×Arank 通常 8-16只训练 B 和 A。参数量减少 99%。frompeftimportLoraConfig,get_peft_modelfromtransformersimportAutoModelForCausalLM modelAutoModelForCausalLM.from_pretrained(Qwen/Qwen2.5-7B)lora_configLoraConfig(r16,lora_alpha32,target_modules[q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj],lora_dropout0.05,biasnone,task_typeCAUSAL_LM)modelget_peft_model(model,lora_config)model.print_trainable_parameters()# trainable params: 8,388,608 || all params: 7,615,811,584 || trainable%: 0.1101 LoRA 从 rank 选择、QLoRA 区别、训练实战到 7 个坑完整拆解见 LoRA 微调 8 连问——面试官视角。Q4微调时遇到过拟合怎么办实战框架LoRA lr 1e-4~5e-4比全参高 10-20×SFT 阶段 1-3 epoch 足够5000 条高质量数据 50000 条噪声数据增加 lora_dropout 到 0.1 warmup验证集 Loss 不再下降就停三、RAG检索增强生成Q5请解释 RAG 的完整工作流程三步流程文档切分→Embedding→向量库 | Query→检索 Top-K | 注入 Prompt→LLM 生成环节选择注意文档切分512 tokens, overlap 64语义完整性优先Embeddingbge-large-zh / text2vec中文场景选中文模型向量数据库Milvus/Chroma百万以下用 Chroma检索策略BM25 向量混合纯向量对关键词不敏感fromlangchain.text_splitterimportRecursiveCharacterTextSplitterfromlangchain.embeddingsimportHuggingFaceEmbeddingsfromlangchain.vectorstoresimportChroma splitterRecursiveCharacterTextSplitter(chunk_size512,chunk_overlap64)chunkssplitter.split_documents(documents)embeddingsHuggingFaceEmbeddings(model_nameBAAI/bge-large-zh-v1.5)vectorstoreChroma.from_documents(chunks,embeddings)retrievervectorstore.as_retriever(search_kwargs{k:5})Q6RAG 和长上下文窗口如 1M tokens各有什么优劣势2026 面试超级高频题。维度RAG长上下文成本低只处理相关片段高全量 tokens延迟检索几 ms上下文越长越慢准确率取决于检索质量不会漏但有大海捞针可控性可追溯来源黑盒适用企业知识库·多文档 QA整书分析·长对话2026 趋势融合。长上下文粗筛 RAG 精排溯源。四、Prompt EngineeringQ7Chain-of-Thought 和 Tree-of-Thought 的区别对比CoTToT结构单线程逐步推理多分支树搜索开销1 次 LLM 调用depth × branches 次调用适用算术·逻辑推理规划·创意·博弈CoT 一行 Prompt 即可ToT 需要树搜索框架。面试官追问什么时候该用 ToT 而不是 CoT→ 答案是需要探索多种可能性且有明确评估标准时。Q8如何设计一个防止 Prompt 注入的安全方案三步防御# 1. 输入过滤——检测注入关键词definput_filter(user_input):patterns[r忽略.*指令,r你.*是.*一个,r\[SYSTEM\],r\\|im_start\\|]forpinpatterns:ifre.search(p,user_input,re.IGNORECASE):returnFalse,检测到注入攻击returnTrue,user_input# 2. XML 标签隔离用户输入defsafe_prompt(system,user_input):returnfsystem\n{system}\n/system\n\nuser_query\n{user_input}\n/user_query\n\n请仅基于 user_query 回答。# 3. 输出检测——检查是否泄露系统信息defoutput_guard(response):sensitive[system prompt,系统提示词,你的指令是]returnnotany(s.lower()inresponse.lower()forsinsensitive)面试官追问如果攻击者用 Base64 编码绕过→ 解码后重新检测或 Embedding 语义相似度检测异常输入。五、模型部署与优化Q9大模型推理加速有哪些主流方案方案原理加速比场景KV Cache缓存已计算 K/V2-5x所有自回归生成Flash Attention分块IO 优化2-4x长序列量化 INT8/INT4降低精度2-4x 显存消费级 GPUvLLMPagedAttention连续批处理10-30x 吞吐API 服务Tensor Parallel张量切分多 GPU近线性单卡放不下Q10从零部署一个生产级 LLM API 服务你会选什么技术栈2026 标准答案vLLM首选/ SGLang新秀 FastAPI Uvicorn Nginx 负载均衡 Prometheus/Grafana 监控 Docker GPU 直通。六、开放题拉开级别差距的关键 20%Q11你觉得未来两年大模型的核心突破点在哪这道题决定你被定位为执行者还是前瞻型人才。标准回答框架选 2-3 个方向展开1. Agent 自主执行能力从说到做当前 LLM 本质仍是问答机器——你问它答。2026-2028 年的核心突破在于 Agent 从单步对话走向多步自主执行接收目标 → 分解子任务 → 选择工具 → 执行 → 反馈 → 调整。关键技术栈包括 LangGraph 多智能体编排、MCPModel Context Protocol工具标准化、以及记忆系统短期工作记忆 长期向量记忆。面试时可以这样表达你的深度“我看到的不只是 LangChain 调个工具——真正难的是多步规划的可靠性。Planning-Action-Observation 循环中任何一步出错都会级联放大目前在复杂场景下的成功率还不到 50%。”2. 多模态深度融合文本图像视频音频统一表征GPT-4/5 已经展示了文本图像输入但真正的融合是一个模型同时理解并生成多种模态。2025-2026 年 Qwen-VL 系列和 DeepSeek-VL 都在朝这个方向走。关键瓶颈不是模型架构统一 Transformer 足够了而是高质量多模态对齐数据的稀缺。3. 推理成本断崖式下降端侧模型的成熟同等能力的模型推理成本每年下降 10×。2028 年有望在手机上运行 GPT-4 级别的模型。这不只是便宜了——它意味着 AI 从云端走到端侧带来隐私、延迟、离线场景的质变。Apple Intelligence 和 Qualcomm AI Engine 的动向值得持续关注。Q12你最近关注了哪些大模型相关的开源项目或论文这是你展示技术品味的机会。不要列项目名要说为什么关注和你的判断。项目为什么关注我的判断DeepSeek-V3/R1MoE 架构 RL 推理能力国产标杆推理链原生的 RL 训练方式可能比 GPT 的 RLHF 更根本——它让模型学会思考而非对齐Qwen3 系列完整生态0.5B 到 235B VL Audio多尺寸覆盖目前开源生态最完整的系列适合企业级选型vLLM / SGLang推理框架持续迭代PagedAttention 是工业标准SGLang 的 RadixAttention 在某些场景比 vLLM 更快值得投入学习Trae / CursorAI Coding 工具改变了写代码的定义Agent 化编程不只是补全而是自主规划执行是 2026-2027 最值得关注的工程变革MCP 协议Anthropic 提出的模型-工具标准接口如果成为行业标准整个 AI 工具生态都会重构复习优先级路线图第一梯队面试前必过一遍 ├── Q1 Transformer 自注意力 ⭐⭐⭐⭐⭐ ├── Q3 LoRA 原理 ⭐⭐⭐⭐⭐ ├── Q5 RAG 完整流程 ⭐⭐⭐⭐⭐ └── Q6 RAG vs 长上下文 ⭐⭐⭐⭐⭐ 第二梯队高频追问 ├── Q2 位置编码 ⭐⭐⭐⭐ ├── Q9 推理加速 ⭐⭐⭐⭐ └── Q4 过拟合 ⭐⭐⭐ 第三梯队拉开差距 ├── Q8 Prompt 注入防御 ⭐⭐⭐ ├── Q7 CoT vs ToT ⭐⭐⭐ └── Q10 生产部署 ⭐⭐⭐ 第四梯队决定级别 ├── Q11 未来突破点 ⭐⭐⭐ └── Q12 关注的开源项目 ⭐⭐ 关注我不错过任何一篇更新。这个专栏只写 20 篇篇篇干货。你在面试时被问过最刁钻的大模型问题是什么在评论区分享一下给后来的求职者铺路。点赞最高的方向我会在后续文章中优先深扒