论文 | MLLM 多模态大语言模型
2026 新出的论文一、方向2026年出现第二代的 Frontend Generation / Agentic Frontend的论文Repository-level Frontend Generation面向整个项目Agentic Frontend多 AgentRL Vision FeedbackFigma → ReactDesign Knowledge GraphVisual-to-Code Foundation Model2024~2025 年主要研究Design-to-Code截图→HTML二、最新论文WebDesignIter2026.07最新论文WebDesignIter: Co-Evolving Design Knowledge for Repository-Level Front-End Code GenerationWebDesignIter为仓库级前端代码生成共进设计知识× 生成一个页面√ 维护一个已有的大型 React/Vue 项目模式Prompt→读取整个Repo→设计知识图谱→规划修改→Patch→运行测试→自动修复如 cursor prompt→修改代码创新点仓库级别、知识图谱、多步规划、自动测试、补丁生成、设计知识Repository LevelKnowledge GraphMulti-step Planning自动测试Patch GenerationDesign KnowledgeUniCoder2026.06Visual-to-Code /视觉到代码 的最新论文论文UniCoder: Unified Visual-to-Code Generation via Symbolic Rewards and Reference-Guided Code Optimization通过符号奖励和参考引导代码优化实现统一的视觉到代码生成支持 HTML 、SVG 、Chart 、Webpage创新不是 SFT监督微调而是Screenshot ↓ LLM ↓ Render ↓ Attribute Parse ↓ RL Reward ↓ 优化模型符号奖励/symbolic reward/Element-level Reward是未来 Design2Code 很重要的发展方向。初步理解css 符号对齐参考引导符号优化cssFigma2Code2026.04论文论文Figma2Code: Automating Multimodal Design to Code in the WildFigma JSONAssetsScreenshot ↓ LLM ↓ReactGenPageNetflixGenPageNetflix 的端到端生成式主页构建× Design2Code。✔ AI 自动生成首页。模式Prompt(User) ↓ Transformer ↓ Entire Homepage生成整个首页 Layout。这是 Generative UI三、其他信息【page-agent】阿里巴巴关于前端代码生成的 agent让AI直接”住进”你的网页用自然语言操控一切多模态论文汇总GitHub - xjywhu/Awesome-Multimodal-LLM-for-Code: [TMLR 2026] Multimodal Large Language Models for Code Generation under Multimodal Scenarios · GitHub
