做数据处理还在写一次性脚本生产环境终于能用LLM自动搭流水线了做数据工程、大模型训练的同学肯定都遇到过这个痛点用LLM代码Agent生成的数据处理脚本写完就只能当一次性文件用可视化难、调整难、复用更难根本没法融入生产平台的治理流程。北大团队这次提出的方案刚好补上了自然语言需求到生产可用持久化数据流水线之间的缺口直接生成平台原生可编辑的可视化工作流。论文技术速览▌核心贡献提出解决NL2Pipeline鸿沟的平台原生数据流水线构建框架▌性能指标端到端通过率93.3% | 成本降低72.5%相对Vanilla Claude Code | 延迟降低49.9%▌代码状态已开源▌技术谱系自由代码生成 → 仓库感知代码生成 → 无引导工具调用 → 平台引导结构化DAG构建从一次性脚本到可编辑流水线代码Agent终于适配生产需求了最早的代码生成只是靠大模型的参数化知识直接输出完整脚本后来发展出了带自调试、多轮编辑的自主Agent能处理更复杂的代码任务。但这些方案都盯着怎么把代码写对没考虑生产环境的实际要求数据流水线需要一直被编辑、复用、审计你生成一个黑盒脚本别说可视化调整连依赖都经常 hallucinate根本用不了。之前也有工作做结构化工作流生成但要么不支持在现有平台上交互式迭代编辑要么没法把平台现有的算子生态和构造知识整合进去还是没法用。这个缺口就等着一个能扎根平台环境、直接生成可维护持久化流水线的方案DataFlow-Harness就是冲着这个问题来的。四大组件协作一步步搭出平台原生可编辑流水线DataFlow-Harness的整体架构围绕共享的流水线状态做同步用过程知识引导大模型Agent构建结构化的有向无环图DAG整体架构如下图图1DataFlow-Harness整体架构共享流水线状态在Agent运行时和前端界面间同步DataFlow-Skills引导构建过程验证引擎检查DAG结构和schema兼容性它整体分为四个核心模块我们一个个拆解1. 数据流水线后端权威的状态中心后端把整个流水线表示为公式和直接生成自由代码不同Agent只能通过类型化修改和后端交互增删算子、更新参数、连接依赖只有修改后保持DAG无环、上下游算子schema兼容修改才会被提交从根源上避免了结构错误。2. DataFlow-WebUI对话可视化双模态同步编辑平台提供了两个同步的编辑入口界面如下图图2DataFlow-WebUI双模态界面展示对话Agent和可视化DAG编辑器的同步效果用户可以用自然语言提需求Agent会自动修改流水线同时所有修改都会实时同步到可视化DAG编辑器用户也可以直接在编辑器里调整参数、增删算子、改依赖所有手动修改也会立刻同步给后端不影响Agent下一轮的推理真正做到自然语言引导手动微调的无缝结合。3. MCP工具层统一的状态交互协议所有修改不管是Agent提的还是用户手动改的都走「请求-验证-提交」三步流程每轮推理开始前Agent拉取最新的流水线状态包含上一轮后的所有手动修改Agent根据引导输出类型化的结构化修改调用MCP工具和后端交互验证DAG无环和schema兼容性不通过直接驳回通过的修改写入后端通过WebSocket通知所有客户端同步状态保证双模态一致。4. DataFlow-Skills把领域构造知识注入Agent推理MCP只提供算子元数据和当前状态不告诉Agent怎么搭流水线很容易出现结构对但逻辑错的问题。DataFlow-Skills就负责注入两类知识过程蓝图定义推荐的流水线搭建顺序比如schema推断、算子选择、参数配置、服务验证的步骤组合约束定义算子兼容规则比如模态匹配、嵌套结构的数据流规范。这两类知识给Agent做引导让Agent不用自己摸索构造逻辑就能搭出符合平台规范的流水线。十二项任务实测通过率接近最优基线 成本大降超四成本文设计了四个研究问题分别验证方案的效果、效率、作用机制和下游价值我们直接看实验结果主实验效果和效率对比表1不同方案的端到端通过率、token使用、成本和延迟对比主实验在12个数据处理任务上测试对比了四个方案原始Claude CodeVanilla CC无平台上下文直接生成脚本上下文感知Claude CodeContext-Aware CC给Agent提供平台代码上下文还是生成脚本仅MCP方案用MCP调用算子没有过程知识引导本文的DataFlow-Harness完整方案从结果可以看出DataFlow-Harness端到端通过率达到93.3%只比最优的Context-Aware CC低0.9个百分点比仅MCP方案提升了10个百分点基本补上了NL2Pipeline的缺口效率提升非常明显对比Vanilla CC成本降低72.5%延迟降低49.9%对比Context-Aware CC在通过率接近的情况下成本降低42.8%延迟降低17.6%效率优势非常显著。复杂任务验证教材转VQA任务表2教材转VQA提取任务的性能对比在需要组合多个专业算子的教材转VQA任务上DataFlow-Harness取得了最优的效果精度达到97.2%覆盖率达到87.3%都超过了所有脚本生成基线证明在复杂场景下依托平台算子生态过程引导能生成质量更高的流水线。消融实验过程知识什么时候有用表3按任务类型分组的每任务端到端通过次数10次独立试验消融实验分三类任务验证DataFlow-Skills的作用得到了非常清晰的结论依赖隐式过程知识的任务比如QA生成、长文档处理这类任务仅MCP方案总共18/30通过加上DataFlow-Skills后提升到29/30提升非常明显说明过程知识在这类任务上作用最大简单路由任务比如简单字段重命名、嵌套展平这类任务仅MCP方案已经能做到100%通过过程知识几乎没有额外帮助瓶颈不在合成的任务比如多字段评分这类失败原因是下游数值约束和流水线合成无关过程知识也没法解决这类问题。这个结果清晰说明了DataFlow-Skills的价值补全算子描述里没有的隐式过程知识在复杂任务上作用最明显。下游效用验证生成的数据训练效果更好我们直接看两个下游训练任务的结果第一个是数学推理数据合成流水线表4数学流水线下游训练准确率对比在相同训练设置下用DataFlow-Harness生成的流水线产出的数据训练出来的模型平均准确率更高1个epoch平均提升1.7个点2个epoch平均提升1.2个点在最难的AIME任务上提升尤其明显说明DataFlow-Harness生成的流水线产出的数据质量更高。第二个是通用指令微调流水线表5通用SFT流水线下游训练准确率对比在通用指令微调任务上DataFlow-Harness生成的流水线在所有代码任务上都取得了更好的效果整体平均准确率提升2.3个点再次证明平台扎根的流水线能产出质量更高的训练数据。资源汇总论文来源https://arxiv.org/abs/2607.16617Git Hubhttps://github.com/OpenDCAI/DataFlow-WebUI相关数据https://opendcai.github.io/DataFlow-Doc/总结DataFlow-Harness解决了大模型代码Agent生成的流水线没法在生产环境复用编辑的核心痛点通过过程知识引导、实时平台扎根、结构化增量修改和双模态同步编辑实现了接近自由脚本生成的通过率同时大幅降低了构建成本和延迟 ablation实验也明确了过程知识的适用场景下游实验也验证了它能产出更高质量的训练数据。这个方案让普通用户用自然语言就能在现有数据工程平台上生成可维护可编辑的流水线对于降低数据工程门槛、提升大模型训练数据流水线的构建效率有很高的应用价值。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】