近日云器科技正式对外公布了面向AI时代的重要开源项目——incremental-skills增量Skill并同期发布配套的生产级工具cz-cli。云器科技将过去数年积累的增量计算核心算法系统性封装为一套可被主流AI编码Agent直接调用的“算法手册”使AI具备了将传统全量批处理SQL自动改写为增量计算逻辑的能力真正做到“一句话让AI搞定增量数据开发”。云器科技CTO 关涛与增量Skill核心研发工程师陈唯共同介绍了这一新能力并通过三组现场演示完整展示了增量Skill从算法生成到生产级落地的全过程。从不可能三角说起为什么需要增量计算数据处理领域长期存在一个被称为不可能三角的核心难题数据新鲜度Freshness、执行效率与成本Efficiency、查询性能Performance三者难以被单一引擎同时满足。这也是为什么当前企业数据栈中往往需要流处理、批处理、交互分析等多套专用系统协同工作分别覆盖三角形的不同侧面由此带来了高昂的架构复杂度与维护成本。云器科技提出的增量计算核心思路可以概括为一个简洁的公式ResultSet(T0) Δ(T0,T1) ResultSet(T1)——当新数据到达时系统无需从零开始重新计算而是复用此前已算得的结果仅针对新增或变化的增量数据进行计算并将结果与历史结果融合从而以远低于全量计算的代价得到最新结果。计算周期越短其行为越接近流计算计算周期越长则接近批处理由此实现在数据新鲜度与执行成本之间的灵活调节。CREATE DYNAMIC TABLE sales AS SELECT p.product_name, SUM(o.price) AS total_sales_amount FROM products p INNER JOIN orders o ON p.product_id o.product_id WHERE product_name ! Latte GROUP BY p.product_name;在云器Lakehouse引擎中用户只需将建表语句中的CREATE TABLE替换为CREATE DYNAMIC TABLE业务SQL逻辑无需任何改动系统即可自动完成增量化改造。实测数据性能提升近10倍成本最高可降90%云器Lakehouse是完全自主研发AIData下一代数据基础设施以Single-Engine架构统一流处理、批处理与交互分析三种计算形态。在权威的TPC-DS 10TB基准测试中云器引擎性能达到Spark的9.51倍依托增量执行、避免重复计算的核心机制客户综合成本最高可降低50%-90%。目前云器已在小红书、快手、长安汽车、大众Volkswagen、Ninja Van、长城汽车GWM、火花思维、Synagie等头部客户中落地覆盖汽车、金融、零售电商、社交媒体、物流、电信等多个行业业务跨中国与东南亚多个市场。小红书案例在小红书App全量行为日志数千亿/天及维度表更新数亿/天分析链路中相较此前FlinkClickHouse方案云器Lakehouse方案将资源投入从5000 core降至1800 core数据延迟优化至5分钟量级的同时准确性由Diff5%提升到Diff1%指标维度也可自由扩展至上百个。综合来看单一引擎带来架构、开发、存储成本三个1/3的下降。快手案例不同复杂度场景下增量计算均展现出显著的时效性与资源优势。中等复杂度场景中端到端时效性从离线T1小时缩短至5-30分钟资源消耗核*天从200降至64.3左右复杂场景下离线需T3.5小时产出增量最快30分钟内完成资源消耗从280降至最低154.3核*天。收益主要来自单次增量数据量小、避免重复全量计算且更早产出也降低了关键指标的破线风险。AI时代的新命题能否让大模型学会增量计算增量计算本质上是一套具备严谨数学基础的形式化算法。以一个最简单的双表Inner Join为例若表A、表B各有历史数据100行此后各新增1行增量数据全量重算的计算量为101×101理论上超过1万行而增量计算的公式为Δ(A⋈B) ΔA⋈B A⋈ΔB ΔA⋈ΔB最终计算量仅为100×1100×11×1201行相比全量计算**节省约98%**的计算量。但这套算法改写起来并不简单原本一行的Join语句改写为增量形式后需要拆分为三个子查询再做UNION ALL合并最终通过MERGE INTO语句更新目标表算子越复杂手写改写的难度呈非线性上升规则复杂度和空间复杂度在生产场景中往往难以控制这也是SQL级别的增量改写此前长期未能被大规模采用的核心原因。大模型的通用编码能力为这一命题提供了新的解法但云器科技的测试也表明直接依赖大模型裸写增量算法并不可靠——由于算法本身存在理论门槛模型生成的改写结果有时会包含隐蔽的逻辑遗漏且这类错误人工排查成本极高。基于此云器科技选择了一条更稳健的路径不是让AI自由发挥而是为AI安装一套专业知识插件Agent Skill使其系统地选择正确算法、生成正确的增量代码而非凭记忆猜测或即兴发挥。incremental-skills算法与数据源解耦适配任意引擎incremental-skills 采用分层架构设计核心算法层incremental-computation负责分析SQL结构涵盖Filter、JOIN、AGG、Window等主要算子匹配最优增量算法并生成可运行的增量脚本。运行前只需确认四个数据源前置条件如何读取某版本的全量快照Snapshot、如何获取两个版本间的行级变更Delta、当前版本标识符Version、以及列名与类型Schema。Adapter适配层项目已预置两类典型Adapter——面向Iceberg/Spark原生CDC能力的iceberg-versioned-reads以及面向无原生CDC能力场景的business-driven-versioning。后者揭示了一个关键洞察分区的进出本质上就是增量变更——新增分区可视为1权重滑出窗口的分区可视为-1权重无需依赖CDC即可推导完整的增量语义理论上可覆盖append-only日志表/事实表、overwrite维度表定期刷新需对新旧快照做Diff、sliding-window滚动窗口聚合三类典型ETL场景适配Hive、Spark、Iceberg等任意引擎及自定义DWD分区表——开发者只需实现Snapshot、Delta、Version、Schema四个接口核心算法层无需任何修改即可立即接入。现场实测从单表滑窗求和到双流Left Join收益量化可见增量skill研发工程师 陈唯在会上演示了三组由浅入深的真实改造场景Demo #1单表SUM滑动窗口。 针对每日全量重算近7天分类别销售额的典型报表需求SELECT category, SUM(amount) ... WHERE dt CURRENT_DATE - 6 DAY GROUP BY category开发者只需输入一句指令——/incremental-computation Convert target_7day_sum to incremental. sales: sliding-window, partitioned by dt.——increment-skills即自动生成带权重Delta的增量脚本新进分区权重记为1滑出分区权重记为-1通过SUM(amount * __weight)更新状态表与结果表。实测显示全量重算需扫描21行7个分区增量刷新仅需扫描6行2个分区即新进与滑出各一个性能节省71%且窗口宽度固定时无论历史数据积累多久每次刷新的扫描成本恒定为O(1)结果与全量重算逐行比对完全一致PASS。Demo #2双流LEFT JOIN SUM聚合。 这是一个复杂得多的双流场景orders与payments两张append-only分区表各自按天追加数据且payments存在迟到问题——订单先到、支付延迟到达时LEFT JOIN会先产生NULL结果待支付数据到达后该NULL行必须被撤回并重新计算Retract Insert普通增量脚本难以正确处理这种撤回逻辑。increment-skills自动将该查询分解为JOIN与可撤回聚合Retractable AGG两层带状态算子分别维护state_join与state_agg两张状态表并通过精心设计的Sentinel机制用固定占位值代替NULL参与JOIN避免NULL语义歧义保证撤回与重算的正确性。全部测试场景——包括NULL分组出现、跨批撤回、迟到数据触发的Term重算等边界条件——均通过与全量重算结果的逐行对比验证PASS,且验证证明每次刷新只处理有变化的Delta数据不扫描全表数据量越大增量计算相较全量计算的收益越大而增量处理量只与新增行数相关与历史数据总量无关。Demo #3接入cz-cli动态表生产级验证。 团队进一步展示了如何用云器的cz-cli将Demo #2中的LEFT JOIN案例改造为可直接生产运行的Dynamic Table仅需在原始SELECT语句前加一段CREATE DYNAMIC TABLE ... REFRESH ON DEMAND ...表头声明业务SQL本身零改动。实测中初始30个订单、25笔付款对应4行结果新增5个订单及8笔付款含5笔历史未付款订单完成结算后结果更新为5行且Dynamic Table查询结果与直接SQL全量查询100%一致关键的是增量刷新仅处理了34行输入数据相较全表扫描的55行行级增量捕获能力使得计算量随数据量的增长而进一步凸显收益且无需依赖分区假设。引擎无关、完全开源一条命令即可安装incremental-skills的定位是一套引擎无关的形式化知识体系。云器科技CTO 关涛在现场特别强调“即便你的基础设施只有最基础的Parquet分区、连数据湖表格式都没有升级也完全可以通过分区级别的逻辑定义接入这套体系。”目前incremental-skills已在GitHub正式开源clickzetta/incremental-skills遵循ClickZetta Incremental Skills License v1.0协议面向非商业用途完全免费使用欢迎社区Star与贡献。开发者仅需一条命令即可完成安装npx skills add clickzetta/incremental-skills该Skill已适配Claude Code、Cursor、Kiro、Copilot CLI、Gemini CLI、Codex等所有主流AI编码Agent理论上兼容任何支持Agent Skills规范的工具。安装后开发者只需用自然语言描述改造需求如帮我把这个SQL改成增量的Skill即会自动完成数据源前置条件确认、SQL结构解析与算子匹配、增量脚本生成、正确性逐步验证的完整流程并输出包含算法解析、正确性校验、性能量化分析的完整报告帮助团队理性判断某段链路是否值得改而非为了增量而增量。cz-cli生产级增量能力引擎接管数据一致性保障云器科技特别指出incremental-skills生成的增量脚本虽然算法正确、引擎无关但严肃生产环境仍需要更多平台级工程保障——包括状态表与目标表的数据一致性维护、并发写入的互斥调度、业务SQL变更时状态表与脚本逻辑的同步维护、以及多层级联依赖失败时的补数与重跑机制。这些是工程问题而非算法问题需要的是引擎级保障而不是更长的脚本。为此云器科技同期发布了cz-cli——面向ClickZetta Lakehouse的开源命令行工具你写SQL引擎替你维护增量流程。cz-cli具备三种使用形态共享同一套云器账号、Profile与权限体系便于统一治理与审计Standalone Agent无需配置任何上层AI工具cz-cli agent直接进入完整对话式Agent模式支持自然语言转SQL执行、智能Schema发现高风险操作强制人工确认Subagent作为Claude Code、Cursor、Kiro、Gemini CLI、Codex等主流AI编码工具的子Agent被调用cz-agent run可读取真实Warehouse上下文、执行SQL、诊断Job将ClickZetta操作无缝纳入AI开发工作流CLI Commandline传统命令行形态cz-cli sql适合脚本、CI/CD自动化及需要精确可复制命令的场景支持多环境Profile切换dev/test/prod。功能覆盖SQL查询执行、元数据浏览Schema/Table、Studio任务全生命周期管理创建/发布/运行/监控、Job性能诊断、多环境Profile管理、外部数据源管理及AI Gateway模型管理等数据工程师日常所需的核心能力。安全设计上cz-cli遵循当前账号权限继承、不为AI Agent额外放大权限并建议为AI Agent配置独立的低权限Profile如prod-readonly查询、巡检等只读操作可直接执行而SQL写操作、任务发布下线、补数重跑、删除等高风险操作均需显式参数确认。安装同样只需一条命令curl -fsSL https://cz-cli.ai/install.sh | sh随后执行cz-cli setup完成快速配置cz-cli status验证连接。新用户完成配置后即可获赠1000万免费Token用于体验AI Agent原生湖仓接口能力。写在最后能用只是第一步云器科技CTO 关涛表示“增量计算的价值分为三个层次——先解决能不能用再解决好不好用最后追求能不能做到秒级甚至毫秒级的极致实时。这次开源的incremental-skills解决的正是第一层能用的问题让任何团队、任何引擎都能低成本地迈出增量化的第一步而云器的Lakehouse引擎与cz-cli则致力于在此基础上持续解决好用与更实时的问题。我们希望通过开源的方式让增量计算这套沉淀多年的技术思想,真正成为整个数据社区可以共享和共建的公共知识。”现在就可以开始Star与安装 incremental-skillsGitHub仓库 https://github.com/clickzetta/incremental-skills欢迎Star / Fork / Issue安装命令 npx skills add clickzetta/incremental-skills支持所有主流AI编码工具。安装 cz-cli安装方式和更多详细信息请登录官方网站 cz-cli Official Site新用户可获赠1000万免费Token。GitHub仓库地址 https://github.com/clickzetta/cz-cli。免费试用云器Lakehouse官网地址 www.yunqi.tech可获得30天免费试用并赠送代金券。合作咨询电话400-6767-862邮箱serviceyunqi.tech欢迎关注云器公众号获取更多资讯云器科技官网 - 改变数据的使用方式更多内容欢迎关注「云器科技」官网云器科技-多云及一体化数据平台提供