【导航台账】制造业数据与AI践行者老蒋的技术博客全系列文章汇总持续更新 文章摘要针对制造企业传统数仓无法承载非结构化数据、数据湖质量难管控的普遍痛点结合智联工坊虚拟工厂实战场景从数据类型、架构对比、业务落地、技术选型四个维度讲透湖仓一体的核心价值与落地路径。方案对标 GB/T 39116-2020 智能制造标准可直接作为企业数据平台建设的参考方案。目录开篇数仓人躲不开的灵魂拷问正文一、制造企业的数据现状三种数据三座大山二、数据湖 vs 数据仓库两个时代的两种思路三、制造企业为什么“又想要湖又想要仓”四、湖仓一体把数仓的“规矩”和数据湖的“包容”结合起来五、智联工坊的湖仓一体实践方向六、技术选型速览总结湖仓一体不是技术噱头是制造企业的现实需要系列导航互动与交流关于作者开篇数仓人躲不开的灵魂拷问兄弟们你们有没有遇到过这种场景领导说“把设备日志、监控视频、传感器时序数据都放到数仓里我要做综合分析。”你第一反应是“领导数仓存不了视频啊……”领导说“那你们搞的那个什么湖不是啥都能存吗”你说“数据湖能存但查起来慢得要命而且数据质量没法保证。”领导沉默了你也沉默了。当时我的第一反应是这不科学啊……数仓和数据湖明明都是存数据的为什么一个存不了非结构化数据一个管不好数据质量制造业的数据量越来越大类型越来越多传统的数仓架构正在被现实狠狠打脸。而湖仓一体就是解决这个矛盾的答案。本文要解决的问题用最通俗的方式讲清楚“湖仓一体是什么、为什么制造企业需要它、它到底解决了什么痛点”。适合谁读正在为数据平台架构发愁的数仓工程师、数据架构师以及想理解技术选型逻辑的IT管理者。脱敏声明本文部分场景基于虚拟工厂“智联工坊”的实际业务需求提炼所有数据均已脱敏处理。正文一、制造企业的数据现状三种数据三座大山在智联工坊生产制造过程中产生的数据大概可以分为三类数据类型典型来源格式特点数据量级结构化数据ERP订单、MES工单、设备台账二维表固定schemaTB级半结构化数据设备日志、JSON配置文件、XML工艺文件有结构但字段不固定TB级非结构化数据监控视频、质检图片、设备音频、PDF图纸无固定格式PB级传统数仓的困境数仓只认结构化数据。半结构化需要强行解析非结构化直接拒之门外。传统数据湖的困境数据湖来者不拒但数据质量全凭自觉——没有ACID事务没有Schema校验写入的数据经常“烂尾”。这就是制造企业数据平台的“三座大山”结构化数据管得过来半结构化数据勉强能处理非结构化数据直接放弃。二、数据湖 vs 数据仓库两个时代的两种思路为了理解湖仓一体得先搞清楚数据湖和数据仓库到底有什么区别。维度数据仓库传统数据湖Hadoop时代存什么只存结构化数据存一切数据结构化半结构化非结构化什么时候建模写入前建模Schema-on-Write读取时建模Schema-on-Read数据质量高ETL清洗后才入库低原始数据直接入湖质量靠下游保证事务支持支持ACID事务不支持写入时无事务保证查询性能快经过优化和索引慢需要全量扫描或额外建表典型场景固定报表、BI分析、经营决策数据探索、机器学习、日志分析用一个比喻帮助理解数据仓库像超市。商品上架前已经分类、贴标、定价顾客业务来了直接拿。缺点是只能放标品。数据湖像仓库。什么东西都能往里面堆原材料、半成品、成品混在一起。优点是啥都能放缺点是想找东西时得先翻一遍。三、制造企业为什么“又想要湖又想要仓”回到智联工坊的场景场景一设备预测性维护上层 AI 落地案例设备故障排查全链路 Agent我们需要把设备传感器数据时序数据和设备维修记录结构化数据、设备图纸PDF、故障音频非结构化放在一起分析。只有数仓图纸和音频放不进去只有数据湖没法保证维修记录和传感器数据的关联一致性两个单独都不行。场景二质量追溯延伸阅读数据质量自动化巡检落地方案一批产品出了问题需要从订单→工单→设备参数→质检图像→维修记录全链路追溯。结构化数据订单、工单用数仓查秒级响应非结构化数据质检图像在数据湖里需要全文检索如果分两套系统业务需要写两套查询逻辑还要自己拼结果。这也是痛点。场景三实时监控 历史分析车间的设备状态需要实时监控流式计算同时需要做历史趋势分析批处理。数据湖擅长批处理历史分析数仓擅长结构化查询实时监控的存储层制造企业的数据需求天然就“既要又要”既要数仓的规范性和性能又要数据湖的灵活性和容量。这就是湖仓一体出现的根本原因。四、湖仓一体把数仓的“规矩”和数据湖的“包容”结合起来湖仓一体的核心思想并不复杂用数据湖的存储底座加上数据仓库的管理能力。说白了就是存数据的介质是数据湖低成本、高容量但上层加了一层“管理”让数据变得规范、可查、可信。一张图帮助理解湖仓一体让制造企业可以需求怎么实现存视频/图片/日志数据湖底层存储不限格式保证数据一致性ACID事务层写入不出错快速查询结构化数据元数据管理层建索引、分区、优化统一查询接口一套SQL引擎查所有数据流批一体一套架构支持实时离线说白了就是能存一切存了不乱查得快用得放心。五、智联工坊的湖仓一体实践方向结合智联工坊的实际业务湖仓一体架构将在以下场景落地业务场景当前痛点湖仓一体方案设备预测性维护传感器数据维修记录图纸分散在3套系统统一入湖一张表关联所有质量追溯订单→工单→质检→维修链路断裂全链路数据贯通一键追溯OEE综合分析设备数据与订单数据无法关联结构化时序数据统一建模智能质检图片无法入库只能存路径图片直接入湖与结构化数据关联供应链协同供应商数据格式各异难整合半结构化数据直接入湖按需解析六、技术选型速览组件选型方向说明存储底座HDFS / OSS低成本、高可靠的对象存储表格式Apache Iceberg / Hudi / Delta Lake湖仓一体的核心ACID 时间旅行 Schema演化计算引擎Spark / Flink批处理用Spark流处理用Flink查询引擎Trino / Doris交互式查询低延迟调度系统DolphinScheduler离线任务编排总结湖仓一体不是技术噱头是制造企业的现实需要怕你忘了我再啰嗦一遍制造企业的数据是混合的结构化半结构化非结构化传统的数仓装不下所有数据传统的数据湖管不好数据质量。湖仓一体不是概念炒作是制造企业数据平台演进的必然方向。三个核心认知数据仓库的“规矩”和数据湖的“包容”不是对立的而是互补的。湖仓一体把两者的优势结合起来让制造企业既能存一切数据又能保证数据质量。制造企业的数据痛点天然适合湖仓一体。设备日志、传感器时序、质检图片、维修记录——数据类型的多样性决定了单一架构无法满足所有需求。湖仓一体是技术演进不是推倒重来。对于已有数仓的企业湖仓一体可以看作“数仓能力的外延”——存储层升级、查询层统一、管理层增强。智能工厂对标本方案对应GB/T 39116-2020中“数据资源”能力域辅域——实现多元化数据资产的统一管理和高效利用为智能制造的数据驱动决策奠定基础。系列导航本文所属系列[制造业数据与AI落地实战]上一篇《智联工坊实战多工具协同Agent让AI像人类一样规划与执行复杂任务-CSDN博客》下一篇《智联工坊数据底座选型实战为什么选DorisDolphinScheduler》即将发布互动与交流我先抛个砖之前服务的一家离散制造工厂数仓用了 5 年上了 AI 质检后图片数据存不下最后走了湖仓一体的升级路线。你们有没有遇到过类似的架构瓶颈评论区聊聊。咱们一起交流——说实话数仓架构选型这件事没有标准答案只有最适合的答案。关于作者制造业数据与AI践行者老蒋23年IT老兵。聚焦制造业数据架构与AI融合落地。全流程实战全源码开源。标签#制造业数据 #数据架构 #湖仓一体 #数据仓库 #数据湖 #数据治理 #智能制造