数据治理做了两年,换了三个 AI 工具,质量还是一塌糊涂!

📅 2026/7/11 1:27:14
数据治理做了两年,换了三个 AI 工具,质量还是一塌糊涂!
这句话是我们一个业务负责人在季度复盘会上说的。他当时的语气不是愤怒是疲惫。两年时间IT 部门牵头做了三轮数据治理工具的选型和上线。每一次立项都有充分的理由每一次汇报都有漂亮的 PPT每一次验收都完成了既定指标。然而到了业务端财务拿到的数还是经常对不上销售的报表还是要手工校验管理层开会问一个数字还是要等。工具没少换问题没少交数据质量原地踏步。这这件事到底卡在哪里后来我们花了很长时间才想明白很多企业做数据治理最大的问题不是工具不够先进而是从一开始就把问题想简单了。文章所用到的智能问数AI数据分析工具Fine BI Next已经全部准备好https://s.fanruan.com/zk65g复制到浏览器一 工具本身不是问题所在每次选型失败之后团队的第一反应都是工具选错了。于是重新调研重新评测重新上线新工具。这个逻辑听起来合理但它的前提假设是错的——默认数据质量差是工具能力不足导致的。实际情况往往是另一回事。数据质量差根子通常在数据产生的源头而不是在治理工具上。业务人员在 ERP 里录入数据时字段填写不规范不同系统对同一个业务概念的定义不一致比如收入的确认时点财务系统和业务系统各用各的口径历史数据迁移时做了妥协留下了大量格式不统一的存量脏数据跨部门的数据交换没有统一标准每个部门按自己的习惯传数据。这些问题的性质是组织层面的数据行为问题工具检测得到但工具解决不了。换一个更强的 AI 治理工具它能更精准地发现异常、更快速地标记问题但问题被发现之后还是要靠人去追溯、去修正、去推动源头改变录入习惯。如果这个环节没有人负责问题发现了也是白发现下个月还会出现同样的脏数据。这就是为什么工具换了三轮质量还是差。治理工具解决的是发现和监控问题解决问题本身需要的是流程和责任。二 AI 工具解决了哪些问题解决不了哪些这两年三个工具都没有白用客观说它们在某些环节确实有效果。异常检测的效率提升了。人工校验一张报表可能要两个小时AI 工具扫一遍只需要几秒覆盖面也更全不容易漏掉边角字段的异常。对于规则清晰的数据质量问题比如金额字段出现负值、日期格式不统一、必填字段为空AI 的识别准确率很高基本能替代人工。字段映射和格式标准化也有改善。多个系统的数据汇聚时AI 能自动识别语义相近的字段做初步的映射建议减少了数据工程师手工对照的工作量。但有一类问题三个工具都没能真正解决——业务规则层面的数据逻辑校验。举个具体的例子。财务系统里某个月的收入数据完全符合格式规范没有空值没有异常字符AI 工具扫描全部通过。但业务负责人一眼就看出这个数字不对因为那个月有一笔大客户的合同提前确认收入了按实际发货节奏这笔钱不该在这个月。这类问题数据本身没有格式错误错的是业务逻辑判断。AI 工具没有业务背景它不知道这家客户的合同条款不知道收入确认的内部规则所以发现不了这类异常。这类问题的校验需要熟悉业务的人来设定规则而不是依赖 AI 自动学习。AI 能做好的是结构化规则下的自动执行。AI 做不好的是需要业务判断的软性逻辑。把这两件事混淆是选型期望过高的核心原因。三 数据治理失败的真实原因清单回头复盘这两年失败的原因并不神秘每一条都能找到具体的时间节点和责任人。数据标准先于工具但我们把顺序搞反了。上工具之前应该先把企业级的数据标准定清楚——核心指标怎么定义、口径怎么统一、各业务线遵循哪套规范。我们当时急于上线工具标准没定好就开始用结果工具在检测数据质量时连判断标准本身都是模糊的。治理工作没有业务部门参与变成了 IT 的单打独斗。数据质量的问题发生在业务侧解决也要靠业务侧配合改变行为。但两年里业务部门基本上是被动响应接到数据问题通知就修没有真正理解为什么要治理、治理结果跟自己有什么关系。这种参与度注定了治理效果是短暂的。没有建立数据质量的持续考核机制。第一轮治理结束后数据质量指标短暂上升然后缓慢回落。因为没有把数据质量纳入业务部门的日常考核改善的动力只在专项治理期间存在项目一结束老习惯就回来了。这三条合在一起再好的工具也救不了。工具只是放大器基础不扎实放大的是问题本身。四 第三轮之后我们换了一个思路第三个工具上线半年之后数据团队负责人找我谈了一次。他的判断是再换工具没有意义问题不在工具上。这个判断是对的。我们随后做了几件事方向从换工具变成了补基础。数据标准重新梳理了一遍这次拉上了财务、销售、供应链的业务负责人一起参与把核心的三十个业务指标逐一定义清楚形成了一份所有部门共同认可的口径文档。这件事花了将近两个月但它是后续所有工作的基础。在分析层我们引入了FineBI Next来重建管理层的数据消费体验。FineBI Next 相比上一代产品在数据准备层的能力做了比较大的升级——它支持在数据集层面直接做字段映射、口径统一和清洗规则配置业务人员进来看到的指标是已经按标准口径处理好的不会再出现同一个指标在不同报表里数字不一致的情况。更关键的是它的AI 辅助分析能力。FineBI Next 内置了智能问数功能业务人员用自然语言描述想看的数据系统自动生成对应的查询和图表不需要找数据团队取数也不需要自己写 SQL。对于管理层经常问的那类临时性问题——比如某个区域上个月的毛利率是多少、哪个产品线的回款周期最长——这个功能基本可以直接给出答案响应速度从过去的一天变成了几分钟。数据质量的监控告警也接入了 FineBI Next 的看板核心指标的异常波动会实时触发提醒管理层在看经营数据时如果某个数字背后有数据质量问题系统会直接标注不需要人工去排查。这个设计让数据质量的管理从后台变成了前台可见业务部门的重视程度也跟着提高了。五 数据治理的本质是一个管理问题说到底数据治理能不能成技术只占三成管理占七成。技术层面需要做好的事归结起来就两件一是把数据标准定清楚二是把工具选对、用对。这两件事做好了技术不会成为瓶颈。管理层面的挑战要难得多。数据质量的责任要落到具体的人不能只归到 IT 部门业务部门要有动力维护自己产生的数据质量这需要考核机制来撑着跨部门的口径统一需要有人有权力拍板不能靠各部门自己协商协商的结果通常是谁都不让步。工具能做的是在管理机制建立之后把执行效率提上来。管理机制没有工具只是一个花钱的摆设。换了三个工具还是不行这件事本身其实是一个信号——每次换工具都是在回避真正需要解决的管理问题。把换工具当成解法比承认组织问题要容易得多。但结果摆在那里两年、三个工具、质量还是烂这个代价比认真处理一次管理问题要贵得多。六 下一轮该怎么做给准备启动或重启数据治理的团队几个具体建议都是踩过坑之后总结出来的。立项前先做一件事把数据质量最差的五张报表拿出来逐一追溯问题是从哪个环节产生的。这个动作做完八成能找到真正的问题根源也能判断当前阶段最需要解决的是什么。工具选型时重点评估两个能力一是它能不能支持业务自定义校验规则能处理业务逻辑层面的质量检查二是它的分析层能不能把口径管理内置进去让数据消费方看到的数字天然就是标准化的。这两个能力是我们在经历了三轮失败之后才真正想清楚的选型标准。治理工作一定要设立业务侧的负责人不能只有 IT 侧的项目经理。数据从哪里来问题就要由谁来负责这个责任归属要在项目立项时就写清楚不能等到出了问题再推。