高质量数据集平台不应成为新的集中式数据孤岛而可以 Data Fabric 为核心在既有数据底座上构建场景化虚拟数据资产目录并以主动元数据驱动数据发现、影响分析和持续运营。过去几年企业围绕数据基础设施进行了大量建设。数据仓库开始承载经营分析和主题数据数据湖扩大了对原始数据、半结构化数据和非结构化数据的容纳范围湖仓一体尝试兼顾开放存储与分析计算数据中台则进一步沉淀公共数据、指标体系和数据服务。与此同时数据治理平台也在持续完善标准、质量、元数据、血缘和权限管理。从基础设施的角度看很多企业已经不缺平台。但当业务部门真正提出一个模型或智能体应用需求时项目团队的工作方式往往没有发生根本变化。数据人员仍然需要到多个系统中寻找数据反复确认业务口径和字段含义制度文档、业务数据、审批记录和运行日志仍然分散在不同平台一套数据集建成以后企业也很难准确回答它使用了哪些源数据、当前正式版本是什么、被哪些模型调用以及源数据变化后会影响哪些应用。数据已经汇聚数据集建设却依然高度依赖人工协调。企业今天面对的问题已经不只是“有没有数据”也不只是“数据有没有集中起来”而是分布在数据中台、数仓、数据湖、湖仓、业务系统和文档平台中的数据如何被持续发现、理解、组合和治理并转化为面向模型与智能体任务的高质量数据集。高质量数据集平台因此不能只是再建设一个新的集中存储也不能只是把数据清洗、样本标注、质量检测和文件下载功能重新组合起来。它需要在企业已有的数据基础设施之上形成一套连接数据资源、数据集生产、质量评测、版本发布、应用使用和反馈迭代的运行体系。数据已经被平台化管理却尚未被场景化组织企业过去建设数据平台首先解决的是数据分散存储和重复加工的问题。不同业务系统中的数据被逐步汇聚到数仓、数据湖或湖仓平台经过标准化处理后形成主题数据、公共指标和数据服务。数据资源目录又进一步对库、表、字段、文件和接口进行登记补充业务定义、责任人、质量状态、敏感等级和上下游血缘。企业由此开始知道自己拥有哪些数据这些数据位于哪里又应该由谁负责。这些能力是高质量数据集建设的重要基础。但当数据真正进入模型训练、知识库建设和智能体任务时新的问题开始出现。一个供应商付款审核智能体不仅需要付款记录和供应商主数据还可能需要读取合同状态、采购制度、预算信息、审批矩阵、历史审批轨迹以及人工复核结果。这些数据有的位于数仓有的仍然保存在业务系统有的存在于合同和文档平台有的则来自流程日志、知识库或者智能体运行轨迹。即使企业已经建设了湖仓也很难要求所有相关数据始终完整、实时地复制到同一个位置。更重要的是数据进入同一个存储环境并不意味着业务语义已经统一。同一个“供应商”“有效合同”“可用预算”或“外部服务采购”在不同系统中可能存在不同的定义、编码和使用规则。物理上已经汇聚的数据仍然需要业务人员和数据人员共同判断哪些数据能够关联哪些数据适用于当前任务。数据集中解决的是数据存在哪里、如何加工和如何计算高质量数据集平台还需要解决数据能够支撑什么任务、应该如何组合、是否满足使用要求以及变化后会影响什么。图1 数据已经汇聚为什么场景找数仍然困难企业平台通常按照系统、主题域、库表和字段组织数据而真实需求按照场景、任务和判断条件提出。两种组织方式的错位使项目团队仍然需要人工完成找数、认数、对口径和组数据。传统数据资源目录难以直接回答“任务需要什么”传统数据资源目录本质上是对企业数据现状的描述。它通常沿着数据产生和管理的路径展开业务系统、业务域或主题域、数据库、数据表再到字段、文件和接口。这种组织方式非常适合数据盘点、资产登记、标准管理、责任认定和权限治理。使用者只要大致知道数据来自哪个系统、属于哪个主题域就可以沿着目录逐级查找。但高质量数据集建设的起点并不是一张表而是一个业务场景。当企业准备建设供应商付款审核智能体时项目团队提出的问题不是“付款数据在哪张表”而是这笔付款是否存在有效合同、预算是否充足、采购方式是否符合制度要求、审批链条是否完整、供应商是否处于有效状态以及当前业务是否触发了额外的法务或财务审查条件。这些业务判断背后的数据可能分别来自供应商主数据、合同系统、财务数仓、预算平台、采购制度文档、工作流日志和历史人工审核记录。它们不仅分布在不同系统也可能以表、字段、文档、规则、接口和任务轨迹等不同形态存在。传统目录能够告诉使用者这些数据分别在哪里却很难直接回答为了完成供应商付款审核究竟需要哪些数据哪些数据可以共同支撑这一任务它们之间应当如何关联以及当前版本、质量和时效性是否满足使用要求。因此企业面临的并不是简单的“找不到数据”而是缺少从业务场景反向识别数据资产的能力。数据资源已经完成登记但业务任务与数据资产之间仍然存在一段需要人工翻译和人工连接的距离。传统数据资源目录主要从数据供给侧组织资产而高质量数据集建设需要从业务需求侧重新发现和组合资产。图2 从“数据在哪里”到“任务需要什么”再建一个集中式平台可能只是增加一个新的数据孤岛面对数据仍然分散的问题最直接的思路通常是继续搬运数据。企业可以再建设一个面向人工智能的数据平台将湖仓、业务数据库、文档、知识库和运行日志重新复制进来统一完成加工、标注和服务。这种方式在范围有限的项目中可以快速见效但当数据源不断增加、业务规则持续变化、模型和智能体应用快速扩展时它也会产生新的问题。同一份数据可能已经存在于业务系统、数据中台、湖仓和人工智能平台中。不同平台分别维护自己的副本和加工规则很容易形成更新时间不同、业务口径不同、责任主体不同的多个版本。数据迁移本身也无法一劳永逸。业务系统不断调整文档持续发布新版本实时接口状态不断变化模型和智能体日志持续产生。依赖定期抽取和复制的数据平台很容易在数据集建成时就已经落后于源数据。此外并不是所有数据都适合完整搬迁。敏感数据可能受到授权限制实时状态更适合通过接口访问大体量数据不适合为了单一任务反复复制部分业务系统也必须保留对数据的最终控制权。高质量数据集平台的建设方向不应是把企业已有数据再搬到一个新的地方而应让数据继续保存在既有系统中同时统一组织其元数据、业务语义、质量状态、血缘关系、权限策略和使用依赖。Data Fabric带来的不是新的存储而是新的组织方式Data Fabric 并不是一套用来替换数据中台、数仓、数据湖或湖仓的新型存储产品。它更强调在异构、分布式的数据环境中通过跨源连接、数据集成、数据虚拟化、联邦访问、业务语义、主动元数据、治理策略和流程编排让不同位置的数据形成一张逻辑上连续的数据网络。在这种架构下数据不一定需要提前全部迁移到同一个存储中。对于需要实时访问的数据可以通过接口或联邦查询获取对于需要频繁使用的数据可以进行缓存或增量同步对于模型训练、固定评测和审计复现所需的数据则可以在完成筛选和验证以后再进行物化。这使高质量数据集平台能够建立在企业已有数据基础设施之上而不是重新建设一个新的数据孤岛。过去企业主要通过搬运数据实现统一先确定数据要进入哪个平台再围绕新的存储环境建立加工、目录和服务。Data Fabric 则更强调通过连接和元数据形成逻辑统一数据可以分布存放但数据之间的语义、血缘、质量、权限和使用关系需要能够被统一理解。这张网络并不是简单的系统连接拓扑。它需要知道合同表中的合同编号、付款表中的合同标识和制度文档中的适用条款分别对应什么业务概念需要知道某条付款记录与哪个供应商、哪个合同和哪次审批相关还要知道这些数据曾经被哪些数据集、模型或智能体使用。当这些关系被建立以后平台才能真正从“按系统找数据”走向“按场景识别资产”。集中式平台让数据进入同一个地方Data Fabric 让不同地方的数据进入同一张业务关系网络。图3 在既有数据底座之上织成统一的数据资产网络数据中台、数仓、数据湖、湖仓和业务系统继续承担存储、加工和计算职责。Data Fabric 在其上建立跨系统连接、虚拟访问、统一语义、质量、权限和血缘关系。虚拟数据资产目录要从“数据目录”走向“场景目录”Data Fabric 需要通过一个统一入口将分散的数据连接和语义关系呈现给使用者。这个入口不是传统数据资源目录的简单汇总而应当是一套面向场景和任务的虚拟数据资产目录。在传统目录中使用者往往沿着系统和数据层级进行检索。而在虚拟数据资产目录中业务人员可以从“供应商付款审核”“客户投诉处置”“设备故障诊断”或“合同合规审查”等场景出发查看完成任务所需要的业务判断、数据要素和候选数据资产。以供应商付款审核为例目录呈现的不再只是若干包含“供应商”“合同”或“付款”字段的数据表而是一套围绕任务组织的数据资产视图。供应商身份及有效状态来自哪些数据源合同生效状态应参考哪个系统预算余额的时效性如何采购制度当前适用哪个版本审批轨迹是否完整以及历史上是否已经形成可复用的审核样本和任务轨迹都应当被组织在同一个场景视图中。在这个过程中物理表和字段没有消失但它们不再是数据发现的唯一入口。平台围绕业务概念和任务将结构化数据、文档、规则、接口和运行轨迹组织到同一场景中并让使用者进一步了解这些数据的来源、质量、权限、血缘和使用状态。仅仅给数据表增加“供应商付款”“风险管理”或“客户服务”等标签并不能真正解决问题。完整的场景通常包含业务对象、业务动作、判断条件、适用规则、时间范围和预期结果。平台需要将这些任务信息进一步映射到业务术语、数据实体、指标口径、制度规则和数据资产。传统数据资源目录以“数据在哪里”为入口虚拟数据资产目录以“任务需要什么”为入口。业务场景 → 任务目标 → 业务判断 → 所需数据要素 → 候选数据资产 → 质量、权限与时效判断 → 数据组合方案图4 从“场景找数”到“数据即用”平台从任务目标和判断条件出发在虚拟数据资产目录中识别候选数据结合语义、质量、权限、时效和血缘完成筛选与组合最终通过接口、视图或文件交付。主动元数据让场景与数据之间的关系持续有效场景化目录最大的挑战不是第一次建立“任务需要哪些数据”的关系而是如何让这些关系长期保持准确。企业的数据环境一直在变化源表可能新增或删除字段预算接口可能调整返回结构合同系统可能更换状态编码采购制度可能发布新版本原本高质量的数据也可能因为更新延迟而暂时失效。业务场景同样会变化。过去只需要判断合同和预算的付款审核流程可能因为新制度增加法务复核智能体上线以后也可能在运行中暴露出新的边界条件和数据缺口。如果场景与数据之间的映射完全依赖人工维护虚拟数据资产目录很快也会失去准确性。主动元数据的价值就在于它能够持续观察数据、任务和应用的真实运行状态并不断修正它们之间的关系。传统元数据主要描述数据是什么、在哪里、由谁负责以及经过了哪些加工。主动元数据则进一步持续获取数据的结构变化、质量波动、更新频率、访问行为、使用效果和上下游依赖。当这些信息被关联起来以后元数据便不再只是用于查看的说明信息而开始参与平台运行。当源表结构发生变化时平台可以识别哪些数据集和加工任务可能受到影响当关键质量指标低于阈值时可以暂停相关数据集发布当业务制度发生变化时可以定位依赖旧规则的知识数据集、评测样本和智能体任务。主动元数据的重要性并不在于企业又采集了更多元数据字段而在于元数据是否真正进入了质量检查、影响分析、版本更新和应用通知流程。Data Fabric负责连接数据虚拟数据资产目录负责按照场景组织数据主动元数据负责让这张数据网络持续感知变化并推动行动。从虚拟数据资产走向可复用的正式数据集虚拟数据资产目录提高了场景化找数的效率但目录推荐的数据不会自动成为高质量数据集。平台通过场景理解和主动元数据发现的首先是一组可能适用于当前任务的数据资产。这些数据还需要经过业务确认、质量筛选、权限判断和语义映射。不同来源的数据需要进一步完成清洗、转换、关联、样本构造和标注审核才能成为可以正式使用的数据集。因此高质量数据集平台中应当同时存在两种资产形态。虚拟数据资产负责跨系统发现、关联、探索和按需组合正式数据集版本则负责模型训练、固定评测、知识供给、审计追踪和结果复现。对于探索、实时查询和动态组合平台可以更多使用联邦访问和数据虚拟化能力。但模型训练、固定评测、监管审计和结果复现仍然需要形成冻结的数据集快照并记录源数据版本、加工规则、质量结果和适用范围。Data Fabric 并不替代高质量数据集工程而是缩短了从业务场景到候选数据资产之间的距离。高质量数据集工程再通过清洗、标注、审核、评测和版本发布将可访问的数据资产转化为可使用、可评测、可追溯和可复现的数据集。虚拟数据资产解决数据如何快速发现和组合物化数据集版本解决数据如何稳定使用和重复验证。高质量数据集平台最终需要形成持续运营闭环一套高质量数据集平台的价值不能只体现在首次找到并加工出一批数据。真正决定平台能否长期运行的是它是否能够持续发现数据、治理数据、评价数据、优化数据并将使用反馈重新带回数据资产体系。平台需要持续接入新的数据源、文档和运行轨迹也需要不断识别元数据变化和业务上下文。数据进入平台以后需要持续接受标准、质量、安全和权限约束并形成明确的数据血缘和影响关系。数据资产在被使用以后还需要根据质量表现、访问热度、应用效果和业务价值进行持续评价。当平台发现资产质量下降、目录关系失效、使用成本过高或应用需求发生变化时需要进一步推动数据、规则、缓存、接口和组合方案的优化。最终模型、知识库、智能体和业务应用产生的反馈又需要回到目录和数据集生产过程中形成新的场景关系、样本和评测依据。持续发现 → 持续治理 → 持续评估 → 持续优化 → 持续应用与反馈图5 Data Fabric 驱动的虚拟数据资产运营闭环平台通过持续发现、治理、评价、优化和反馈让虚拟数据资产目录不断演进并从“数据可见”进一步走向“数据可信、可用、可治理”。平台建设不应从“大而全”开始以 Data Fabric 为核心并不意味着企业必须一次性建设覆盖所有数据源、业务域和人工智能应用的大型平台。真正可行的方式仍然是从一个明确的高价值场景开始。企业可以先选择采购审核、客户服务、风险识别或设备运维等任务梳理完成该任务需要哪些业务判断以及这些判断所依赖的数据目前分布在哪些系统中。平台首先连接与该场景直接相关的数据资源建立必要的业务语义、质量状态、权限和血缘关系形成一套范围有限但能够真实使用的虚拟数据资产目录。在此基础上再逐步将数据筛选、数据组合、样本加工、质量评测和版本发布纳入统一流程并记录数据集与模型、知识库和智能体之间的依赖关系。当一条完整的数据集生产和使用链路被打通以后平台才能开始积累真实的运行元数据。随着场景逐步扩展这些连接、语义和元数据关系可以被不同项目复用平台才会从局部的数据集建设能力演进为企业级数据资产网络。选择一个高价值场景打通一条完整链路在链路中沉淀元数据、语义和使用关系再逐步扩展平台覆盖范围。结语企业过去建设数据中台、数据仓库、数据湖和湖仓一体平台解决了数据汇聚、存储、加工和计算的问题。这些能力不是高质量数据集平台需要替代的对象而是平台继续发展的重要物理基础。但随着模型和智能体逐步进入真实业务流程仅仅依靠数据集中存储和传统数据资源目录已经很难支撑数据的快速发现、灵活组合、影响分析和持续更新。高质量数据集平台需要从“继续搬运数据”转向“连接和组织数据”。它应当以 Data Fabric 为核心在企业已有数据基础设施之上构建场景化虚拟数据资产目录并通过主动元数据持续感知数据变化、质量状态、业务语义和应用依赖。在此基础上高质量数据集工程再将分布式的数据资源转化为可以训练、评测、检索和支撑任务执行的正式数据集版本。最终企业需要建设的不是一个新的数据孤岛而是一张能够连接既有数据资产、理解业务任务、感知运行变化并持续支撑模型与智能体的数据网络。湖仓让数据得到汇聚Data Fabric 让数据形成连接虚拟数据资产目录让数据围绕场景被组织主动元数据让这张数据网络能够持续感知和行动。