大数据分析生命周期大数据分析与传统数据分析的主要区别在于其数据量庞大、速度极快且种类繁多。为了满足大数据分析的独特需求需要一套循序渐进的方法来组织数据获取、处理、分析和再利用等活动和任务。接下来的章节将探讨一个特定的数据分析生命周期该生命周期用于组织和管理与大数据分析相关的任务和活动。从大数据应用和规划的角度来看除了生命周期之外还必须考虑数据分析团队的培训、教育、工具和人员配备等问题。大数据分析生命周期可以分为以下九个阶段如图所示商业案例评估数据识别数据采集​​与过滤数据提取数据验证与清洗数据聚合与表示数据分析数据可视化分析结果的利用上图为大数据分析生命周期的九个阶段。商业案例评估每个大数据分析生命周期都必须始于一个定义明确的商业案例该案例需清晰阐述开展分析的理由、动机和目标。如图所示商业案例评估阶段要求在进行实际的分析工作之前先创建、评估并批准商业案例。上图为大数据分析生命周期的第一阶段。对大数据分析商业案例的评估有助于决策者了解需要利用的业务资源以及分析将要解决的业务挑战。在此阶段进一步确定关键绩效指标 (KPI) 有助于确定评估标准和指导分析结果的评估。如果 KPI 不易获得则应努力使分析项目的目标符合 SMART 原则即具体 (Specific)、可衡量 (Measurable)、可实现 (Attainable)、相关 (Relevant) 和有时限 (Time-bound)。根据业务案例中记录的业务需求可以判断所要解决的业务问题是否真正属于大数据问题。要符合大数据问题的定义业务问题必须与大数据的一个或多个特征例如数据量、数据速度或数据种类直接相关。另需注意的是此阶段的另一项成果是确定开展分析项目所需的预算。任何必要的采购例如工具、硬件和培训都必须事先了解清楚以便将预期投资与实现目标的预期收益进行权衡。与后续迭代相比大数据分析生命周期的初始迭代需要对大数据技术、产品和培训进行更多的前期投资因为这些早期投资可以重复利用。数据识别图所示的数据识别阶段专门用于识别分析项目所需的数据集及其来源。上图为数据识别是大数据分析生命周期的第 2 阶段。识别更广泛的数据源可以提高发现隐藏模式和关联的概率。例如为了提供更深入的见解尽可能多地识别相关数据源类型可能大有裨益尤其是在不清楚具体要寻找什么的情况下。根据分析项目的业务范围和所要解决的业务问题的性质所需的数据集及其来源可以是企业内部的也可以是企业外部的。对于内部数据集通常会编制一份来自内部​​来源如数据集市和运营系统的可用数据集列表并将其与预定义的数据集规范进行匹配。对于外部数据集我们会编制一份可能的第三方数据提供商列表例如数据市场和公开数据集。某些形式的外部数据可能嵌入在博客或其他类型的内容型网站中在这种情况下可能需要通过自动化工具进行采集。数据采集​​与过滤如图所示在数据采集和过滤阶段数据从上一阶段识别出的所有数据源中收集。然后对采集到的数据进行自动过滤以去除损坏的数据或被认为对分析目标没有价值的数据。上图为大数据分析生命周期的第三阶段。根据数据源的类型数据可能以文件集合的形式存在例如从第三方数据提供商处购买的数据也可能需要通过 API 集成获取例如与 Twitter 集成。在许多情况下尤其是在处理外部非结构化数据时部分或大部分获取的数据可能无关紧要噪声可以在过滤过程中被丢弃。被归类为“损坏”的数据可能包含缺失值、无意义值或无效数据类型的记录。在一种分析中被过滤掉的数据可能对另一种分析很有价值。因此建议在进行过滤之前先存储一份原始数据集的完整副本。为了最大限度地减少所需的存储空间可以对这份副本进行压缩。内部数据和外部数据一旦生成或进入企业边界都需要进行持久化保存。对于批量分析数据会在分析之前持久化到磁盘。而对于实时分析数据会先进行分析然后再持久化到磁盘。如图所示可以通过自动化方式向来自内部和外部数据源的数据添加元数据以改进分类和查询。附加的元数据示例包括数据集的大小和结构、来源信息、创建或收集的日期和时间以及特定语言信息。至关重要的是元数据必须能够被机器读取并在后续分析阶段传递。这有助于在整个大数据分析生命周期中维护数据来源从而有助于建立和保持数据的准确性和质量。上图为元数据添加到来自内部和外部来源的数据中。数据提取部分被确定为分析输入的数据可能采用与大数据解决方案不兼容的格式。来自外部数据源的数据更容易出现不同类型的数据需要处理的情况。如图所示数据提取生命周期阶段专门用于提取不同类型的数据并将其转换为底层大数据解决方案可用于数据分析的格式。上图为大数据分析生命周期的第 4 阶段。所需的数据提取和转换程度取决于分析类型和大数据解决方案的功能。例如如果底层大数据解决方案已经能够直接处理分隔符文本数据例如 Web 服务器日志文件则可能无需从中提取所需字段。同样如果底层大数据解决方案能够直接以原始格式读取文档那么提取文本进行文本分析需要扫描整个文档就会变得简单得多。下图展示了如何从 XML 文档中提取嵌入的评论和用户 ID而无需进一步转换。上图为从 XML 文档中提取评论和用户 ID。下图展示了如何从单个 JSON 字段中提取用户的纬度和经度坐标。上图从单个 JSON 字段中提取用户的用户 ID 和坐标。为了按照大数据解决方案的要求将数据分离成两个独立的字段还需要进行进一步的转换。数据验证和清洗无效数据会扭曲甚至篡改分析结果。与传统企业数据其数据结构预先定义且数据经过预先验证不同大数据分析的输入数据可能是非结构化的且没有任何有效性标识。其复杂性还会进一步增加制定一套合适的验证约束条件的难度。如图所示数据验证和清理阶段致力于建立通常很复杂的验证规则并删除任何已知的无效数据。上图为大数据分析生命周期的第 5 阶段。大数据解决方案通常会从不同的数据集中接收到冗余数据。这种冗余可以被利用来探索相互关联的数据集从而构建验证参数并填补缺失的有效数据。例如如图所示将数据集 B 中的第一个值与其在数据集 A 中的对应值进行验证。数据集 B 中的第二个值未与数据集 A 中的对应值进行验证。如果缺少某个值则从数据集 A 中插入该值。上图为数据验证可用于检查相互关联的数据集以便填补缺失的有效数据。对于批量分析数据验证和清洗可以通过离线 ETL 操作实现。对于实时分析则需要更复杂的内存系统来验证和清洗从源头到达的数据。数据来源信息在判断可疑数据的准确性和质量方面起着重要作用。看似无效的数据可能仍然有价值因为它可能包含隐藏的模式和趋势如图所示。上图为无效数据的存在导致了峰值。虽然数据看起来异常但这可能预示着一种新的模式。数据聚合与表示数据可能分散在多个数据集中因此需要通过公共字段例如日期或 ID将这些数据集连接起来。在其他情况下相同的数据字段可能出现在多个数据集中例如出生日期。无论哪种情况都需要一种数据协调方法或者需要确定代表正确值的数据集。如图所示数据聚合和表示阶段致力于将多个数据集整合在一起以得出统一的视图。上图为大数据分析生命周期的第 6 阶段。由于以下方面的差异执行此阶段可能会变得复杂数据结构——即使数据格式相同数据模型也可能不同。语义——在两个不同的数据集中被标记为不同的值可能表示相同的意思例如“姓氏”和“姓氏”。大数据解决方案处理的海量数据使得数据聚合成为一项耗时耗力的操作。协调这些差异可能需要复杂的逻辑而这些逻辑必须自动执行无需人工干预。在此阶段需要考虑未来的数据分析需求以促进数据重用。无论是否需要数据聚合都必须理解同一数据可以以多种不同形式存储。一种形式可能比另一种形式更适合特定类型的分析。例如如果分析需要访问单个数据字段那么以 BLOB 形式存储的数据就几乎没什么用处。大数据解决方案标准化的数据结构可以作为通用标准用于各种分析技术和项目。这可能需要建立一个中央标准分析存储库例如 NoSQL 数据库如图所示。上图为数据聚合的简单示例其中使用 Id 字段将两个数据集聚合在一起。下图展示了同一条数据以两种不同格式存储的情况。数据集 A 包含所需数据但它是 BLOB 的一部分无法直接查询。数据集 B 包含相同的数据但采用列式存储因此可以单独查询每个字段。上图为数据集 A 和 B 可以组合起来通过大数据解决方案创建标准化的数据结构。数据分析如图所示数据分析阶段专门用于执行实际的分析任务通常涉及一种或多种分析方法。该阶段可能具有迭代性尤其是在进行探索性数据分析时需要重复分析直到发现合适的模式或相关性。探索性分析方法和验证性分析将在稍后进行解释。上图为大数据分析生命周期的第 7 阶段。根据所需分析结果的类型这一阶段可以很简单例如查询数据集以计算用于比较的聚合值。另一方面它也可能极具挑战性例如结合数据挖掘和复杂的统计分析技术来发现模式和异常情况或者生成统计或数学模型来描述变量之间的关系。数据分析可分为验证性分析或探索性分析后者与数据挖掘相关如图所示。上图为数据分析可以作为验证性分析或探索性分析进行。验证性数据分析是一种演绎法它预先提出被研究现象的原因。这个提出的原因或假设被称为假设。然后分析数据以验证或推翻该假设并为特定问题提供明确的答案。通常会采用数据抽样技术。由于已经预先假设了原因因此通常会忽略意外发现或异常情况。探索性数据分析是一种归纳方法与数据挖掘密切相关。它不预设任何假设或前提而是通过分析数据来探索现象背后的原因。虽然这种方法可能无法提供确切的答案但它提供了一个大致的方向有助于发现其中的模式或异常情况。数据可视化如果只有分析师才能解读分析结果那么分析海量数据并从中发现有用见解的能力就没什么价值。如图所示数据可视化阶段致力于使用数据可视化技术和工具以图形方式传达分析结果以便业务用户进行有效解读。上图为大数据分析生命周期的第 8 阶段。业务用户需要能够理解结果才能从分析中获得价值并随后能够提供反馈如从阶段 8 回到阶段 7 的虚线所示。完成数据可视化阶段后用户即可进行可视化分析从而发现用户尚未提出的问题的答案。本书后续章节将详细介绍可视化分析技术。相同的结果可以用多种不同的方式呈现这会影响对结果的解读。因此在考虑业务背景的同时选择最合适的可视化技术至关重要。另一个需要记住的方面是提供一种向下钻取到相对简单的统计数据的方法至关重要以便用户了解汇总或聚合结果是如何生成的。分析结果的利用在将分析结果提供给业务用户以支持业务决策例如通过仪表盘之后可能还存在进一步利用这些分析结果的机会。如图所示“分析结果利用”阶段旨在确定如何以及在何处可以进一步利用已处理的分析数据。上图为大数据分析生命周期的第 9 阶段。根据所要解决的分析问题的性质分析结果可以生成“模型”这些模型概括了对所分析数据中存在的模式和关系的全新见解和理解。模型可以表现为数学方程式或一组规则。模型可用于改进业务流程逻辑和应用系统逻辑并可作为新系统或软件程序的基础。此阶段通常会探讨以下领域企业系统输入——数据分析结果可以自动或手动直接输入到企业系统中以增强和优化其行为和性能。例如可以将处理后的客户相关分析结果输入到在线商店这些结果可能会影响其产品推荐的生成方式。新模型可用于改进现有企业系统中的编程逻辑或作为新系统的基础。业务流程优化——数据分析过程中发现的模式、关联性和异常情况可用于改进业务流程。例如整合供应链流程中的运输路线。模型还可以帮助发现改进业务流程逻辑的机会。警报——数据分析结果可用作现有警报的输入也可作为创建新警报的基础。例如可以创建警报通过电子邮件或短信通知用户需要采取纠正措施的事件。