数据挖掘即从数据中获取知识。业界对此认可度最高但如何开发完整的大数据挖掘项目至今仍无统一规范。哲学思想传统科学工程依赖首要原则模型如计算汽车行驶距离先统计时间、速度等参数再用牛顿定律建模求解。数据挖掘则不同知识学习无需专业知识建模——若已记录100辆相似汽车的数据直接求均值即可。这是直接面向数据、从数据开发模型模拟了人的原始学习过程。起源数据挖掘起源于多个学科建模部分源于统计学模型驱动与机器学习算法驱动。此外还涉及数据库、可视化等领域。基本任务两大目标预测与描述。预测包括分类划分到预定义类与回归映射到真实值描述包括聚类无预定义类划分与关联规则发现。前者称监督学习后者称无监督学习。基本流程解读需求与领域专家交流合作贯穿项目始终。搜集数据多从业务系统数据库提取抽样时需确保训练与检验数据同分布。预处理含数据准备缺失值、异常值、归一化等与数据归约维度、值、案例归约。评估模型在不同模型间选择最优耗费时间往往最少。解释模型模型辅助决策需针对具体环境合理解释。工程架构以A公司为例数据引擎团队分四大组架构基于维度建模的云数据仓库对上层提供算法、推荐、可视化支撑。整体分三块底层数据仓库、中间数据引擎、高层可视化/前端输出。