二、数据科学导论——数据科学认知第1关数据初体验任务描述本关任务根据下面的相关知识完成与数据认知相关的选择题。相关知识数据、信息和知识逻辑学中概念是认识事物的。要准确把握大数据的内涵先要弄清数据、信息和知识的三者之间的关系数据是记录客观事物的、可鉴别的符号通常具有文本、数字、事实或图像等形式信息是在数据的基础上加工处理形成的对客观世界产生影响的数据集合知识是有语法、语义关联的信息结构通常表现为人所拥有的真理和信念、方法论和技能等。例如数字 0, 1, 2, 3, 4 是数据是最原始的记录没有回答特定的问题没有任何意义。今天最低气温是 0 度则是信息由于为数据赋予了上下文也就是建立了数据之间的关联一下子变得有意义了信息往往能回答 “who(谁)”、“what(什么)”、”where(哪里)”、“when(何时)” 等问题。水在 0 度结冰 则是一条知识它回答了 “how(怎样)”、“why(为什么)” 等问题能从更高层面指导人的实践活动。数据、信息和知识三者之间的关系好比金字塔数据在最底端知识在最顶层数据经过整理预测得到信息信息经过提炼挖掘形成知识自下而上数量越来越少价值越来越高。数据是如何产生那么现实生活中我们每个人每天都在制造和使用数据换个高级的说法我们既是数据的生产者又是数据的消费者。下面这些日常行为都是我们在制造数据例如我们在购物的时候会生成以下数据商场的人流量商品的销量、受欢迎程度等等人们的消费能力。……数据的度量单位和度量尺度我们都知道人民币的度量单位是圆、角、分而数据的度量单位则是比特和字节。其中比特是计算机最小的数据单位 1 比特等于 1 或者 0 是计算机处理、存储、传输数据时使用的二进制格式字节则是用于描述数据文件大小、磁盘或其他存储介质空间的容量或者通过网络传输的数据量的单位 1 字节相当于 8 比特。用大写的 B 来表示 byte 。通常我们采用字节描述数据量的大小。信息技术进步推动了数据产生和发展光有海量数据还不足以形成大数据信息技术的整体演进推动了大数据的产生和发展。如图所示传感器和社会网络是大数据的主要来源云计算和数据中心提供了大数据存储互联网和移动互联网解决了大数据传输人工智能和机器学习则支撑了大数据处理。因此大数据首先是一种技术进步这种进步继而推动了人类认识世界和改造世界能力的进步带来了大知识创造了大价值。数据成为一种战略资源量变引发质变当数据的价值日益凸显出来时人类意识到数据也成为了一种资源。不同于传统物质性资源数据具有独特的性质首先数据是一种可再生资源它的的价值不会随着它的使用而减少不会因为使用而折旧和贬值可以不断地被处理其次数据价值并不仅仅限于特定的用途它可以为了同一目的而被多次使用亦可用于其他目的第三数据价值在应用中实现增值用得越多价值越凸显也就是数据价值是其所有可能用途的总和。数据活性越高价值越大更新的频率越高数据的活性越大更新的频率越低数据的活性越小。数据应用的三重境界因此我们将大数据应用划分为三个层次相对应三重境界第一重境界见自己即了解自己可以自省。通过融合单位内部不同层级、不同部门之间的结构化和非结构化数据消除数据孤岛解决内部纵深、协同的问题。第二重境界见天地知道天外有天方知深浅。通过融合单位内部和外部的数据消除数据割据打通数据应用价值链路用自己的数据去解决单位外部的问题或者反过来利用外部的数据解决单位内部的问题激发数据活力创新价值。第三重境界见众生也就是取众生所长施于众生。编程要求根据相关知识按照要求完成右侧选择题任务包含单选题和多选题。测试说明平台会对你选择的答案进行判断全对则通过测试。开始你的任务吧祝你成功第2关一切都可数据化任务描述本关任务根据相关知识完成右侧选择题任务。相关知识什么是数据化数据化是一种把现象转变为可制表分析的量化形式的过程。换句话说数据化是把数据变成计算机可以处理和分析的对象。数据化有以下几个类型文字变成数据方位变成数据沟通变成数据世间万物数据化。文字变成数据文字数据化后可以基于每个单词建立索引记录各个单词在不同文档中的位置从而支持高效查询。例如下面左图中文档 d1、d2、d3 中含有词语“中国”文档 d11、d12、d13 中含有词语“航母”。那么可以为“中国”和“航母”分别建立一个倒排索引用以记录包含了“中国”的文档即 d1、d2、d3 和包含了“航母”的文档即 d11、d12、d13 。当用户查询“航母”时根据建立好的倒排索引我们就可以快速定位到包含“航母”单词的文档。方位变成数据古人在迷路时通常索性信马由缰不问归路而现代人则可以拿出智能手机使用导航软件找寻目的地。借助全球定位系统GPS我们可以精确定位物体的方向和位置。这些地理位置数据稍加利用可以变得非常有价值。收集人的地理位置数据可以提供导航、提供定制广告等。比如在中午 12 点时根据用户当前所在位置为他主动推送附近正在搞优惠活动的饭店信息也可以在用户到达异地后及时推荐口碑较好、优惠幅度较大的酒店信息。拥有大数据并使用大数据的保险公司对传统公司将拥有压倒性的竞争优势大数据将成为保险公司最核心的竞争力因为保险就是一个基于概率评估的生意大数据对于准确评估概率毫无疑问是最有利的武器而且是量身定做的武器打开了行业的想象力和更大的利润空间。沟通变成数据数据化的另一个前沿是个人化不仅能将态度和情绪转变为一种可分析的形式还可转化分析人类的关系和行为。古人常说“七情六欲”将人的感情划分为“爱恶欲喜怒哀惧”七种现代人则简化为“喜怒哀惧”四类。实际上根据情绪所引发的行为或行为的结果可以将情绪划分为积极情绪和消极情绪两大类。借助“新鲜的”、“极好的”、“香香的”、“动人的”、“可口的”等词汇表示积极、快乐的情绪借助“没有”、“不”、“讨厌”、“该死的”、“无聊的”等词汇表示消极、忧虑的情绪那么通过检测文本中表示积极、消极情绪词汇出现的次数和位置我们可以评出每条信息的幸福指数捕获到微博、微信等信息背后反映的心情状态甚至还能预测股市的走向。如公众的整体情绪乐观时股市通常上扬而当公众的情绪转向负面时股市常常下跌。借助社交网络量化分析技术可以对社会关系的结构和位置、角色和地位等进行建模进而可以分析清楚人的行为、相互影响等从而掌握社交网络结构、互动和传播规律等。我们知道人类社会具有阶级性不同社会地位、社会身份的人具有不同的影响力。右图是对真实社会网络数据化建模后呈现的结果图中较大的红色圆点代表在网络中具有较大影响力和号召力的名人蓝色小点则代表普通用户。图中可以看到名人用户基本集中于网络中心与其他用户关系密切普通用户基本分散于网络外围与其他用户联系较少。世间万物数据化编程要求根据相关知识按照要求完成右侧选择题任务。测试说明平台会对你选择的答案进行判断全对则通过测试。开始你的任务吧祝你成功第3关拥抱数据红利任务描述本关任务根据相关知识所介绍的内容了解什么是数据红利和数据价值并完成相关的选择题任务。相关知识人要交朋友数据也要交朋友。同样数据也要与合适的数据组合才能激发活性释放价值。由于数据是可再生资源在基本用途完成后数据的价值仍然存在只是处于休眠状态就像弹簧或小球一样直到它被二次利用并重新释放它的能量。数据找朋友的第二个功用在于多个数据集重组后的价值远远大于单个数据集的总和也就是说 112。休眠状态的数据价值释放首先我们看一张图手机使用数据用于医学研究听起来是不是天方夜谭但丹麦癌症协会的研究团队通过重组数据做出了一项很有创意、利用手机使用数据研究致癌可能性的医学研究。丹麦拥有 1985 年手机推出以来所有手机用户的数据库。这项研究分析了 1990 年至 2007 年间拥有手机的用户共涉及 35 万余人。丹麦同时记录了所有癌症患者的信息在那期间共有 10729 名中枢神经系统肿瘤患者。结合这两个数据集后研究人员开始寻找两者的关系手机用户是否比非手机用户显示出较高的癌症发病率使用手机时间较长的用户是否比时间较短的用户更容易患上癌症这项研究遵循了大数据思维中“样本总体”的准则即包括了几乎所有癌症患者和移动用户。最后研究结果如中间的数据图所示虽然手机用户急速增长但癌症患者数目却保持平稳这说明使用移动电话和癌症风险增加之间不存在任何关系。一下子就廓清了人们的传统认识。数据重组后力量也远大于单个价值的总和。我们再看上图它是一家房地产网站将房地产信息和价格添加到了社区地图上同时还聚合了大量的信息如社区近期的交易和物业规格以此来预测区域内具体每套住宅的价值。这一数据混搭的结果使房产数据变得亲和、简单而且为购房者提供了选房、购房依据。上述 2 个数据创新的案例给我们一个共同的启示大数据时代数据重组数据找朋友存在无限的可能我们可以在数据价值创新的路上走得更远。数据结交好朋友的三个要点数据结交到好朋友需要把握三个要点开放网络跨界。据找朋友的第一步是要克服封闭、保守的思想首先树立数据开放、共享、共赢的意识。数据只有在不断应用中才能增值通过各方数据的协同创新才能产生聚变效应。人以群分物以类聚人总是喜欢和趣味相投的人交朋友。而数据交朋友应该放宽视野以“四海之内皆兄弟”的胸怀广交五湖四海的朋友营造一个多方共赢互利的数据应用生态体系。因为数据之间的连接越多连接越快越容易打通数据的价值链发掘数据的价值。找朋友的第三个要点是跨界。跨界最关键的是要发挥数据的外部性实现数据的跨域关联、跨界应用。譬如分析国家电网智能电表的数据可以知道房屋有没有住人估计房屋空置率可以知道企业、厂家的用电情况判断经济走势分析移动通讯基站的定位数据可以反映人群的移动轨迹用于优化城市交通设计分析微信、微博上的朋友关系和内容信息可以用来购物推荐和广告推送。编程要求根据相关知识按照要求完成右侧选择题任务。测试说明平台会对你选择的答案进行判断全对则通过测试。开始你的任务吧祝你成功第4关揭秘“数据范式”任务描述本关任务根据相关知识完成右侧与数据范式和数据模型相关的选择题任务。相关知识什么是科学范式“范式”paradigm这一概念最初由美国著名科学哲学家 Thomas Samuel Kuhn 于 1962 年在《科学革命的结构》中提出来。指的是常规科学所赖以运作的理论基础和实践规范是从事某一科学的科学家群体所共同遵从的世界观和行为方式。数据模型数据的出现为事物本质的反映展现了更多的维度我们不能把认知局限在局部或单一的维度上即不建模数据本身就是模型举两个例子首先我们在观察客观世界中采集了三个点的数据根据这些数据可以对客观世界有个理论假设用一个简化的模型来表示比如说三角形。可以有更多的模型如四边形、五边形。随着观察的深入又采集了两个点这时发现三角形、四边形的模型都是错的于是确定模型为五边形这个模型反映的世界就在那个五边形里殊不知真正的世界是圆形。我们现在所处的复杂世界面临的问题是数据是如此的多、杂已经无法用简单、可解释的模型来表达这样数据本身成了模型。技术的发展带来了经验世界的改变正如望远镜让人们看到了遥远的星球海量的数据让人们看到了复杂的世界。如果说一个点并不能决定线性函数的形式两个点并不能决定二次函数的形式那么海量的点则可以逼近任何连续的函数。因此海量的数据蕴含着经验世界中丰富的信息而且不仅是一种经验表征的新方式还孕育产生了一种探索经验背后知识的新方法。第四科学范式——数据范式科学始于观察、科学始于推导、科学始于计算或者科学始于数据最根本的是科学始于问题。我们需要知道解决的问题是什么对原因的追求是科学发展的永恒动力。大数据研究挑战了传统认识论对因果性的偏爱用数据规律补充了单一的因果规律实现了唯理论和经验论的数据化统一使得一种全新的大数据认识论正在形成。数据驱动方法论大数据背景下对世界的认识方法直接利用已有数据与问题进行匹配为问题寻求答案更加直接更加准确。编程要求根据相关知识按照要求完成右侧选择题任务。测试说明平台会对你选择的答案进行判断全对则通过测试。开始你的任务吧祝你成功第5关何为“数据科学”任务描述本关任务根据相关知识了解什么是数据科学以及它的知识体系并完成右侧的选择题任务。相关知识数据科学数据科学是一种研究信息感知、抽象、保存、建模、传输以及数据之间的逻辑、数量统计、计算和转化关系的综合应用科学。它的本质是表述和指导对事物认知的关系量化把普适性的科学思维方式应用到数据上使其成为一门窄而深的、精确的、拥有完整体系的学科。这也是数据科学要解决的本质问题。认知论和控制论数据本身没有价值价值源自数据引发的后续行为的价值 ——认知论控制论感知响应模型学科交叉融合数据科学 思维 计算机科学 统计 应用首先建立问题、量化、算法、计算、数据相关思维方式。其次了解数据清理、集成、探索等相关技术。最后领域知识铸就的洞见也至关重要。数据科学知识体系数据科学的核心知识点分析思维 Analytical thinking 包括计算思维 Computational thinking 和统计思维 Statistical thinking 数学基础微积分、线性代数、概率统计、离散数学等。数据建模与评估统计模型、回归模型、模型评估等。算法实现问题求解能力和算法思维。数据管理设计数据的整个生命周期包括感知、存储、计算、分析、可视化等。知识转化沟通交流道德规范等。编程要求根据相关知识按照要求完成右侧选择题任务。测试说明平台会对你选择的答案进行判断全对则通过测试。开始你的任务吧祝你成功第6关数据科学方法论任务描述本关任务了解数据分析的基本流程对每一个步骤的功能有一定的了解并完成右侧的选择题。相关知识数据科学方法论这个方法论来自于 CRISP-DM 方法论它是用于数据挖掘的一个标准化方法论。有两个重要特征这是一个高度迭代的过程即我们在解决问题的整个过程中一般要来回反复地操作这些步骤没有终点即只要问题相关联这个过程就会一直进行下去与传统科学相比该数据可能在商业问题出现之前就已经存在了。你可能已经有数据记录了 -- 观察用户在网站中的行为。比如在你探索数据时可能会发现一些值得深究的问题。下面我们举一个实例为用户推荐喜欢的酒店。问题理解项目目标是什么目的是什么酒店价格如何当地酒店的均价如何其他用户对于酒店的评价如何分析方法如果我们想要对一项促销优惠活动预测一个是/否的回答那么可以将分析方法定义为建立、测试和实施一个分类模型它是一种预测建模。此外如果我们需要确定对于某个特定顾客而言如何进行分类决策树可能是最好的方法因为它会向每个人都显示明确的决策路径。或者如果我们想要更好地了解顾客的购物和人口统计模式则会结合关联分析和聚类他们是描述性建模方法对一个或多个感兴趣的客户群体进行市场购物篮分析。数据需求需要是什么数据数据的格式是什么收集数据收集需要的数据用户数据、酒店信息、酒店价格、酒店的评论数据数据理解数据是怎样的可以初步观察出什么可以可视化数据吗是否遗漏了什么?数据准备数据清理合并数据转换数据特征工程建模建模是一个高度迭代的过程会使用和测试多个模型评价模型性能是否能满足目标?是否需要改善模型部署完成之后模型就部署到一个实际环境中反馈收集和分析反馈信息以评估模型的性能和影响通过迭代过程改善和重新部署模型通过自动化的过程进行加速编程要求根据相关知识按照要求完成右侧选择题任务。测试说明平台会对你选择的答案进行判断全对则通过测试。开始你的任务吧祝你成功有任何问题都可以随时关注私信