八、大数据应用第1关大数据在各领域的应用任务描述本关任务根据相关知识内容完成右边选择题。相关知识为了完成本关任务你需要掌握1.大数据在互联网领域的应用2.大数据在生物医学领域的应用3.大数据在物流领域的应用4.大数据在城市管理领域的应用5.大数据在金融领域的应用6.大数据在汽车领域的应用7.大数据在零售领域的应用8.大数据在餐饮领域的应用9.大数据在电信领域的应用10.大数据在能源领域的应用11.大数据在体育和娱乐领域的应用12.大数据在安全领域的应用13.大数据在政府领域的应用14.大数据在日常生活中的应用。大数据在互联网领域的应用推荐系统互联网的飞速发展使我们进入了信息过载的时代搜索引擎可以帮助我们查找内容但只能解决明确的需求。为了让用户从海量信息中高效地获得自己所需的信息推荐系统应运而生。推荐系统是大数据在互联网领域的典型应用它可以通过分析用户的历史记录来了解用户的喜好从而主动为用户推荐其感兴趣的信息满足用户的个性化推荐需求。推荐系统是自动联系用户和物品的一种工具和搜索引擎相比推荐系统通过研究用户的兴趣偏好进行个性化计算。推荐系统可发现用户的兴趣点帮助用户从海量信息中去发掘自己潜在的需求。长尾系统推荐系统可以创造全新的商业和经济模式帮助实现长尾商品的销售。“长尾”概念于 2004 年提出用来描述以亚马逊为代表的电子商务网站的商业和经济模式。电子商务网站销售种类繁多虽然绝大多数商品都不热门但这些不热门的商品总数量极其庞大所累计的总销售额将是一个可观的数字也许会超过热门商品所带来的销售额。因此可以通过发掘长尾商品并推荐给感兴趣的用户来提高销售额。这需要通过个性化推荐来实现。热门推荐是常用的推荐方式广泛应用于各类网站中如热门排行榜。但热门推荐的主要缺陷在于推荐的范围有限所推荐的内容在一定时期内也相对固定。无法实现长尾商品的推荐。个性化推荐可通过推荐系统来实现。推荐系统通过发掘用户的行为记录找到用户的个性化需求发现用户潜在的消费倾向从而将长尾商品准确地推荐给需要它的用户进而提升销量实现用户与商家的双赢。推荐方法推荐系统的本质是建立用户与物品的联系根据推荐算法的不同推荐方法包括如下几类1专家推荐人工推荐由资深的专业人士来进行物品的筛选和推荐需要较多的人力成本。2基于统计的推荐基于统计信息的推荐如热门推荐易于实现但对用户个性化偏好的描述能力较弱。3基于内容的推荐通过机器学习的方法去描述内容的特征并基于内容的特征来发现与之相似的内容。4协同过滤推荐应用最早和最为成功的推荐方法之一利用与目标用户相似的用户已有的商品评价信息来预测目标用户对特定商品的喜好程度。5混合推荐结合多种推荐算法来提升推荐效果。推荐系统基本架构如下图所示推荐系统基本架构推荐系统的应用目前推荐系统已广泛应用于电子商务、在线视频、在线音乐、社交网络等各类网站和应用中。如亚马逊网站利用用户的浏览历史记录来为用户推荐商品推荐的主要是用户未浏览过但可能感兴趣、有潜在购买可能性的商品。推荐系统在在线音乐应用中也逐渐发挥作用。音乐相比于电影数量更为庞大个人口味偏向也更为明显仅依靠热门推荐是远远不够的。虾米音乐网根据用户的音乐收藏记录来分析用户的音乐偏好以进行推荐。例如推荐同一风格的歌曲或是推荐同一歌手的其他歌曲。大数据在生物医学领域的应用如谷歌流行病预测从谷歌流感趋势看大数据的应用价值“谷歌流感趋势”通过跟踪搜索词相关数据来判断全美地区的流感情况。智慧医疗的应用可以促进优质医疗资源避免患者重复检查促进医疗智能化。生物信息学生物信息学是研究生物信息的采集、处理、存储、传播、分析和解释等方面的学科也是随着生命科学和计算机科学的迅猛发展、生命科学和计算机科学相结合形成的一门新学科它通过综合利用生物学、计算机科学和信息技术揭示大量而复杂的生物数据所蕴含的生物学奥秘。和互联网数据相比生物信息学领域的数据更是典型的大数据。生物大数据使得我们可以利用先进的数据科学知识更加深入地了解生物学过程、作物表型、疾病致病基因等。用大数据分析技术可以从个人健康档案中有效预测个人健康趋势并为其提供疾病预防建议达到“治未病”的目的。大数据在物流领域的应用智能物流智能物流, 又称智慧物流是利用集成智能化技术使物流系统能模仿人的智能具有思维、感知、学习、推理判断呾自行解决物流中某些问题的能力从而实现物流资源优化调度呾有效配置、物流系统效率提升的现代化物流管理模式。智能物流的作用1提高物流的信息化和智能化水平2降低物流成本和提高物流效率3提高物流活动的一体化智能物流应用国内许多城市都在围绕智慧港口、多式联运、冷链物流、城市配送等方面着力推进物联网在大型物流企业、大型物流园区的系统级应用。还可以将射频标签识别技术、定位技术、自动化技术以及相关的软件信息技术集成到生产及物流信息系统领域探索利用物联网技术实现物流环节的全流程管理模式开发面向物流行业的公共信息服务平台优化物流系统的配送中心网络布局集成分布式仓储管理及流通渠道建设最大限度地减少物流环节、简化物流过程提高物流系统的快速反应能力。此外还可以进行跨领域信息资源整合建设基于卫星定位、视频监控、数据分析等技术的大型综合性公共物流服务平台发展供应链物流管理。在物流领域有两个著名的理论——“黑大陆说”和“物流冰山说”这两个理论都旨在说明物流活动的模糊性和巨大潜力发现隐藏在海量数据背后的有价值的信息是大数据的重要商业价值。大数据是打开物流领域这块神秘的“黑大陆”的一把金钥匙大数据将推动物流行业从粗放式服务到个性化服务的转变颠覆整个物流行业的商业模式。中国智能物流骨干网--菜鸟中国智能物流骨干网又名“菜鸟”菜鸟网络计划在 5 到 8 年内打造一个全国性的超级物流网。这个网络能在 24 小旪内将货物运抵国内任何地区能支撑日均 300 亿元(年度约 10 万亿元)的巨量网络零售额。阿里物流体系天网天猫牵头负责与各大物流快递公司对接的数据平台。地网即“菜鸟”又称“中国智能物流骨干网CSN”。大数据在城市管理领域的应用1、智能交通智能交通将先进的信息技术、数据通信传输技术、电子传感技术、控制技术以及计算机技术等有效集成并运用于整个地面交通管理同时可以利用城市实时交通信息、社交网络和天气数据来优化最新的交通情况。如下图所示2、环保监测1森林监视2环境保护大数据已经被广泛应用于污染监测领域借助大数据技术采集各项环境质量指标信息集成整合到数据中心进行数据分析并把分析结果用于指导下一步环境治理方案的制定可以有效提升环境整治的效果。3、城市规划利用地理数据可以研究全国城市扩张模拟、城市建成区识别。利用公交 IC 卡数据可以开展城市居民通勤分析、职住分析、人的行为分析、人的识别、重大事件影响分析、规划项目实施评估分析等。利用移动手机通话数据可以研究城市联系、居民属性、活动关系及其对城市交通的影响。利用社交网络数据可以研究城市功能分区、城市网络活动与等级、城市社会网络体系等。利用出租车定位数据可以开展城市交通研究。利用搜房网的住房销售和出租数据同时结合网络爬虫获取的居民住房地理位置和周边设施条件数据就可以评价一个城区的住房分布和质量情况。4、安防领域中国的很多城市都在开展平安城市建设在城市的各个角落密布成千上万个摄像头7×24小时不间断采集各个位置的视频监控数据数据量之大超乎想象。除了视频监控数据安防领域还包含大量其他类型的数据包括结构化、半结构化和非结构化数据。5、疫情防控面对 2020 年一开年这场新冠肺炎疫情数据驱动的精准防控已经成为战“疫”的强有力武器。大数据、云计算、人工智能等新一代信息通信技术加速与交通、医疗、教育等领域深度融合为防疫赋能让疫情防控的组织和执行更加高效。在复旦大学管理学院教授黄丽华看来基于前期的积累包括技术储备、大数据资源、大数据分析模型等大数据在全程、全链、全覆盖的防控疫情方面发挥了很大作用。黄丽华认为大数据在此次疫情防控中发挥的作用可分为五大类。1第一个场景 助力地方政府科学决策和精准施策。运用大数据分析结合算法模型对疫情的传播速度、传播趋势等进行科学预测可为各地进行动态监测管理、统筹医疗物资储备、保障民生物资供应、制定交通管制政策等提供有效依据。例如基于疫情的严重程度以及影响状况来提供相应的资源分配以及援助能够更精确更有效地做到疫情期间相对紧张的资源利用与合理分配。2第二个场景赋能基层社区精准高效防控。社区生活圈就是防疫圈大数据应用更为直观地体现了辖区内的防疫现状。3第三个场景赋能公共服务部门全链科学防控。由于新冠病毒的强传染性掌握传染源的传播途径切断传播链条是防控中的重要环节。4第四个场景赋能居民自主防疫和主动防控。日常生活中居民通过手机就能接触到海量的医学、交通等方面的信息可以主动查询同车、同航班、同小区、同城的疫情数据采取有效的自主防疫措施。通过手机这一接地气的方式把大数据分析的结果通过可视化、自主服务的方式传递到几乎每一个居民真正做到了全民防疫的有效动员。5第五个场景赋能防疫物资调配机构高效运营。在抗击新冠病毒的战疫中物资保障是关键。运用大数据、人工智能、云计算等数字技术的防疫物资采购调配平台可以实现疫情期间不聚集、全天候开展交易、稀缺医用物资及时采购分配。从招标、采购、配送、使用、结算、支付全流程记录监管有序、阳光透明。大数据在金融领域的应用1、高频交易高频交易High-Frequency TradingHFT是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易比如某种证券买入价和卖出价差价的微小变化或者某只股票在不同交易所之间的微小价差。为了从高频交易中获得更高的利润一些金融机构开始引入大数据技术来决定交易。2、市场情绪分析市场情绪分析是交易者在日常交易工作中不可或缺的一环根据市场情绪分析、技术分析和基本面分析可以帮助交易者做出更好的决策。大数据技术在市场情绪分析中大有用武之地。3、信贷风险分析大数据分析技术已经能够为企业信贷风险分析助一臂之力。通过收集和分析大量中小微企业用户日常交易行为的数据判断其业务范畴、经营状况、信用状况、用户定位、资金需求和行业发展趋势解决由于其财务制度的不健全而无法真正了解其真实经营状况的难题让金融机构放贷有信心、管理有保障。4、大数据征信大数据征信就是利用信息技术优势将不同信贷机构、消费场景、支离破碎的海量数据整合起来经过数据清洗、模型分析、校验等一系列流程后加工融合成真正有用的信息。大数据在汽车领域的应用为了实现无人驾驶的功能谷歌无人驾驶汽车上配备了大量传感器包括雷达、车道保持系统、激光测距系统、红外摄像头、立体视觉、GPS 导航系统、车轮角度编码器等这些传感器每秒产生 1GB 数据每年产生的数据量将达到约 2PB。大数据分析技术将帮助无人驾驶系统做出更加智能的驾驶动作决策比人类驾车更加安全、舒适、节能、环保。大数据在零售领域的应用1、发现关联购买行为这是个经典的商场数据分析案例。在上世纪 90 年代美国沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象在某些特定的情况下“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中。在美国有婴儿的家庭中一般是母亲在家中照看婴儿年轻的父亲前去超市购买尿布。父亲在购买尿布的同时往往会顺便为自己购买啤酒这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。“啤酒与尿布”故事的依据是商品之间的相关性也称关联性英文名称为 association rule商品相关性是指商品在卖场中不是孤立的不同商品在销售中会形成相互影响关系也称关联关系比如“啤酒与尿布” 故事中尿布会影响啤酒的销量。在卖场中商品之间的关联关系比比皆是比如咖啡的销量会影响到咖啡伴侣、方糖的销售量牛奶的销量会影响面包的销售量等等。2、客户群体细分2012 年 2 月 16 日《纽约时报》刊登了 Charles Duhigg 撰写的一篇题为《这些公司是如何知道您的秘密的》How Companies Learn Your Secrets的报道。文中介绍了这样一个故事一天一位男性顾客怒气冲冲地来到一家折扣连锁店 Target中文常译作“塔吉特”为仅次于沃尔玛的全美第二大零售商向经理投诉因为该店竟然给他还在读高中的的女儿邮寄婴儿服装和孕妇服装的优惠券。但随后这位父亲与女儿进一步沟通发现自己女儿真的已经怀孕了。事实上每位顾客初次到 Target 刷卡消费时都会自动获得一个唯一顾客识别编号ID。以后顾客再次光临 Target 消费时计算机系统就会自动记录顾客购买的商品、时间等信息。再加上从其它管道取得的统计资料Target 便能形成一个庞大数据库运用于分析顾客的喜好与需求。3、供应链管理亚马逊、联合包裹快递UPS、沃尔玛等先行者已经开始享受大数据带来的成果大数据可以帮助它们更好地掌控供应链。美国最大的医药贸易商 McKesson 公司对大数据的应用也已经远远领先于大多数企业。该公司运用先进的运营系统可以对每天 200 万个订单进行全程跟踪分析并且监督超过 80 亿美元的存货。大数据在餐饮领域的应用Food Genius 是一家总部位于美国芝加哥的公司聚合了来自美国全国各地餐馆的菜单数据对超过 350000 家餐馆的菜单项目进行跟踪以帮助餐馆更好地确定价格、食品和营销的趋势。这些数据可以帮助餐馆获得商机并判断哪些菜可能获得成功从而减少菜单变化所带来的不确定性。Avero 餐饮软件公司则通过对餐饮企业内部运营数据进行分析帮助企业提高运营效率如制定什么样的战略可以提高销量、在哪个时间段开展促销活动效果最好等。餐饮 O2OOnline To Offline模式是指无缝整合线上线下资源形成以数据驱动的 O2O 闭环运营模式。1大数据驱动的团购模式2利用大数据为用户推荐消费内容3利用大数据调整线下门店布局4利用大数据控制店内人流量大数据在电信领域的应用预测客户行为发现行为趋势并找出公司服务过程中存在缺陷的环节从而帮助公司及时采取措施保留客户。其电信客户离网分析如下图所示大数据在能源领域的应用智能电网的发展离不开大数据技术的发展和应用大数据技术是组成整个智能电网的技术基石。能源大数据目前主要应用于是由天然气全产业链、智能电网和风电行业等利用大数据特点提高能源企业效益并更好的服务用户。有了能源大数据的加持企业可以优化库存合理调配能源供给实时进行数据分析提高生产效率。大数据在体育和娱乐领域的应用1、训练球队大数据可以有效帮助一支球队进一步提升整体实力和水平。如下图所示2014 年巴西世界杯决赛中德国队队长拉姆的技术数据从全球范围来看体育分析主要在竞技水平提升、运动伤病预防以及数字娱乐三大方向发力。竞技水平、数字娱乐是国内两大主流应用趋势纳米体育数据可以提供足球、篮球、网球、电竞、橄榄球等赛事包括比赛实时数据、历史分析数据、世界主流指数公司即时指数、动画直播、资料库等赛事数据服务。数据覆盖各级别联赛、杯赛、友谊赛。球员数据维度细化到能力评分、技术特点、擅长位置单场比赛跑动距离、传球数、传球成功、过人、拦截、射门等。全面的球队数据覆盖到场馆教练、球员转会、荣誉、伤停信息单场比赛的角球、任意球、点球、犯规、越位、红黄牌、控球时间、传球次数、进攻次数等。及赛事积分榜、射手榜、助攻榜等数据信息。2、投拍影视作品曾经火爆全球、使网飞一战成名的《纸牌屋》就是一部充分利用大数据的作品。据媒体报道《纸牌屋》所使用的数据库包含了 3000 万用户的收视选择、400 万条评论、300 万次主题搜索、评论、暂停、回放、快进等动作信息用户评分、用户搜索数据、演员导演喜爱程度电视节目收看行为剧集播放设置、剧情导向选择剧播放时间等...其海量的用户数据积累和分析为制作方决策提供了精准的依据。3、预测比赛结果大数据可以预测比赛结果却是具有一定的科学根据的它用数据来说话通过对海量相关数据进行综合分析得出一个预测判断。本质上而言大数据预测就是基于大数据和预测模型去预测未来某件事情的概率利用大数据预测比赛结果将对人们生活产生深刻的影响。大数据在安全领域的应用1、大数据与国家安全近年来最出名的大数据安全问题是 2014 年的棱镜门事件。2014 年 6 月前 CIA 职员斯诺登将两份绝密资料交给英国《卫报》和美国《华盛顿邮报》并告知媒体何时发表。5 日《卫报》发表文章称美国国家安全局“棱镜”秘密项目要求电信巨头威瑞森公司必须每天上交数百万用户的通话记录。6 日《华盛顿邮报》披露过去六年间美国国家安全局和联邦调查局通过进入微软、谷歌、苹果、雅虎等九大巨头网络的服务器监控美国公民的电子邮件聊天记录等秘密资料。美国舆论随之哗然。2、应用大数据技术防御网络攻击云计算和大数据的出现为网络安全产品带来了深刻的变革。今天基于云计算和大数据技术的云杀毒软件已经广泛应用于企业信息安全保护。云杀毒通过网状的大量客户端对网络中软件行为的异常监测获取互联网中木马、恶意程序的最新信息传送到云端利用先进的云计算基础设施和大数据技术进行自动分析和处理能及时发现未知病毒代码、未知威胁、0day 漏洞等恶意攻击再把病毒和木马的解决方案分发到每一个客户端。3、警察应用大数据工具预防犯罪大城市不仅仅是人类高度繁华的文化的体现在其光鲜亮丽的背面它也是滋养罪恶的温床大城市存在着大量的犯罪事件其犯罪事件远高于其他区域。因此大城市的警察部门极其的盼望能够更好的理解和预测犯罪事件从而预防和避免犯罪事件给人们带来的伤害芝加哥警方就试图通过数据分析来解决这一问题。芝加哥警方首先基于芝加哥的城市网站构建了其分析的数据集这里存放了芝加哥近十年来所有的犯罪记录。这些数据详细记录着犯罪的信息包括详细的犯罪记录犯罪时间、地点处理信息和处罚信息等并基于分析的需要进行了相应的整理以便进行更进一步的分析。借助 JMP 的卓越的探索性分析功能芝加哥警方对这些数据进行了大量的分析工作例如去探索犯罪行为同犯罪地点之间的行为模式基于时间节点的犯罪类型分析等。基于上述的数据分析芝加哥警方开展了大量的预防犯罪的工作从而大大减少了犯罪事件的发生减低了犯罪带来的危害。大数据在政府领域的应用大数据分别帮助奥巴马和特朗普获得美国总统大选胜利。2012 年奥巴马阵营在激烈的竞选竞争中充分运用大数据进行深度分析如何募款、在哪里举行选举活动、如何打广告等举措令对手无从招架。以电邮小组为例在选战过程中奥巴马的 18 人电邮小组测试了一万多种不同版本的电邮讯息。甚至他们针对单一电邮发出 18 个不同版本的邮件每个版本都附上不同的主旨以测试哪一种最有效。结果最成功的标题是“对手经费快超前了”总共募到 2673278 美元;表现最差的是“民调说中了一件事……”只募得 403603 美元。此外几百名数据高手和数据分析专家组成的团队还从募款到现场作战方式到民调分析等全方面出击打得共和党候选人溃不成军。2016 年 11 月的美国总统选举结果震惊世界。原本在几乎所有民调中都不被看好的共和党总统候选人唐纳德·特朗普后来居上在选举人团选票方面以较大优势胜出而成为美国第四十五任总统。事后复盘善用社交媒体被认为是特朗普胜选的秘密武器之一。大数据在日常生活中的应用在信息化社会我们每个人的一言一行都会留下以数据形式存在的轨迹这些分散在各个角落的数据记录了我们的通话、聊天、邮件、购物、出行、住宿以及生理指标等各种信息构成了与每个人相关联的“个人大数据”。分析个人大数据就可以深刻了解与之关联的自然人了解他的各种生活行为习惯了解了个人的生活行为模式一些公司就可以为个人提供更加周到的服务。编程要求根据相关知识完成右侧选择题有任何问题都可以随时关注私信