近年来科技飞速发展在经济全球化的背景之下大数据将进一步提高社会综合发展的效率和速度大数据技术也会涉及到各个领域而爬虫实现网站数据可视化在网站数据可视化背景下有着无法忽视的作用。管理信息系统的开发是一个不断优化的过程随着网络大数据时代的到来管理信息系统与大数据集的集成成为必然。本次将以大数据技术的电商用户画像可视化系统和信息管理系统两个方面为切入点论述了大数据技术的电商用户画像可视化系统与信息管理系统的意义和内容以此展开对网站数据可视化的开发与建设的详细分析。从数据挖掘的角度出发了解信息管理系统的作用对数据分析的过程以及用处进行更深一步的研究数据的处理效率以及具体的应用方向。对于大数据环境下对信息管理系统所带来的影响将从传统管理信息系统与大数据环境下的管理信息系统进行对比分析从硬件优化、软件开发这几个方面来论述爬虫实现网站数据可视化的优势所在分析大数据技术的电商用户画像可视化系统在大数据时代发展的变化趋势。并且以大数据技术的电商用户画像可视化系统为例分析在网站数据可视化的客观需求分析针对其中的问题对网站数据可视化做出一些无论是加强相关政策的立法工作还是建立及时的信息反馈等等的合理化建议并进行对于未来发展的分析规划。该章节的功能模块设计只是大概描述了系统的所有功能模块将功能按权限来讲解。系统总体结构图如图3.5所示。在设计好我们的数据采集方案后我们就需要动手对手机或电脑浏览信息进行采集我们所采用的爬虫代码是将加载的页面当作文本文档来读取的通过正则达式或者字符串匹配的方式因此我们需要找到大数据技术的电商用户画像可视化系统 页面中大数据展示信息的div同时这个div具有区别于其他块的特有的class在进行字符串匹配的时候易识别且具有唯一性大数据技术的电商用户画像可视化系统 看板采集目标展示如图5.1所示