随着互联网的飞速发展网上购物已成为人们购买商品的重要途径。为了满足用户对网上零售数据分析的需求开发了一款天猫电商零售数据可视化系统。该系统充分利用Python编程语言、MySQL数据库以及Hadoop、Spark等大数据技术对天猫零售数据进行高效处理和分析。系统采用可视化Web界面首先通过爬虫技术抓取商品、品牌等数据。由于数据量庞大使用Pandas进行初步的数据处理和存储然后通过Hadoop分布式文件系统将数据传输至MySQL数据库管理系统。核心的分布式计算部分利用了Spark的强大处理能力进行聚类机器学习算法的训练。最终通过Django和Vue.js框架将推荐购买的商品结果呈现给用户。该系统的研究意义在于通过爬虫技术成功抓取了天猫平台上的零售数据经过清洗和特征工程处理后采用聚类算法进行机器学习训练。这种商品推荐方法不仅提高了商品推荐的准确性和个性化程度还为用户提供了更加便捷、高效的商品购买体验。此外该系统的实现为大数据技术在商品推荐领域的应用提供了有益的探索和实践经验。根据以上的功能需求情况整体的功能模块包括有前台vue项目模块后台django后台项目模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面数据可视化展示页面爬虫模块主要用来爬取天猫平台的数据信息的通过使用hadoop进行数据的存储django后台用来提供前台所用的json数据以及给出推荐的相关的零售信息。其中商品推荐模块的实现是基于机器学习功能之后的应用阶段商品推荐包括点击某类商品之后推荐的同类商品的零售商以及推荐不同商品的零售商。用户进入本系统可查看系统主页信息视化主页面展示分为7块区域顶部是系统的名称下面划分为6个区域上部分主要是热门品牌统计区域相关商品类别推荐区域和旗舰店热度排行下部分商品类型购买变化趋势区域商品列表区域和商品购买后推荐商品区域。主页中的图标数据主要是通过Echart框架的功能只需要创建对应的实体类变可以获取对应的展示信息。