随着每年考研人数的不断增加学生对于考研信息的需求也日益增长。然而目前市场上存在的大部分考研推荐系统都存在数据不全面、推荐不精准等问题无法满足学生的实际需求。因此开发一款基于大数据技术的高校考研推荐系统系统的技术包括hadoopsparkvueechartspandasdjango等。系统首先通过Scrapy爬虫技术从掌上考研网爬取大量考研数据包括分数线、专业类别、各科成绩等。这些数据经过处理和分析通过Echarts技术实现可视化展示如各专业分数排名、比例统计和录取总分趋势等。用户可输入自己的成绩信息系统基于线性回归模型为其推荐适合的计算机专业学校。此系统的开发不仅为学生提供了便捷、精准的学校推荐服务还促进了教育资源的优化配置对提高考研成功率具有积极意义。同时系统所采用的大数据技术为教育行业的数字化转型提供了有力支持。系统功能模块设计系统功能介绍系统的功能主要包括三个方面。首先是需要从掌上考研网爬取到相应的数据这些数据包括有考研分数线学校的城市专业类别政治英语等各科的成绩等。其次是将这些数据通过hadoop的HDFS组件存储到服务器的mysql中通过pyspark对数据进行分布式计算处理。最后通过django搭建的web页面进行数据的可视化展示在页面中也需要完成考研学校的推荐功能。系统主要模块设计根据以上的功能需求情况整体的功能模块包括有前台vue项目后台项目包括django后端项目模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面数据可视化展示页面爬虫模块主要用来爬取掌上考研网的相关数据信息的通过使用hadoop进行数据的存储django后台用来提供前台所用的json数据。其中学校推荐功能的实现是基于机器学习功能之后的应用阶段。图5.3系统页面数据访问流程用户进入本系统可查看系统主页信息可视化主页面展示的可视化数据包括有各专业分数录取先排行各专业比例统计计算机学校录取总分趋势等。主页中的图标数据主要是通过Echarts框架的功能只需要创建对应的实体类便可以获取对应的展示信息。