精彩专栏推荐订阅在下方主页作者主页计算机毕设木哥 文章目录一、项目介绍二、视频展示三、开发环境四、系统展示五、代码展示六、项目文档展示七、项目总结font color#fe2c24 大家可以帮忙点赞、收藏、关注、评论啦 一、项目介绍热带气旋预报与实况记录字段多、时效口径不一业务侧往往仍靠表格翻查或零散图表拼凑想看清强度结构、路径活跃区、移向移速、预报时效和风圈范围并不方便想用聚类或异常检测挖一点风险模式也缺少统一入口。本文通过开发一个基于大数据的热带气旋数据分析与可视化系统用以帮助优化热带气旋多维统计与风险模式的可查询展示。本系统采用 Hadoop 与 Spark 完成数据接入与统计计算后端用 Django 提供分析接口前端用 Vue 与 ECharts 做页面展示风险洞察侧结合 K-Means、Isolation Forest 与 DBSCAN功能上覆盖强度等级、路径分布、移动特征、预报时效、风圈范围六类分析页以及风险分群、异常点与空间热点结果展示并附可视化大屏和原始预处理数据的增删改查。经系统测试本系统能支撑气象业务学习者和计算机毕设同学查看热带气旋多维统计与算法结果也能给相关课程演示提供可点可查的页面对把开放气象数据做成可复用的分析站点有一定参考意义。二、视频展示计算机专业毕业设计推荐【基于大数据的热带气旋数据分析基于大数据的热带气旋数据分析与可视化三、开发环境大数据技术Hadoop、Spark、Hive开发技术Python、Django框架、Vue、Echarts软件工具Pycharm、DataGrip、Anaconda可视化 工具 Echarts四、系统展示登录模块五、代码展示def intensity_cluster_analysis(input_df):强度分群K-Means风速/气压/经纬度轮廓系数选 K。 feat_cols[wind_speed_ms,center_pressure_hpa,lat,lon]spark_featinput_df.select(typhoon_level,typhoon_name_zh, *feat_cols).filter(col(wind_speed_ms).isNotNull()col(center_pressure_hpa).isNotNull()col(lat).isNotNull()col(lon).isNotNull()col(typhoon_level).isNotNull())pdfspark_feat.toPandas()forcinfeat_cols: pdf[c]pd.to_numeric(pdf[c],errorscoerce)pdfpdf.dropna(subsetfeat_cols)Xpdf[feat_cols].astype(float).values scalerStandardScaler()Xsscaler.fit_transform(X)best_k, best_score, best_labels, best_model3, -1.0, None, Noneforkinrange(2,7): kmKMeans(n_clustersk,random_state42,n_init10)labelskm.fit_predict(Xs)iflen(set(labels))2:continuescorefloat(silhouette_score(Xs, labels))ifscorebest_score: best_k, best_score, best_labels, best_modelk, score, labels, km pdf[cluster_id]best_labels centers_rawscaler.inverse_transform(best_model.cluster_centers_)center_info[]fori, centerinenumerate(centers_raw): center_info.append({cluster_id:i,avg_wind:float(center[0]),avg_pressure:float(center[1]),avg_lat:float(center[2]),avg_lon:float(center[3]),})center_infosorted(center_info,keylambda x: x[avg_wind])rank_labels[弱低压外海型,中等强度过渡型,较强风场型,强核型,极端强核型]id_to_label{}forrank, infoinenumerate(center_info): labelrank_labels[min(rank, len(rank_labels)-1)]id_to_label[info[cluster_id]](f{label}风速均值{info[avg_wind]:.1f} / 气压均值{info[avg_pressure]:.1f} / f纬度{info[avg_lat]:.1f} / 经度{info[avg_lon]:.1f})pdf[cluster_label]pdf[cluster_id].map(id_to_label)summary(pdf.groupby([cluster_id,cluster_label],as_indexFalse).agg(sample_count(wind_speed_ms,count),avg_wind_speed_ms(wind_speed_ms,mean),avg_pressure_hpa(center_pressure_hpa,mean),avg_lat(lat,mean),avg_lon(lon,mean),))mode_level(pdf.groupby(cluster_id)[typhoon_level].agg(lambda s: s.value_counts().index[0]iflen(s)else未知).reset_index().rename(columns{typhoon_level:dominant_level}))summarysummary.merge(mode_level,oncluster_id,howleft)summary.to_csv(os.path.join(_ensure_out_dir(),intensity_cluster_analysis.csv),encodingutf-8,indexFalse)returnsummary def anomaly_risk_analysis(input_df):异常风险Isolation Forest风速/气压/移速组合离群。 spark_featinput_df.select(typhoon_level,typhoon_name_zh,wind_speed_ms,center_pressure_hpa,move_speed_ms).filter(col(wind_speed_ms).isNotNull()col(center_pressure_hpa).isNotNull()col(typhoon_level).isNotNull())pdfspark_feat.toPandas()forcin[wind_speed_ms,center_pressure_hpa,move_speed_ms]: pdf[c]pd.to_numeric(pdf[c],errorscoerce)valid_speedpdf.loc[pdf[move_speed_ms]0,move_speed_ms]med_speedfloat(valid_speed.median())iflen(valid_speed)else0.0pdf[move_speed_feat]pdf[move_speed_ms].where(pdf[move_speed_ms]0, med_speed)feat_cols[wind_speed_ms,center_pressure_hpa,move_speed_feat]XsStandardScaler().fit_transform(pdf[feat_cols].astype(float).values)isoIsolationForest(n_estimators200,contamination0.05,random_state42,n_jobs-1)prediso.fit_predict(Xs)# -1 异常, 1 正常scoresiso.decision_function(Xs)pdf[is_anomaly]np.where(pred-1,异常,正常)pdf[anomaly_score]np.round(scores,2)pdf[risk_meaning]np.where(pred-1,风速/气压/移速组合离群建议纳入极端过程关注清单,特征组合处于主体分布内,)anomaly_pdfpdf[pdf[is_anomaly]异常][[typhoon_level,typhoon_name_zh,wind_speed_ms,center_pressure_hpa,move_speed_ms,is_anomaly,anomaly_score,risk_meaning,]]anomaly_pdf.to_csv(os.path.join(_ensure_out_dir(),anomaly_risk_analysis.csv),encodingutf-8,indexFalse)returnanomaly_pdf六、项目文档展示七、项目总结本课题围绕「基于大数据的热带气旋数据分析与可视化」展开把开放气象样本经预处理后接入 HadoopSpark按强度等级、路径分布、移动特征、预报时效、风圈范围与风险洞察六个维度做统计与挖掘再用 Django、Vue、ECharts 做成可查询的分析页与可视化大屏。风险侧用 K-Means 做强度分群用 Isolation Forest 找异常过程用 DBSCAN 挖空间热点把算法结果和业务图表放在同一套系统里。整体看本系统把多字段、多时效的热带气旋记录收成可对照、可复用的分析站点既方便查看强度与路径规律也能支撑毕设演示和相关学习使用对同类气象数据分析可视化课题有一定参考价值。大家可以帮忙点赞、收藏、关注、评论啦 作者主页计算机毕设木哥