当前位置: 首页> 健康> 美食 > sparkhive--练习2

sparkhive--练习2

时间:2025/7/11 14:45:40来源:https://blog.csdn.net/m0_46331650/article/details/141003832 浏览次数:0次

需求:

在hive中创建对应表,并且导入数据,使用spark完成对应的查询

stu_name  course       score

张三         语文         98

张三         数学         95

张三         英语         89

李四         语文         97

李四         数学         88

李四         英语         90

1.hive建表语句,导入数据语句,从linux文件系统导入

2.使用sparksql查询上述表,期望结果如下,并且将计算结果添加到mysql

  name   语文   数学   英语

 张三     98     95     89

 李四     97     88     90

1.hive建表语句,导入数据语句,从linux文件系统导入

create table student(stu_name   string,course     string,score      int
)
row format delimited
fields terminated by ',';load data local inpath '/root/stu.txt' into table student;select * from default.student;

2.使用sparksql查询上述表,期望结果如下,并且将计算结果添加到mysql

【注:表名前边加上数据库。如:default.student】

from pyspark.sql import SparkSessionif __name__ == '__main__':spark = SparkSession.builder \.appName("测试") \.config("hive.metastore.uris", 'thrift://hadoop11:9083') \.enableHiveSupport() \.getOrCreate()df = spark.sql("""select stu_name,max(case when course='语文' then score else null end) chinese,max(case when course='数学' then score else null end) math,max(case when course='英语' then score else null end) englishfrom default.studentgroup by stu_name""")props = {'user': 'root', 'password': '123456', 'driver': 'com.mysql.jdbc.Driver'}df.write.jdbc(url='jdbc:mysql://hadoop11:3306/test1', table='df_student', properties=props)spark.stop()

sql结果: 

 

关键字:sparkhive--练习2

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: