当前位置: 首页> 文旅> 文化 > 猴哥影院在线电影观看_东莞前十的外贸公司_网站建设对企业品牌价值提升的影响_全球搜怎么样

猴哥影院在线电影观看_东莞前十的外贸公司_网站建设对企业品牌价值提升的影响_全球搜怎么样

时间:2025/7/11 14:19:03来源:https://blog.csdn.net/lzhlizihang/article/details/143975626 浏览次数:0次
猴哥影院在线电影观看_东莞前十的外贸公司_网站建设对企业品牌价值提升的影响_全球搜怎么样

文章目录

    • 1、服务启动
    • 2、修改配置
    • 3、验证
    • 4、开发环境编写代码操作hive


1、服务启动

# 启动hdfs和yarn
start-all.sh
# 日志服务也需要启动一下
mapred --daemon start historyserver
# 启动spark的日志服务
/opt/installs/spark/sbin/start-history-server.sh
#启动hive的metastore服务
h-server start metastore

2、修改配置

cd /opt/installs/spark/conf
# 新增:hive-site.xml
vi hive-site.xml
# 在这个文件中,编写如下配置:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.uris</name><value>thrift://bigdata01:9083</value></property>
</configuration># 接着将该文件进行分发:
xsync.sh hive-site.xml

xsync是一个自己编写的shell脚本,脚本编写详情链接:
大数据集群搭建以及使用过程中几个实用的shell脚本

3、验证

linux黑窗口进入spark:

/opt/installs/spark/bin/pyspark --master local[2]

进入后,通过内置对象spark,查询hive数据库或者表:

spark.sql("show databases").show()
spark.sql("select * from mydb01.student").show()

4、开发环境编写代码操作hive

其中环境需要修改成自己的路径:

import os
import refrom pyspark.sql import SparkSessionif __name__ == '__main__':# 配置环境os.environ['JAVA_HOME'] = 'D:/devs/javajdk/jdk8'# 配置Hadoop的路径,就是前面解压的那个路径os.environ['HADOOP_HOME'] = 'D:/learn_tools/hadoop-3.3.1'# 配置base环境Python解析器的路径os.environ['PYSPARK_PYTHON'] = 'D:/learn_apps/anaconda/python.exe'  # 配置base环境Python解析器的路径os.environ['PYSPARK_DRIVER_PYTHON'] = 'D:/learn_apps/anaconda/python.exe'os.environ['HADOOP_USER_NAME'] = 'root'spark = SparkSession \.builder \.appName("HiveAPP") \.master("local[2]") \.config("spark.sql.warehouse.dir", 'hdfs://node01:9820/user/hive/warehouse') \.config('hive.metastore.uris', 'thrift://node01:9083') \.config("spark.sql.shuffle.partitions", 2) \.enableHiveSupport() \.getOrCreate()# 查询所有数学课程成绩大于语文课程成绩的学生学号resultDf = spark.sql("""select * from mydb01.t1""")resultDf.show()spark.stop()
关键字:猴哥影院在线电影观看_东莞前十的外贸公司_网站建设对企业品牌价值提升的影响_全球搜怎么样

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: