云尚网络科技有限公司搜索排名_网络布线_百度一下就知道百度首页_石家庄抖音seo

之前使用的操作对象有三个

• sparkContext主要是为了rdd编程而产生的一个操作对象。
• sqlContext主要是为了sparksql的编程而产生的。
• hiveContext主要是操作hive的对象。

归一化的对象

sparkSession对象融合了sc,sqlSc,hsc三种为一个整体。

package com.hainiu.sparkimport org.apache.spark.sql.SparkSessionobject TestSession {def main(args: Array[String]): Unit = {val session = SparkSession.builder().enableHiveSupport() //hive.master("local[*]").appName("test").getOrCreate()//session --> sc.sqlsc.hivesc//sparkContextval sc = session.sparkContextsession //sqlScimport session.implicits._val df = sc.textFile("file:///headless/workspace/spark/data/a.txt").map(t => {val strs = t.split(" ")(strs(0), strs(1), strs(2), strs(3))}).toDF("id", "name", "age", "gender")df.show()df.createTempView("student")session.sql("select * from student").show()session.sql("""|select count(1) from stu|""".stripMargin).show()}
}

SparkSession转化为sparkContext：

SparkContext     <-----     SparkSession.sparkContext

SparkSession就是sqlContext，不需要转化。