多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
* SparkContext:之前学习RDD编程的入口。 * SQLContext:Spark SQL的编程入口。 * HiveContext:SQLContext的子集,包含更多功能。 * SparkSession:Spark编程入口,在Spark 2.x推荐使用它。 * SparkSession它整合了SparkContext、SQLContext、HiveContext等Spark编程的入口。 * 提供与Spark功能交互单一入口点,并允许使用DataFrame和Dataset API对Spark进行编程。 创建SparkSession的Scala代码如下: ```scala val spark = SparkSession.builder .master("master") .appName("appName") .getOrCreate() // 因为SparkSession封装了许多隐式转换,需要导入才能完成正常使用 import spark.implicts._ //假设 SparkSession 的实例为 spark ``` 1、无特殊说明时,下文中spark均指SparkSession实例。 2、如果是在spark-shell下,会自动创建`sc`(SparkContext的实例)和`spark`。