企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
(1)将 {HIVE_HOME}/conf/hive-site.xml 复制一份到 {SPARK_HOME}/conf/ 目录下 ```shell -- 使用cp复制或者建立软连接也可以,这里我选择建立软连接 [root@hadoop101 /]# ln -s /opt/install/hive/conf/hive-site.xml /opt/install/spark/conf/hive-site.xml ``` (2)将 {HIVE_HOME}/conf/hive-site.xml 复制一份到resources资源目录下 ![](https://img.kancloud.cn/87/d2/87d23ce5187555ea5895c51323ff34bc_1078x304.png) (3)scala代码 ```scala import java.io.File import org.apache.spark.sql.SparkSession object HiveSource { // val warehouseLocation = new File("spark-warehouse").getAbsolutePath def main(args: Array[String]): Unit = { val spark:SparkSession = SparkSession.builder() .master("local[4]") .appName(this.getClass.getName) .enableHiveSupport() // 1. 开启Hive支持 // 如果需要spark内部的hive则需要在这里指定hive仓库地址,使用的是外部的Hive时不需要指定 // .config("spark.sql.warehouse.dir", warehouseLocation) .getOrCreate() // 2. 可以在spark sql中操作hive了 spark.sql("select * from hivebook.people limit 5").show() // +---------+-----------+----------+-----------------+ // |people_id|people_name|people_age|people_start_date| // +---------+-----------+----------+-----------------+ // | 1| tom| 23| 2019-03-16| // | 2| jack| 12| 2019-03-13| // | 3| robin| 14| 2018-08-13| // | 4| justin| 34| 2018-10-12| // | 5| jarry| 24| 2017-11-11| // +---------+-----------+----------+-----------------+ } } ```