🔥码云GVP开源项目 12k star Uniapp+ElementUI 功能强大 支持多语言、二开方便! 广告
(1)Spark SQL CLI是在本地模式下使用Hive元存储服务执行SQL语句的简便工具,等同于Hive CLI(old CLI)、Beeline CLI(new CLI); (2)注意,Spark SQL CLI无法与thrift JDBC服务器通信; (3)使用Spark SQL CLI前,请将 hive-site.xml、hdfs-site.xml、core-site.xml复制到 $SPARK_HOME/conf 目录下,或者在 $SPARK_HOME/conf 目录下创建它们的软链接;然后重启Spark。 ```shell [root@hadoop101 conf]# pwd /opt/install/spark/conf [root@hadoop101 conf]# ln -s /opt/install/hadoop/etc/hadoop/hive-site.xml hive-site.xml [root@hadoop101 conf]# ln -s /opt/install/hadoop/etc/hadoop/hdfs-site.xml hdfs-site.xml [root@hadoop101 conf]# ln -s /opt/install/hadoop/etc/hadoop/core-site.xml core-site.xml ``` ![](https://img.kancloud.cn/39/dc/39dc4d0d8229da636203b604a3da58d0_1146x136.jpg) (4) Spark SQL CLI就是Hive CL,所以SQL语句的使用与Hive一样; (5)启动Spark SQL CLI,请在Spark目录中运行 `./bin/spark-sql`; ```shell -- 启动hdfs # ./sbin/start-dfs.sh -- 启动Spark # ./sbin/start-all.sh -- 启动Spark SQL CLI方式1:以本地模式启(local)动 # ./bin/spark-sql --driver-class-path /opt/install/hive/lib/mysql-connector-java-5.1.31.jar -- 启动Spark SQL CLI方式2:以Spark集群模式启动 # ./bin/spark-sql --master spark://hadoop101:7077 --driver-class-path /opt/install/hive/lib/mysql-connector-java-5.1.31.jar spark-sql> show databases; -- 查看Hive中的数据库 default events events2 itcast_ods ods_tags_dat sales_dw ```