Spark SQL的前身是Shark，设计目标是作为Hive的一个补充。其缺陷是：对Hive的改造，继承了大量Hive代码，给优化和维护带来了大量的麻烦，所以Spark抛弃了Shark 原有的架构，单独开发出了Spark SQL，它汲取了 Shark 的一些优点，除了覆盖 Shark 的所有功能外，还提供了 SQL DSL API 和灵活的程序扩展，摆脱了对 Hive 的依赖。