💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
Catalyst优化器是Spark SQL的核心,Catalyst Optimizer(Catalyst优化器)将Spark SQL的 **逻辑计划** 转为可执行的 **物理计划**,即Catalyst优化器将SQL类似的 Spark 程序代码被 Spark Core 调度执行,其过程也有 Job、Stage、Task 的概念。 :-: ![](https://img.kancloud.cn/a0/c4/a0c4377187d5eadd4bff522d6902398d_1115x406.png) Catalyst转换过程 例如有下面的SQL: ```sql SELECT name FROM ( SELECT id, name FROM people ) p WHERE p.id = 1 ``` 优化过程: (1)在投影上面查询过滤器 (2)检查过滤是否可下压 :-: ![](https://img.kancloud.cn/f1/12/f112e6e6448f60cce4e224cda0bef6cf_700x301.png) Catalys优化过程