企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
:-: ![](https://img.kancloud.cn/ae/e9/aee9db2d1f7c45d5fc13518a32abc046_428x203.png) Spark技术栈 **1. Spark Core** 核心组件,分布式计算引擎。实现了 Spark 的作业调度、内存管理、容错、与存储系统交互等基本功能,并针对弹性分布式数据集(RDD)提供了丰富的操作。 <br/> **2. Spark SQL** 一个高性能的基于 Hadoop 的 SQL 解决方案。部分用法与 Hive 非常类似。 <br/> **3. Spark Streaming** 基于 Spark Core 实现的高吞吐量、具备容错机制的准<mark>实时流处理系统</mark>。将流式计算分解成一系列小批处理作业,也称微批处理。 <br/> **4. Spark GraphX** 分布式图处理框架,支持图并行计算。现在已经提供了很多算法,新的算法还在不断加入。 <br/> **5. Spark MLlib** 构建在 Spark 上的分布式机器学习库。是 Spark 对常用的机器学习算法的实现库,还提供了相关的测试与数据生成器。