ThinkChat🤖让你学习和工作更高效,注册即送10W Token,即刻开启你的AI之旅 广告
# Kafka Streams > Streaming System 的定义:处理无限数据集的数据处理引擎。 Lambda 架构 * 利用流处理快速地给出不那么精确的结果 * 依托于批处理,最终实现数据一致性 正确性 * 目前难以实现正确性是流处理取代批处理的最大障碍。 * 实现正确性的基石:Exactly Once Semantics(EOS) 微批化 Microbatch * 重复地执行批处理引擎来实现对无限数据集的处理。典型的微批化实现平台就是 Spark Streaming。 ## Features * Kafka Streams:Java Client Library ## Kafka Streams 与其他 Streaming Framework 差异 ### 应用部署 Kafka Streams * 需要 RD 自行打包和部署 * 可以嵌入到 Java 应用中 * 需要自行管理 Kafka Streams 应用的生命周期 其他 Framework * 存在资源管理器(Resource Manager) * e.g. K8s、YARN、Mesos ### 上下游数据源 Kafka Streams * 只支持从 Kafka 中读写 其他框架 * 拥有更丰富的 Connector ### 协调方式 Kafka Streams * 依赖 Kafka 集群提供的协调功能,来提供高容错性和高伸缩性 * Kafka Streams 应用底层使用了 Consumer Group 机制来实现任意的流处理扩缩容 ### 消息语义保障