多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
# Kafka 只是消息引擎么? ## 设计之初的特性 * 提供一套 API 实现生产者和消费者 * 降低网络传输和磁盘存储开销 * 实现高伸缩性架构 ## 分布式流处理平台 * Kafka 是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform) * LinkedIn 最开始有强烈的数据强实时处理需求 * Kafka Streams * 优势 * 更容易实现端到端的正确性(Correctness) * 要实现正确性和提供能够推导时间的工具 * 实现正确性是流处理能够匹敌批处理的基石 * Exactly once * 实现正确性的基石:框架能够提供精确的一次处理语义(exactly once) * 只能实现框架内的精确一次处理语义,而无法实现端到端的 * 端到端:当网络有问题,上游 producer 重新发送时,此时 Kafka 已经接收了 record,会导致再接收一次 record,因此非 exactly once * 定位 * 搭建实时流处理的客户端酷,而非完整功能系统 ## 分布式存储系统 * 略