# Kafka 只是消息引擎么?
## 设计之初的特性
* 提供一套 API 实现生产者和消费者
* 降低网络传输和磁盘存储开销
* 实现高伸缩性架构
## 分布式流处理平台
* Kafka 是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform)
* LinkedIn 最开始有强烈的数据强实时处理需求
* Kafka Streams
* 优势
* 更容易实现端到端的正确性(Correctness)
* 要实现正确性和提供能够推导时间的工具
* 实现正确性是流处理能够匹敌批处理的基石
* Exactly once
* 实现正确性的基石:框架能够提供精确的一次处理语义(exactly once)
* 只能实现框架内的精确一次处理语义,而无法实现端到端的
* 端到端:当网络有问题,上游 producer 重新发送时,此时 Kafka 已经接收了 record,会导致再接收一次 record,因此非 exactly once
* 定位
* 搭建实时流处理的客户端酷,而非完整功能系统
## 分布式存储系统
* 略
- 概览
- 入门
- 1. 消息引擎系统
- 2. Kafka 术语
- 3. 分布式流处理平台
- 4. Kafka “发行版”
- 5. Kafka 版本号
- 基本使用
- 6. 生产集群部署
- 7. 集群参数配置
- 客户端实践与原理
- 9. Consumer 分区机制
- 10. Consumer 压缩算法
- 11. 无消息丢失配置
- 12. 客户端高级功能
- 13. Producer 管理 TCP
- 14. 幂等生产者和事务生产者
- 15. 消费者组
- 16. 位移主题
- 17. 消费者组重平衡(TODO)
- 18. 位移提交
- 19. CommitFailedException
- 20. 多线程开发者实例
- 21. Consumer 管理 TCP
- 22. 消费者组消费进度监控
- Kafka 内核
- 23. 副本机制
- 24. 请求处理
- 25. Rebalance 全流程
- 26. Kafka 控制器
- 27. 高水位和 Leader Epoch
- 管理与监控
- 28. Topic 管理
- 29. Kafka 动态配置
- 30. 重设消费者组位移
- 31. 工具脚本
- 32. KafkaAdminClient
- 33. 认证机制
- 34. 云下授权
- 35. 跨集群备份 MirrorMaker
- 36. 监控 Kafka
- 37. Kafka 监控框架
- 38. 调优 Kafka
- 39. 实时日志流处理平台
- 流处理
- 40. Kafka Streams
- 41. Kafka Streams DSL
- 42. Kafka Streams 金融
- Q&A