## 简介 本专栏主要是面向kafka开发者，介绍kafka的概念、架构、核心原理，并重点介绍开发方法。 特点是：**系统化、完整的向读者介绍面向kafka的开发体系！** 直播课以及录播课，都基于[哔哩哔哩](https://space.bilibili.com/436492104)进行中，视频都是免费的，而且制作精良哦！ 大家可以看看课程的ppt（随视频录制逐渐添加）：http://zimug.com/ppt-kafka/index.html ，用心不？ ## 加微信群 加我个人微信，我会拉入技术交流群，也可以与我个人进行技术交流！  ## 内容简介 * 第一章 kafka基础入门：主要向开发者介绍什么是消息队列？以及什么场景下使用消息队列？介绍kafka的基础概念，kafka基础概念是非常重要的知识内容，对开发者学习kafka应用开发以及运维人员管理集群都有非常重要的作用。另外介绍kafka单机版的安装，为后续学习提供一个基础环境。介绍kafka3.0中一个非常重要的变化：zookeeper被替换掉了。 * 第二章 kafka集群安装：介绍在生产级别的环境下，如何保证集群安装的可用性、可靠性，以及如何提高安装的便捷性。其实还另外涉及到安全性的问题，在第七章中进行介绍。包括kafka3.0版本在没有zookeeper情况下如何安装。 * 第三章、第四章：介绍apache kafka 原生Java API，如何操作生产者消费者，以及生产者数据生产流程中的可靠性、顺序性、幂等性、事务的保证，拦截器、序列化器、分区器的自定义实现等；消费者的消费偏移提交、数据积压、分区再均衡问题原因及就解决方法，消费者拦截器以及反序列化器的实现。 * 第五章 ：介绍更高级的Spring Kafka API如何实现数据生产、消费。 * 第六章：主要介绍kafka集群的安全性保证，包括认证模式，以及ACL权限控制管理。 * 第七章：总结topic管理命令，并介绍一个图形界面化kafka管理工具-kafka tool。**这一章中，企业级监控管理服务LogiKM也在笔者计划中，但是暂未撰写完成。这也只是个工具，面向开发者而言并不太重要！** ## 详细目录如下： * 一、kafka基础入门 * 1.1.白话消息队列 * 1.2.消息传递模型 * 1.3.典型应用场景一 * 1.4.典型应用场景二 * 1.5.kafka简单介绍 * 1.6.kafka基础概念解析 * 1.7.搭建kafka单机版 * 1.8.kafka3中zk替代方案 * 二、生产级集群安装 * 2.1.linux安装JDK * 2.2.linux主机与ip解析 * 2.3.linux新建用户 * 2.4.linux开放防火墙端口 * 2.5.最大打开文件句柄数 * 2.6.集群主机之间免密登录 * 2.7.zookeeper集群安装(脚本) * 2.8.kafka集群安装部署(脚本) * 2.9.kafka3无需zk的集群安装 * 2.10.集群可用性验证及配置 * 2.11.kafka集群可靠性配置 * 三、生产者客户端 * 3.1.本章阅读说明 * 3.2.图解kafka生产者 * 3.3.数据生产可靠性 * 3.4.保证消息顺序性 * 3.5.生产者Java实现 * 3.6.自定义拦截器 * 3.7.自定义序列化器 * 3.8.自定义分区器 * 3.9.幂等与事务处理 * 四、消费者客户端 * 4.1.消费者组与数据积压 * 4.2.消费者Java实现 * 4.3.消费偏移与可靠性 * 4.4.分区再均衡 * 4.5.线程池与消费者组 * 4.6.消费者拦截器 * 4.7.自定义反序列化器 * 五、SpringBoot集成kafka * 5.1.整合集成kafka客户端 * 5.2.生产者同步异步分区拦截 * 5.3.生产者事务处理 * 5.4.KafkaListener详解 * 5.5.Header及sendTo * 5.5.监听器模式及偏移量提交 * 5.3.消费监听器的异常处理 * 5.6.JSON序列化日期问题处理 * 六、kafka安全认证 * 6.1.用户名密码PLAIN认证 * 6.2.SCRAM认证 * 6.3.Kerberos认证(撰写中) * 七、kafka运维配置管理 * 7.1.topic管理命令 * 7.2.KafkaTool带界面管理工具 * 7.3.LogiKM企业级监控管理(撰写中) * 附录 * linux虚拟机集群的搭建