简介

本专栏主要是面向kafka开发者，介绍kafka的概念、架构、核心原理，并重点介绍开发方法。
特点是：系统化、完整的向读者介绍面向kafka的开发体系！

直播课以及录播课，都基于哔哩哔哩进行中，视频都是免费的，而且制作精良哦！
大家可以看看课程的ppt（随视频录制逐渐添加）：http://zimug.com/ppt-kafka/index.html ，用心不？

加微信群

内容简介

  • 第一章 kafka基础入门：主要向开发者介绍什么是消息队列？以及什么场景下使用消息队列？介绍kafka的基础概念，kafka基础概念是非常重要的知识内容，对开发者学习kafka应用开发以及运维人员管理集群都有非常重要的作用。另外介绍kafka单机版的安装，为后续学习提供一个基础环境。介绍kafka3.0中一个非常重要的变化：zookeeper被替换掉了。
  • 第二章 kafka集群安装：介绍在生产级别的环境下，如何保证集群安装的可用性、可靠性，以及如何提高安装的便捷性。其实还另外涉及到安全性的问题，在第七章中进行介绍。包括kafka3.0版本在没有zookeeper情况下如何安装。
  • 第三章、第四章：介绍apache kafka 原生Java API，如何操作生产者消费者，以及生产者数据生产流程中的可靠性、顺序性、幂等性、事务的保证，拦截器、序列化器、分区器的自定义实现等；消费者的消费偏移提交、数据积压、分区再均衡问题原因及就解决方法，消费者拦截器以及反序列化器的实现。
  • 第五章 ：介绍更高级的Spring Kafka API如何实现数据生产、消费。
  • 第六章：主要介绍kafka集群的安全性保证，包括认证模式，以及ACL权限控制管理。
  • 第七章：总结topic管理命令，并介绍一个图形界面化kafka管理工具-kafka tool。这一章中，企业级监控管理服务LogiKM也在笔者计划中，但是暂未撰写完成。这也只是个工具，面向开发者而言并不太重要！

详细目录如下：

  • 一、kafka基础入门
    • 1.1.白话消息队列
    • 1.2.消息传递模型
    • 1.3.典型应用场景一
    • 1.4.典型应用场景二
    • 1.5.kafka简单介绍
    • 1.6.kafka基础概念解析
    • 1.7.搭建kafka单机版
    • 1.8.kafka3中zk替代方案
  • 二、生产级集群安装
    • 2.1.linux安装JDK
    • 2.2.linux主机与ip解析
    • 2.3.linux新建用户
    • 2.4.linux开放防火墙端口
    • 2.5.最大打开文件句柄数
    • 2.6.集群主机之间免密登录
    • 2.7.zookeeper集群安装(脚本)
    • 2.8.kafka集群安装部署(脚本)
    • 2.9.kafka3无需zk的集群安装
    • 2.10.集群可用性验证及配置
    • 2.11.kafka集群可靠性配置
  • 三、生产者客户端
    • 3.1.本章阅读说明
    • 3.2.图解kafka生产者
    • 3.3.数据生产可靠性
    • 3.4.保证消息顺序性
    • 3.5.生产者Java实现
    • 3.6.自定义拦截器
    • 3.7.自定义序列化器
    • 3.8.自定义分区器
    • 3.9.幂等与事务处理
  • 四、消费者客户端
    • 4.1.消费者组与数据积压
    • 4.2.消费者Java实现
    • 4.3.消费偏移与可靠性
    • 4.4.分区再均衡
    • 4.5.线程池与消费者组
    • 4.6.消费者拦截器
    • 4.7.自定义反序列化器
  • 五、SpringBoot集成kafka
    • 5.1.整合集成kafka客户端
    • 5.2.生产者同步异步分区拦截
    • 5.3.生产者事务处理
    • 5.4.KafkaListener详解
    • 5.5.Header及sendTo
    • 5.5.监听器模式及偏移量提交
    • 5.3.消费监听器的异常处理
    • 5.6.JSON序列化日期问题处理
  • 六、kafka安全认证
    • 6.1.用户名密码PLAIN认证
    • 6.2.SCRAM认证
    • 6.3.Kerberos认证(撰写中)
  • 七、kafka运维配置管理
    • 7.1.topic管理命令
    • 7.2.KafkaTool带界面管理工具
    • 7.3.LogiKM企业级监控管理(撰写中)
  • 附录
    • linux虚拟机集群的搭建