[TOC]
# 简介
Ribbon客户端启动时,从注册中心获取服务实例列表并初始化,
对获取的服务实例列表根据指定的算法进行过滤
定时更新服务实例列表的状态
Ribbon客户端要访问`http://authority/api/xxx`
根据算法从服务实例列表中选择一个服务实例
使用服务实例真实的IP和端口并替换authority部分
向真正的服务发送请求,并完成请求
~~~
<!-- https://mvnrepository.com/artifact/org.springframework.cloud/spring-cloud-starter-netflix-ribbon -->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-ribbon</artifactId>
</dependency>
~~~
~~~
@Autowired
private LoadBalancerClient loadBalancerClient;
~~~
~~~
//让负载均衡器找
ServiceInstance serviceInstance = loadBalancerClient.choose("user-service");
String url = "http://" + serviceInstance.getHost() + ":" + serviceInstance.getPort() + "/user/" + id;
~~~
让负载均衡器拦截整个
~~~
public class ConsumerApplication {
@LoadBalanced
@Bean
public RestTemplate restTemplate() {
return new RestTemplate();
}
~~~
直接在上面加注解,然后
~~~
@Autowired
private RestTemplate restTemplate;
~~~
这样就全局用,都是负载均衡帮你拦截了,这边只能用服务的名称了
~~~
String url = "http://user-service/user/" + id;
String user = restTemplate.getForObject(url, String.class);
~~~
springboot也为我们提供了修改负载均衡规则的配置入口
格式是:`{服务名称}.ribbon.NPLoadBalancerRuleclassName`,值就是IRule的实现类
~~~
user-service:
ribbon:
NPLoadBalancerRuleclassName: com.netflix.loadbalancer.RandomRule
~~~
# 主要组件
* ServerList:定义获取服务器列表
* ServerListFilter:对ServerList服务器列表进行二次过滤
* ServerListUpdater: 定义服务更新策略
* IPing: 检查服务列表是否存活
* IRule :根据算法中从服务列表中选取一个要访问的服务
* ILoadBalancer:软件负载平衡器入口,整合以上所有的组件实现负载功能
**Ribbon组件之间的关系简单整理如下:**
ServerList和ServerListFilter生成客户端可以访问的服务列表
ServerListUpdater和IPing:根据服务的状态更新服务列表
IRule:服务的选择策略
ILoadBalancer:将以上组件组合到这个类中一起工作
## ServerList: 获取服务器列表
> 存储服务列表。分为静态和动态。如果是动态的,后台有个线程会定时刷新和过滤服务列表
常用的规则有以下几种:
* ConfigurationBasedServerList
> 从配置文件中获取所有服务列表,配置举例:
~~~
sample-client:
ribbon.listOfServers: www.microsoft.com:80,www.yahoo.com:80,www.google.com:80
~~~
* DiscoveryEnabledNIWSServerList
> 从Eureka Client中获取服务列表
~~~
myClient.ribbon.NIWSServerListClassName=com.netflix.niws.loadbalancer.DiscoveryEnabledNIWSServerList
# the server must register itself with Eureka server with VipAddress "myservice"
myClient.ribbon.DeploymentContextBasedVipAddresses=myservice
~~~
* DomainExtractingServerList
> 代理类,根据 ServerList 的值实现具体的逻辑
## IPing : 检查服务列表是否存活
> 在后台运行的一个组件,用于检查服务列表是否存活
这里也有不同的策略,分别有以下策略:
* NIWSDiscoveryPing
> 不执行真正的ping。如果服务实例在本地的Eureka缓存中存在,则返回true(默认配置)。ribbon-eureka包中提供的类,结合eureka使用时,如果Discovery Client在线,则认为心跳检测通过
* PingUrl
> ribbon-httpclient包中提供的类,采用此方式,会使用httpclient调用服务的一个url,如果调用成功则认为本次心跳检测通过,即服务存活可用
* NoOpPing
> 什么都不做,永远返回true,即认为服务永远活着
* DummyPing
> 默认实现,默认返回true,即认为服务永远活着
* PingConstant
> 通过配置参数设置指定服务器存活状态
## ServerListFilter: 对ServerList服务器列表进行二次过滤
> 该接口允许过滤配置或动态获取的具有所需特性的服务器列表。ServerListFilter 是 DynamicServerListLoadBalancer 用于过滤从 ServerList 实现返回的服务器的组件。
> 常用 ServerListFilter 实现有以下几种:
* ZoneAffinityServerListFilter
> 过滤掉所有的不和客户端在相同zone的服务,如果和客户端相同的zone不存在,才不过滤不同zone有服务。
~~~
myclient.ribbon.EnableZoneAffinity=true
~~~
* ServerListSubsetFilter
> ZoneAffinityServerListFilter的子类。此过滤器确保客户端仅看到由ServerList实现返回的整个服务器的固定子集。 它还可以定期用新服务器替代可用性差的子集中的服务器
~~~
myClient.ribbon.NIWSServerListClassName=com.netflix.niws.loadbalancer.DiscoveryEnabledNIWSServerList
# 指定要负载均衡服务实例的服务应用名称
myClient.ribbon.DeploymentContextBasedVipAddresses=myservice
myClient.ribbon.NIWSServerListFilterClassName=com.netflix.loadbalancer.ServerListSubsetFilter
# 指定返回服务器子集的数量,默认20
myClient.ribbon.ServerListSubsetFilter.size=5
~~~
* ZonePreferenceServerListFilter
> ZoneAffinityServerListFilter的子类。和ZoneAffinityServerListFilter相似,但是比较的zone是发布环境里面的zone。根据消费者配置预设的区域Zone来进行过滤(默认配置). 过滤掉所有和客户端环境里的配置的zone的不同的服务,如果和客户端相同的zone不存在,才不进行过滤。
## ServerListUpdater : 定义服务更新策略
> 被DynamicServerListLoadBalancer用于动态的更新服务列表。
* PollingServerListUpdater
> 默认的实现策略。此对象会启动一个定时线程池,定时执行更新策略
* EurekaNotificationServerListUpdater
> 当收到缓存刷新的通知,会更新服务列表,由Eureka的事件监听来驱动服务列表的更新操作
* * *
## IClientConfig
> 定义各种配置信息,用来初始化ribbon客户端和负载均衡器
> 常用IClientConfig实现有以下几种:
* DefaultClientConfigImpl
> IClientConfig的默认实现,配置文件里的部分值为ribbon
## IRule :根据算法中从服务列表中选取一个要访问的服务
一共有7种负载均衡策略:
![](https://img.kancloud.cn/14/41/1441839138e44fcc95972f1ddb22556b_1009x967.png)
* RandomRule:随机,使用Random对象从服务列表中随机选择一个服务
* RoundRobinRule:轮训策略。默认策略,同时也是更高级rules的回退策略
* RetryRule: 轮询 + 重试
先使用RoundRobinRule进行服务实例选择,如果选择服务实例失败,则在指定时间不断进行重试直至找到服务或超时
* WeightedResponseTimeRule: 优先选择响应时间快
此策略会根据每个实例的平均响应时间,计算出每个服务的权重,响应时间越快,服务权重越重、被选中的概率越高。此类有个DynamicServerWeightTask的定时任务,默认情况下每隔30秒会计算一次各个服务实例的权重。
刚启动时,如果统计信息不足,则使用RoundRobinRule策略,等统计信息足够,会切换到WeightedResponseTimeRule。
* BestAvailableRule: 优先选择并发请求最小的
先过滤到断路器处于打开的服务,然后选择并发请求最小的服务实例来使用。
刚启动时,如果统计信息不足,则使用RoundRobinRule策略,等统计信息足够,会切换到BestAvailableRule。
* PredicateBasedRule
抽象类。 PredicateBasedRule是ClientConfigEnabledRoundRobinRule的一个子类,它先通过内部定义的一个过滤器过滤出一部分服务实例清单,然后再采用轮询的方式从过滤出来的结果中选取一个服务实例
* AvailabilityFilteringRule: (默认实现)
这个负载均衡器规则,会先过滤掉以下服务:
a. 由于多次访问故障而处于断路器打开的服务
b. 并发的连接数量超过阈值
然后对剩余的服务列表按照RoundRobinRule策略进行访问
如果RestClient最近3次连接服务实例都失败,则对应的服务的断路器打开。断路器打开的状态默认会持续30s,然后再关闭。如果再次连接又失败,则断路器又打开,并且等待的时间随着连续失败的次数,成指数值增加,但是等待的时间不能超过最长的等待时间
* ZoneAvoidanceRule
根据以下的规则过滤服务:
a. 如果一个ZONE不可用,则丢弃这个zone里的所有服务实例
b. 过滤以下服务实例:”由于多次访问故障而处于断路器打开的服务”和”并发的连接数量超过阈值”然后再使用轮询从过滤后的服务列表中选择一个服务
**配置举例:**
服务名开头
~~~
users:
ribbon:
NFLoadBalancerRuleClassName: com.netflix.loadbalancer.WeightedResponseTimeRule
~~~
## ILoadBalancer:将以上组件组合到这个类中一起工作
> 定义软件负载平衡器操作的接口。动态更新一组服务列表及根据指定算法从现有服务器列表中选择一个服务。
* DynamicServerListLoadBalancer
> DynamicServerListLoadBalancer组合Rule、IPing、ServerList、ServerListFilter、ServerListUpdater 实现类,实现动态更新和过滤更新服务列表.是BaseLoadBalancer的一个子类,对基础负载均衡器的功能做了进一步的扩展。增加了服务实例列表动态更新的功能,同时增加对服务实例列表过滤的功能,此类内部依靠DomainExtractingServerList从EurekaClient从注册中心获取服务实例列表,将状态为UP的服务实例组成新的服务列表,使用ZoneAffinityServerListFilter再对这个列表进行过滤。此类内部默认使用PollingServerListUpdater对服务实例列表进行定时更新,保证服务的有效性.
* ZoneAwareLoadBalancer
> 默认,这是DynamicServerListLoadBalancer的子类,主要加入zone的因素。统计每个zone的平均请求的情况,保证从所有zone选取对当前客户端服务最好的服务组列表.DynamicServerListLoadBalancer默认使用轮询策略,但是此策略在进行跨区域调用时,可能会产生高延迟。此类使用ZoneStats存储每个Zone的状态和平均请求情况,当一个zone的平均请求达到阈值或请求超时的比例达到阈值或zone不可用,则将该zone的服务实例中删除。此类使用AvailabilityFilteringRule选择一个服务实例。
* NoOpLoadBalancer
> 什么都没做
* BaseLoadBalancer
> 负载均衡器的基本实现。
> 此类内部维护一个存储所有服务实例列表和一个当前活着的服务实例列表。默认使用轮询策略选择一个服务实例做为请求对象。定义一个定时器,根据IPingStrategy定时轮询ping服务实例,用于判断服务列表是否活着。默认的ping策略为SerialPingStrategy
## Springcloud中的以上组件的默认配置
~~~
# 负载均衡类,默认为om.netflix.loadbalancer.ZoneAwareLoadBalance
NFLoadBalancerClassName=ZoneAwareLoadBalancer
# 负载均衡规则类,默认为com.netflix.loadbalancer.AvailabilityFilteringRule
NFLoadBalancerRuleClassName=AvailabilityFilteringRule
# 心跳检测类,ribbon默认为com.netflix.loadbalancer.DummyPing,结合eureka使用时默认值为NIWSDiscoveryPing
NFLoadBalancerPingClassName=NIWSDiscoveryPing
# 服务列表类,ribbon默认为com.netflix.loadbalancer.ConfigurationBasedServerList,结合eureka使用时默认值为com.netflix.niws.loadbalancer.DiscoveryEnabledNIWSServerList
NIWSServerListClassName=DiscoveryEnabledNIWSServerList
# 服务过滤类,ribbon默认为com.netflix.loadbalancer.ZoneAffinityServerListFilter。结合spring cloud eureka使用时默认为org.springframework.cloud.netflix.ribbon.ZonePreferenceServerListFilter
NIWSServerListFilterClassName=ZonePreferenceServerListFilter
~~~
# 属性配置
配置的位置:
Ribbon属性可以定义在属性文件中,也可以定义在系统变量(system properties)中
属性格式:
~~~
<clientName>.<nameSpace>.<propertyName>=<value>
~~~
说明:
~~~
clientName :ribbon的客户端的名称。如果此值为没有配置,则此条属性会作用到所有的客户端
nameSpace:ribbon的命令空间,默认值为ribbon,一般不建议修改
propertyName:属性命令。所有的可用的属性都在com.netflix.client.conf.CommonClientConfigKey类中定义。若属性没有配置,则会使用DefaultClientConfigImpl类中的默认配置
~~~
**配置文件demo**
除了第一个是配置为全局属性外,其他的属性都是为一个名称为”sample-client”的ribbon客户端配置的属性
~~~
# 设置全局默认的ribbon的连接超时
ribbon.ConnectionTimeout=500
# 设置全局默认的ribbon的读超时
ribbon.ReadTimeout=1000
# 同一服务器上重试的最大次数(不包括第一次尝试)
sample-client.ribbon.MaxAutoRetries=1
# 要重试的下一个服务器的最大数量(不包括第一个服务器)
sample-client.ribbon.MaxAutoRetriesNextServer=1
# 是否可以为此客户端重试所有操作
sample-client.ribbon.OkToRetryOnAllOperations=true
# 从源刷新服务器列表的时间间隔
sample-client.ribbon.ServerListRefreshInterval=2000
# Apache HttpClient使用的连接超时
sample-client.ribbon.ConnectTimeout=3000
# 读取Apache HttpClient使用的超时
sample-client.ribbon.ReadTimeout=3000
# 服务器的初始列表,可以在运行时通过Archaius动态属性进行更改
sample-client.ribbon.listOfServers=www.microsoft.com:80,www.yahoo.com:80,www.google.com:80
~~~
# 自定义RibbonClient
如何为服务消费者自定义Ribbon Client?
① 代码自定义RibbonClient
所谓的自定义Ribbon Client的主要作用就是使用自定义配置替代Ribbon默认的负载均衡策略,注意:自定义的Ribbon Client是有针对性的,一般一个自定义的Ribbon Client是对一个服务提供者(包括服务名相同的一系列副本)而言的。自定义了一个Ribbon Client 它所设定的负载均衡策略只对某一特定服务名的服务提供者有效,但不能影响服务消费者与别的服务提供者通信所使用的策略。根据官方文档的意思,推荐在 springboot主程序扫描的包范围之外进行自定义配置类。其实纯代码自定义RibbonClient的话有两种方式:
方式一:在springboot主程序扫描的包外定义配置类,然后为springboot主程序添加@RibbonClient注解引入配置类
~~~
@Configuration
public class TestConfiguration {
@Autowired
private IClientConfig config;
@Bean
public IRule ribbonRule(IClientConfig config) { // 自定义为随机规则
return new RandomRule();
}
}
~~~
注意:@RibbonClient注解中的name属性是指服务提供者的服务名(即当前消费者使用自定义配置与其通信的服务提供者的spring.application.name的属性)
~~~
@RibbonClient(name = "microservice-provider-user",configuration = TestConfiguration.class)
~~~
方式二:在与springboot主程序的同一级目录新建RibbonClient的配置类,但是必须在springboot扫描的包范围内排除掉,方法是自定义注解标识配置类,然后在springboot的添加@ComponentScan根据自定义注解类型过滤掉配置类
自定义注解
~~~
public @interface ExcludeFromComponentScan {
}
~~~
自定义配置类
~~~
@Configuration
@ExcludeFromComponentScan
public class TestConfiguration1 {
@Autowired
private IClientConfig config;
@Bean
public IRule ribbonRule(IClientConfig config) { // 自定义为随机规则
return new RandomRule();
}
}
~~~
在springboot主程序上添加注解
~~~
@RibbonClient(name = "microservice-provider-user",configuration = TestConfiguration1.class)
@ComponentScan(excludeFilters = {@ComponentScan.Filter(type = FilterType.ANNOTATION,value = ExcludeFromComponentScan.class)})
~~~
② 通过配置文件自定义RibbonClient
官方文档地址:`http://cloud.spring.io/spring-cloud-static/Camden.SR7/#_customizing_the_ribbon_client_using_properties`
意思就是:配置RibbonClient规则是
`<服务名>.ribbon.<类型>=与类型对应的类名(也可以自定义) `
类型可以为一下几个:
~~~
NFLoadBalancerClassName: 应该实现 ILoadBalancer接口
NFLoadBalancerRuleClassName: 应该实现 IRule接口
NFLoadBalancerPingClassName: 应该实现 IPing接口
NIWSServerListClassName: 应该实现ServerList接口
NIWSServerListFilterClassName: 应该实现ServerListFilter接口
~~~
# Ribbon脱离Eureka使用
官方描述地址:`http://cloud.spring.io/spring-cloud-static/Camden.SR7/#spring-cloud-ribbon-without-eureka`
Eureka是用于服务发现和服务注册、以及使用服务名来解决服务消费者和服务提供者通信时地址的硬编码问题的。如果Ribbon脱离了Eureka,那么在服务消费者端就无法根据服务名通过心跳机制从EurekaServer端获取对应服务提供者的IP以及端口号。这时就需要在服务消费者端配置对应服务提供者的地址列表,然后Ribbon才能通过配置文件或者自定义的RibbonClient或者默认的配置获取负载均衡的轮询策略进行请求分发。
配置方式:
第一步:检查是否引入了Eureka。如果服务在依赖中添加了spring-cloud-starter-eureka,这种情况下如果想使Ribbon脱离Eureka使用的话就需要将Eureka禁用掉。仅仅需要添加以下配置,如果没有引入Eureka就不需要禁用。
~~~
ribbon:
eureka:
enabled: false
~~~
第二步:配置某服务提供者的地址列表以及均衡策略(默认是轮询)
~~~
<服务提供者名称>:
ribbon:
listOfServers: localhost:7901,localhost:7902
NFLoadBalancerRuleClassName: com.netflix.loadbalancer.RandomRule
~~~
因为我的Demo中引入了Eureka,所以我的配置如下所示:
~~~
ribbon:
eureka:
enabled: false
microservice-provider-user:
ribbon:
listOfServers: localhost:7901,localhost:7902
NFLoadBalancerRuleClassName: com.netflix.loadbalancer.RandomRule
~~~
- 基础
- 编译和安装
- classpath到底是什么?
- 编译运行
- 安装
- sdkman多版本
- jabba多版本
- java字节码查看
- 数据类型
- 简介
- 整形
- char和int
- 变量和常量
- 大数值运算
- 基本类型包装类
- Math类
- 内存划分
- 位运算符
- 方法相关
- 方法重载
- 可变参数
- 方法引用
- 面向对象
- 定义
- 继承和覆盖
- 接口和抽象类
- 接口定义增强
- 内建函数式接口
- 多态
- 泛型
- final和static
- 内部类
- 包
- 修饰符
- 异常
- 枚举类
- 代码块
- 对象克隆
- BeanUtils
- java基础类
- scanner类
- Random类
- System类
- Runtime类
- Comparable接口
- Comparator接口
- MessageFormat类
- NumberFormat
- 数组相关
- 数组
- Arrays
- string相关
- String
- StringBuffer
- StringBuilder
- 正则
- 日期类
- Locale类
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新时间日期API
- 简介
- LocalDate,LocalTime,LocalDateTime
- Instant时间点
- 带时区的日期,时间处理
- 时间间隔
- 日期时间校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判断集合唯一
- Map和Entry
- stack类
- Collections集合工具类
- Stream数据流
- foreach不能修改内部元素
- of方法
- IO
- File类
- 字节流stream
- 字符流Reader
- IO流分类
- 转换流
- 缓冲流
- 流的操作规律
- properties
- 序列化流与反序列化流
- 打印流
- System类对IO支持
- commons-IO
- IO流总结
- NIO
- 异步与非阻塞
- IO通信
- Unix的IO模型
- epoll对于文件描述符操作模式
- 用户空间和内核空间
- NIO与普通IO的主要区别
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代码
- 多线程
- 创建线程
- 线程常用方法
- 线程池相关
- 线程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的几种线程池
- 线程安全
- 线程同步的几种方法
- synchronized
- 死锁
- lock接口
- ThreadLoad
- ReentrantLock
- 读写锁
- 锁的相关概念
- volatile
- 释放锁和不释放锁的操作
- 等待唤醒机制
- 线程状态
- 守护线程和普通线程
- Lamda表达式
- 反射相关
- 类加载器
- 反射
- 注解
- junit注解
- 动态代理
- 网络编程相关
- 简介
- UDP
- TCP
- 多线程socket上传图片
- NIO
- JDBC相关
- JDBC
- 预处理
- 批处理
- 事务
- properties配置文件
- DBUtils
- DBCP连接池
- C3P0连接池
- 获得MySQL自动生成的主键
- Optional类
- Jigsaw模块化
- 日志相关
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 简介
- 仓库
- 目录结构
- 常用命令
- 生命周期
- idea配置
- jar包冲突
- 依赖范围
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多环境
- 自定义插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 乱码
- session和cookie
- cookie
- session
- jsp
- 简介
- 注释
- 方法,成员变量
- 指令
- 动作标签
- 隐式对象
- EL
- JSTL
- javaBean
- listener监听器
- Filter过滤器
- 图片验证码
- HttpUrlConnection
- 国际化
- 文件上传
- 文件下载
- spring
- 简介
- Bean
- 获取和实例化
- 属性注入
- 自动装配
- 继承和依赖
- 作用域
- 使用外部属性文件
- spel
- 前后置处理器
- 生命周期
- 扫描规则
- 整合多个配置文件
- 注解
- 简介
- 注解分层
- 类注入
- 分层和作用域
- 初始化方法和销毁方法
- 属性
- 泛型注入
- Configuration配置文件
- aop
- aop的实现
- 动态代理实现
- cglib代理实现
- aop名词
- 简介
- aop-xml
- aop-注解
- 代理方式选择
- jdbc
- 简介
- JDBCTemplate
- 事务
- 整合
- junit整合
- hibernate
- 简介
- hibernate.properties
- 实体对象三种状态
- 检索方式
- 简介
- 导航对象图检索
- OID检索
- HQL
- Criteria(QBC)
- Query
- 缓存
- 事务管理
- 关系映射
- 注解
- 优化
- MyBatis
- 简介
- 入门程序
- Mapper动态代理开发
- 原始Dao开发
- Mapper接口开发
- SqlMapConfig.xml
- map映射文件
- 输出返回map
- 输入参数
- pojo包装类
- 多个输入参数
- resultMap
- 动态sql
- 关联
- 一对一
- 一对多
- 多对多
- 整合spring
- CURD
- 占位符和sql拼接以及参数处理
- 缓存
- 延迟加载
- 注解开发
- springMVC
- 简介
- RequestMapping
- 参数绑定
- 常用注解
- 响应
- 文件上传
- 异常处理
- 拦截器
- springBoot
- 配置
- 热更新
- java配置
- springboot配置
- yaml语法
- 运行
- Actuator 监控
- 多环境配置切换
- 日志
- 日志简介
- logback和access
- 日志文件配置属性
- 开机自启
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查询
- 复杂查询
- 多数据源的支持
- Repository分析
- JpaSpecificationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 动态sql
- 关联映射
- 使用xml
- spring容器
- 整合druid
- 整合邮件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 请求
- restful
- 拦截器
- 常用注解
- 参数校验
- 自定义filter
- websocket
- 响应
- 异常错误处理
- 文件下载
- 常用注解
- 页面
- Thymeleaf组件
- 基本对象
- 内嵌对象
- 上传文件
- 单元测试
- 模拟请求测试
- 集成测试
- 源码解析
- 自动配置原理
- 启动流程分析
- 源码相关链接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 创建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本数据类型
- 函数
- 区间
- 区块链
- 简介
- linux
- ulimit修改
- 防止syn攻击
- centos7部署bbr
- debain9开启bbr
- mysql
- 隔离性
- sql执行加载顺序
- 7种join
- explain
- 索引失效和优化
- 表连接优化
- orderby的filesort问题
- 慢查询
- show profile
- 全局查询日志
- 死锁解决
- sql
- 主从
- IDEA
- mac快捷键
- 美化界面
- 断点调试
- 重构
- springboot-devtools热部署
- IDEA进行JAR打包
- 导入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文档显示
- sftp文件同步
- 书签
- 代码查看和搜索
- postfix
- live template
- git
- 文件头注释
- JRebel
- 离线模式
- xRebel
- github
- 连接mysql
- 选项没有Java class的解决方法
- 扩展
- 项目配置和web部署
- 前端开发
- json和Inject language
- idea内存和cpu变高
- 相关设置
- 设计模式
- 单例模式
- 简介
- 责任链
- JUC
- 原子类
- 原子类简介
- 基本类型原子类
- 数组类型原子类
- 引用类型原子类
- JVM
- JVM规范内存解析
- 对象的创建和结构
- 垃圾回收
- 内存分配策略
- 备注
- 虚拟机工具
- 内存模型
- 同步八种操作
- 内存区域大小参数设置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 变量
- 运算符
- 模块
- Rewrite规则
- Netty
- netty为什么没用AIO
- 基本组件
- 源码解读
- 简单的socket例子
- 准备netty
- netty服务端启动
- 案例一:发送字符串
- 案例二:发送对象
- websocket
- ActiveMQ
- JMS
- 安装
- 生产者-消费者代码
- 整合springboot
- kafka
- 简介
- 安装
- 图形化界面
- 生产过程分析
- 保存消息分析
- 消费过程分析
- 命令行
- 生产者
- 消费者
- 拦截器interceptor
- partition
- kafka为什么快
- kafka streams
- kafka与flume整合
- RabbitMQ
- AMQP
- 整体架构
- RabbitMQ安装
- rpm方式安装
- 命令行和管控页面
- 消息生产与消费
- 整合springboot
- 依赖和配置
- 简单测试
- 多方测试
- 对象支持
- Topic Exchange模式
- Fanout Exchange订阅
- 消息确认
- java client
- RabbitAdmin和RabbitTemplate
- 两者简介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 详解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 简介
- 入门程序
- luke查看索引
- 分析器
- 索引库维护
- elasticsearch
- 配置
- 插件
- head插件
- ik分词插件
- 常用术语
- Mapping映射
- 数据类型
- 属性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 单模式下CURD
- mget多个文档
- 批量操作
- 版本控制
- 基本查询
- Filter过滤
- 组合查询
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 发布订阅
- 事务
- 连接池
- 管道
- 分布式可重入锁
- 配置文件翻译
- 持久化
- RDB
- AOF
- 总结
- Lettuce
- zookeeper
- zookeeper简介
- 集群部署
- Observer模式
- 核心工作机制
- zk命令行操作
- zk客户端API
- 感知服务动态上下线
- 分布式共享锁
- 原理
- zab协议
- 两阶段提交协议
- 三阶段提交协议
- Paxos协议
- ZAB协议
- hadoop
- 简介
- hadoop安装
- 集群安装
- 单机安装
- linux编译hadoop
- 添加新节点
- 退役旧节点
- 集群间数据拷贝
- 归档
- 快照管理
- 回收站
- 检查hdfs健康状态
- 安全模式
- hdfs简介
- hdfs命令行操作
- 常见问题汇总
- hdfs客户端操作
- mapreduce工作机制
- 案例-单词统计
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定义排序
- 自定义Bean对象
- 排序的分类
- 案例-按总量排序需求
- 一次性完成统计和排序
- 分区
- 分区简介
- 案例-结果分区
- 多表合并
- reducer端合并
- map端合并(分布式缓存)
- 分组
- groupingComparator
- 案例-求topN
- 全局计数器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat机制
- 自定义InputFormat
- 自定义outputFormat
- 多job串联
- 倒排索引
- 共同好友
- 串联
- 数据压缩
- InputFormat接口实现类
- yarn简介
- 推测执行算法
- 本地提交到yarn
- 框架运算全流程
- 数据倾斜问题
- mapreduce的优化方案
- HA机制
- 优化
- Hive
- 安装
- shell参数
- 数据类型
- 集合类型
- 数据库
- DDL操作
- 创建表
- 修改表
- 分区表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 严格模式
- 函数
- 内置运算符
- 内置函数
- 自定义函数
- Transfrom实现
- having和where不同
- 压缩
- 存储
- 存储和压缩结合使用
- explain详解
- 调优
- Fetch抓取
- 本地模式
- 表的优化
- GroupBy
- count(Distinct)去重统计
- 行列过滤
- 动态分区调整
- 数据倾斜
- 并行执行
- JVM重用
- 推测执行
- reduce内存和个数
- sql查询结果作为变量(shell)
- youtube
- flume
- 简介
- 安装
- 常用组件
- 拦截器
- 案例
- 监听端口到控制台
- 采集目录到HDFS
- 采集文件到HDFS
- 多个agent串联
- 日志采集和汇总
- 单flume多channel,sink
- 自定义拦截器
- 高可用配置
- 使用注意
- 监控Ganglia
- sqoop
- 安装
- 常用命令
- 数据导入
- 准备数据
- 导入数据到HDFS
- 导入关系表到HIVE
- 导入表数据子集
- 增量导入
- 数据导出
- 打包脚本
- 作业
- 原理
- azkaban
- 简介
- 安装
- 案例
- 简介
- command类型单一job
- command类型多job工作流flow
- HDFS操作任务
- mapreduce任务
- hive脚本任务
- oozie
- 安装
- hbase
- 简介
- 系统架构
- 物理存储
- 寻址机制
- 读写过程
- 安装
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 过滤器查询
- 建表高级属性
- 与mapreduce结合
- 与sqoop结合
- 协处理器
- 参数配置优化
- 数据备份和恢复
- 节点管理
- 案例-点击流
- 简介
- HUE
- 安装
- storm
- 简介
- 安装
- 集群启动及任务过程分析
- 单词统计
- 单词统计(接入kafka)
- 并行度和分组
- 启动流程分析
- ACK容错机制
- ACK简介
- BaseRichBolt简单使用
- BaseBasicBolt简单使用
- Ack工作机制
- 本地目录树
- zookeeper目录树
- 通信机制
- 案例
- 日志告警
- 工具
- YAPI
- chrome无法手动拖动安装插件
- 时间和空间复杂度
- jenkins
- 定位cpu 100%
- 常用脚本工具
- OOM问题定位
- scala
- 编译
- 基本语法
- 函数
- 数组常用方法
- 集合
- 并行集合
- 类
- 模式匹配
- 异常
- tuple元祖
- actor并发编程
- 柯里化
- 隐式转换
- 泛型
- 迭代器
- 流stream
- 视图view
- 控制抽象
- 注解
- spark
- 企业架构
- 安装
- api开发
- mycat
- Groovy
- 基础