[TOC]
# 简介
**SpringBoot导入spring-boot-starter-data-redis时, CacheManager默认使用RedisCache.**
在 Spring Boot 中,默认集成的 Redis 就是 Spring Data Redis,默认底层的连接池使用了 lettuce ,开发者可以自行修改为自己的熟悉的,例如 Jedis。
Spring Data Redis 针对 Redis 提供了非常方便的操作模板 RedisTemplate 。这是 Spring Data 擅长的事情,那么接下来我们就来看看 Spring Boot 中 Spring Data Redis 的具体用法。
Spring Boot 提供了对 Redis 集成的组件包:spring-boot-starter-data-redis,它依赖于 spring-data-redis 和
lettuce。Spring Boot 1.0 默认使⽤的是 Jedis 客户端,2.0 替换成了 Lettuce
添加redis依赖
~~~
<!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-data-redis -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
<version>2.2.1.RELEASE</version>
</dependency>
<!-- 引⼊ commons-pool 2 是因为 Lettuce 需要使⽤ commons-pool 2 创建 Redis 连接池 -->
<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-pool2 -->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
<version>2.8.0</version>
</dependency>
<!-- 在JDK1.8中的时间类,采用了一套了新的API。但是在反序列化中,会出现异常. 此依赖解决 -->
<dependency>
<groupId>com.fasterxml.jackson.datatype</groupId>
<artifactId>jackson-datatype-jsr310</artifactId>
</dependency>
~~~
**如果将lettuce客户端换成jedis客户端**
~~~xml
<!-- Redis -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
<exclusions>
<exclusion>
<groupId>io.lettuce</groupId>
<artifactId>lettuce-core</artifactId>
</exclusion>
</exclusions>
</dependency>
<!-- jedis -->
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
</dependency>
<!--使用redis连接池-->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
</dependency>
~~~
* Lettuce:是⼀个可伸缩线程安全的 Redis 客户端,多个线程可以共享同⼀个 RedisConnection,它利⽤ 优秀 Netty NIO 框架来⾼效地管理多个连接。
* Spring Data:是 Spring 框架中的⼀个主要项⽬,⽬的是为了简化构建基于 Spring 框架应⽤的数据访问,包括⾮关系数据库、Map-Reduce 框架、云数据服务等,另外也包含对关系数据库的访问⽀持。
* Spring Data Redis:是 Spring Data 项⽬中的⼀个主要模块,实现了对 Redis 客户端 API 的⾼度封装, 使对 Redis 的操作更加便捷。
# 配置连接信息
~~~
###################Redis#################
# Redis数据库索引(默认为0)
spring.redis.database=0
# Redis服务器地址
spring.redis.host=127.0.0.1
# Redis服务器连接端口
spring.redis.port=6379
# Redis服务器连接密码(默认为空)
spring.redis.password=root
# 连接池最大连接数(使用负值表示没有限制)
spring.redis.lettuce.pool.max-active=8
# 连接池最大阻塞等待时间(使用负值表示没有限制)
spring.redis.lettuce.pool.max-wait=-1
# 连接池中的最大空闲连接
spring.redis.lettuce.pool.max-idle=10
# 连接池中的最小空闲连接
spring.redis.lettuce.pool.min-idle=0
# 连接超时时间(毫秒)
spring.redis.lettuce.timeout=1000
~~~
# redis存储中文显示问题
Redis的value存储中文后,get之后显示16进制的字符串”\\xe4\\xb8\\xad\\xe5\\x9b\\xbd”,如何解决?
~~~
127.0.0.1:6379> set China 中国
OK
127.0.0.1:6379> get China
"\xe4\xb8\xad\xe5\x9b\xbd"
127.0.0.1:6379> exit
~~~
解决方法:
启动redis-cli时,在其后面加上**–raw**即可,汉字即可显示正常。
**–raw 使用RAW格式回帖(默认时是不是一个TTY标准)**
# 配置
## 序列化
针对StringRedisSerializer,Jackson2JsonRedisSerializer和JdkSerializationRedisSerializer进行测试
| 数据结构 | 序列化类 | 序列化前 | 序列化后 |
| --- | --- | --- | --- |
| Key/Value | StringRedisSerializer | test\_value | test\_value |
| Key/Value | Jackson2JsonRedisSerializer | test\_value | "test\_value" |
| Key/Value | JdkSerializationRedisSerializer | test\_value | 乱码 |
| Hash | StringRedisSerializer | 2016-08-18 | 2016-08-18 |
| Hash | Jackson2JsonRedisSerializer | 2016-08-18 | "2016-08-18" |
| Hash | JdkSerializationRedisSerializer | 2016-08-18 | \\xAC\\xED\\x00\\x05t |
**由此可以得到结论:**
1. StringRedisSerializer进行序列化后的值,在Java和Redis中保存的内容时一致的。
2. 用Jackson2JsonRedisSerializer序列化后,在Redis中保存的内容,比Java中多一对逗号。
3. 用JdkSerializationRedisSerializer序列化后,对于Key-Value结构来说,在Redis中不可读;对于Hash的Value来说,比Java的内容多了一些字符。
作者:小胖学编程
链接:https://www.jianshu.com/p/0d4aea41a70c
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
~~~
@Resource
private RedisTemplate redisTemplate;
@Resource
private StringRedisTemplate stringRedisTemplate;
~~~
String Data Redis 为我们提供了 RedisTemplate 和 StringRedisTemplate 两个模版来进行数据操作,其中:StringRedisTemplate 只针对键值都是字符串的数据进行操作。
当我们的数据存储到 Redis 的时候,我们的键(key)和 值(value)都是通过 Spring 提供的 Serializer 序列化到数据可中的。
* RedisTemplate 默认使用的是 JdkSerializationRedisSerializer
* StringRedisTemplate 默认使用的是 StringRedisSerializer
Spring Data JPA 为我们提供了下面的 Serializer
* GenericToStringSerializer
* Jackson2JsonRedisSerializer
* JdkSerializationRedisSerializer
* OxmSerializer
* StringRedisSerializer
Spring Boot 为我们自动配置了 RedisTemplate,而 RedisTemplate 使用的是 JdkSerializationRedisSerializer,这个对我们用 redis 图形化客户端很不直观,因为 JdkSerializationRedisSerializer 使用二进制形式储存数据,在此我们将自己配置 RedisTemplate 并定义 Serializer
## 配置类
* **@EnableCaching**: 开启缓存
* **CacheManager**: Spring缓存管理器
* **KeyGenerator**: Redis 缓存键生成策略, Spring 默认的DefaultKeyGenerator根据参数列表生成Key,当参数列表的值相同时是一样的 就会造成获取到错误的缓存数据
~~~
@EnableCaching注解是spring framework中的注解驱动的缓存管理功能,
当你在配置类(@Configuration)上使用@EnableCaching注解时,
会触发一个post processor,这会扫描每一个spring bean,查看是否已经存在注解对应的缓存。
如果找到了,就会自动创建一个代理拦截方法调用,使用缓存的bean执行处理。
~~~
~~~
import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.SerializationFeature;
import com.fasterxml.jackson.datatype.jsr310.JavaTimeModule;
import org.springframework.cache.CacheManager;
import org.springframework.cache.annotation.CachingConfigurerSupport;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.cache.interceptor.KeyGenerator;
import org.springframework.data.redis.cache.RedisCacheConfiguration;
import org.springframework.data.redis.cache.RedisCacheManager;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.RedisSerializationContext;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
import java.lang.reflect.Method;
import java.time.Duration;
import java.util.StringJoiner;
@Configuration
@EnableCaching //开启缓存
public class RedisConfig extends CachingConfigurerSupport{
/**
* @description 缓存key前缀
*/
private static final String keyPrefix = "CACHE:";
/**
* 在这⾥可以为 Redis 设置⼀些全局配置,⽐如配置主键的⽣产策略 KeyGenerator,如不配置会默认使⽤参数名作为主键。在没有指定缓存 key 的情况下,key 的默认生成策略
* 注意: 该方法只是声明了key的生成策略,还未被使用,需在@Cacheable注解中指定keyGenerator
* 如: @Cacheable(value = "key", keyGenerator = "keyGenerator")
*/
@Override
@Bean
public KeyGenerator keyGenerator() {
return new KeyGenerator() {
//接口提供三个参数,目标类,目标方法,目标参数列表
@Override
public Object generate(Object target, Method method, Object... params) {
StringBuilder sb = new StringBuilder();
sb.append(RedisConfig.keyPrefix);
sb.append(target.getClass().getName());
sb.append(method.getName());
for (Object obj : params) {
sb.append(obj.toString());
}
return sb.toString();
}
};
}
@Bean(name="redisTemplate")
public RedisTemplate<String, String> redisTemplate(RedisConnectionFactory factory) {
RedisTemplate<String, String> template = new RedisTemplate<>();
RedisSerializer<String> redisSerializer = new StringRedisSerializer();
// 创建序列化类
Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
//解决查询缓存转换异常的问题
ObjectMapper om = new ObjectMapper();
//注意: 在JDK1.8中的时间类,采用了一套了新的API。但是在反序列化中,会出现异常. ckson-datatype-jsr310依赖解决
om.disable(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS);
om.registerModule(new JavaTimeModule());
//设置可见度
om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
//启动默认的类型
om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
//序列化类,对象映射设置
jackson2JsonRedisSerializer.setObjectMapper(om);
//配置序列化(解决乱码的问题)
template.setConnectionFactory(factory);
//key序列化方式
template.setKeySerializer(redisSerializer);
//value序列化
template.setValueSerializer(jackson2JsonRedisSerializer);
//value hashMap序列化
template.setHashValueSerializer(jackson2JsonRedisSerializer);
return template;
}
//自定义 cacheManager 缓存管理器,全局
@Bean
public CacheManager cacheManager(RedisConnectionFactory factory) {
RedisSerializer<String> redisSerializer = new StringRedisSerializer();
Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
// 配置序列化,redis缓存管理器配置,默认使用
RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig()
//.prefixKeysWith("prefix:") //设置静态前缀
;
RedisCacheConfiguration redisCacheConfiguration = config.serializeKeysWith(
// key 序列化方式
RedisSerializationContext.SerializationPair.fromSerializer(redisSerializer))
// value 序列化方式
.serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(jackson2JsonRedisSerializer))
// 不缓存null值
//.disableCachingNullValues()
//默认缓存过期时间
//.entryTtl(Duration.ofHours(3L))
;
RedisCacheManager cacheManager = RedisCacheManager.builder(factory)
.cacheDefaults(redisCacheConfiguration)
.build();
return cacheManager;
}
}
~~~
## 序列化问题
在JDK1.8中的时间类,采用了一套了新的API。但是在反序列化中,会出现异常。
~~~
com.fasterxml.jackson.databind.exc.InvalidDefinitionException:
Cannot construct instance of java.time.LocalDate (no Creators, like default construct, exist):
cannot deserialize from Object value (no delegate- or property-based Creator)
~~~
在SpringBoot中的解决方案:
* **在MAVEN中加入`ckson-datatype-jsr310`依赖。**
~~~xml
<dependency>
<groupId>com.fasterxml.jackson.datatype</groupId>
<artifactId>jackson-datatype-jsr310</artifactId>
</dependency>
~~~
* **配置Configuration中的ObjectMapper。**
~~~java
@Bean
public ObjectMapper serializingObjectMapper() {
ObjectMapper objectMapper = new ObjectMapper();
objectMapper.disable(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS);
objectMapper.registerModule(new JavaTimeModule());
return objectMapper;
}
~~~
# 测试使用redis
* opsForValue:对应 String(字符串)
* opsForZSet:对应 ZSet(有序集合)
* opsForHash:对应 Hash(哈希)
* opsForList:对应 List(列表)
* opsForSet:对应 Set(集合)
* opsForGeo:对应 GEO(地理位置)
## string
~~~
@Autowired
private RedisTemplate redisTemplate;
@Test
public void test() {
redisTemplate.opsForValue().set("neo121", "ityouknow");
Assert.assertEquals("ityouknow", redisTemplate.opsForValue().get("neo121"));
}
~~~
## 对象存储
对象要有无参构造函数
~~~
@Autowired
private RedisTemplate redisTemplate;
@Test
public void test() {
//对象要有无参构造函数
User user = new User(1, "jdxia");
ValueOperations<String, Object> operations = redisTemplate.opsForValue();
operations.set("com.jdxia", user);
User u = (User) operations.get("com.jdxia");
System.out.println(u);
}
~~~
## 设置过期和查询是否存在
~~~
//设置过期时间
redisTemplate.expire(key, time, TimeUnit.SECONDS);
~~~
~~~
// @return 时间(秒) 返回0代表为永久有效;如果该key已经过期,将返回"-2";
redisTemplate.getExpire(key, TimeUnit.SECONDS);
~~~
~~~
//string设置方式
//这个对象要有无参构造函数
User user = new User(2, "jdxia");
ValueOperations<String, Object> operations = redisTemplate.opsForValue();
//100毫秒
operations.set("com.jdxia", user, 100, TimeUnit.MILLISECONDS);
User u = (User) operations.get("com.jdxia");
System.out.println(u);
Thread.sleep(1000);
Boolean hasKey = redisTemplate.hasKey("com.jdxia");
if (hasKey) {
System.out.println("key is exists");
} else {
System.out.println("key is not exists");
}
~~~
## 递增减
~~~
redisTemplate.opsForValue().increment(key, delta);
redisTemplate.opsForValue().increment(key, -delta);
~~~
## 删除数据
~~~
redisTemplate.delete("deletekey");
~~~
## hash
~~~
HashOperations operations = redisTemplate.opsForHash();
operations.put("hash", "hashKey", "hashValue");
String v = (String) operations.get("hash", "hashKey");
System.out.println(v);
~~~
~~~
//获取hashKey对应的所有键值
redisTemplate.opsForHash().entries(key);
~~~
~~~
//map 对应多个键值, Map<String, Object> map
redisTemplate.opsForHash().putAll(key, map);
~~~
~~~
//可以用这个给hash设置过期时间
redisTemplate.expire(key, time, TimeUnit.SECONDS);
~~~
~~~
//hash递增减
redisTemplate.opsForHash().increment(键, 项, 增减几);
~~~
## list
~~~
ListOperations<String, String> list = redisTemplate.opsForList();
list.leftPush("list","it");
list.leftPush("list","you");
list.leftPush("list","know");
String value=(String)list.leftPop("list");
System.out.println("list value :"+value.toString());
~~~
~~~
//将list放入缓存, List<Object> value
redisTemplate.opsForList().rightPushAll(key, value);
~~~
~~~
//key: 键, start: 开始, end结束 -1代表所有值
redisTemplate.opsForList().range(key, start, end);
~~~
~~~
//获取长度
redisTemplate.opsForList().size(key);
~~~
~~~
//通过索引 获取list中的值, index 索引 index>=0时, 0 表头,1 第二个元素,依次类推;index<0时,-1,表尾,-2倒数第二个元素,依次类推
redisTemplate.opsForList().index(key, index);
~~~
~~~
//根据索引修改list中的某条数据
redisTemplate.opsForList().set(key, index, value);
~~~
~~~
//移除n个值为value
redisTemplate.opsForList().remove(key, n, value);
~~~
## set
Set 是可以⾃动排重的
~~~
String key="set";
//添加
SetOperations<String, String> set = redisTemplate.opsForSet(); set.add(key,"it");
set.add(key,"you");
set.add(key,"you");
set.add(key,"know");
//获取
Set<String> values = set.members(key);
for (String v:values){
System.out.println("set value :"+v);
}
~~~
~~~
//查询是否存在
redisTemplate.opsForSet().isMember(key, value);
~~~
~~~
//获取长度
redisTemplate.opsForSet().size(key);
~~~
~~~
//删除,values可以是多个
redisTemplate.opsForSet().remove(key, values);
~~~
Redis 为集合提供了求交集、并集、差集等操作,可以⾮常⽅便的使⽤
**差集**
~~~
SetOperations<String, String> set = redisTemplate.opsForSet(); String key1="setMore1";
String key2="setMore2";
set.add(key1,"it");
set.add(key1,"you");
set.add(key1,"you");
set.add(key1,"know");
set.add(key2,"xx");
set.add(key2,"know");
Set<String> diffs=set.difference(key1,key2);
for (String v:diffs){
System.out.println("diffs set value :"+v);
}
~~~
difference() 函数会把 key 1 中不同于 key 2 的数据对⽐出来,这个特性适合我 们在⾦融场景中对账的时候使⽤。
**交集**
~~~
SetOperations<String, String> set = redisTemplate.opsForSet();
String key3="setMore3";
String key4="setMore4";
set.add(key3,"it");
set.add(key3,"you");
set.add(key3,"xx");
set.add(key4,"aa");
set.add(key4,"bb");
set.add(key4,"know");
Set<String> unions=set.union(key3,key4);
for (String v:unions){
System.out.println("unions value :"+v);
}
~~~
unions 会取两个集合的合集,Set 还有其他很多类似的操作,⾮常⽅便我们对集合进⾏ 数据处理
Set 的内部实现是⼀个 Value 永远为 null 的 HashMap,实际就是通过计算 Hash 的⽅式来快速排重, 这也是 Set 能提供判断⼀个成员是否在集合内的原因。
## zset
Redis Sorted Set 的使⽤场景与 Set 类似,区别是 Set 不是⾃动有序的,⽽ Sorted Set 可以通过⽤户额外提供⼀个优先级(Score)的参数来为成员排序,并且是插⼊有序,即⾃动排序
~~~
String key="zset";
redisTemplate.delete(key);
ZSetOperations<String, String> zset = redisTemplate.opsForZSet();
zset.add(key,"it",1);
zset.add(key,"you",6);
zset.add(key,"know",4);
zset.add(key,"neo",3);
Set<String> zsets=zset.range(key,0,3);
for (String v:zsets){
System.out.println("zset value : " + v );
}
Set<String> zsetB=zset.rangeByScore(key,0,3);
for (String v:zsetB){
System.out.println("zsetB value :"+v);
}
~~~
通过上⾯的例⼦我们发现插⼊到 Zset 的数据会⾃动根据 Score 进⾏排序,根据这个特性我们可以做优先队 列等各种常⻅见的场景。另外 Redis 还提供了 rangeByScore 这样的⼀个⽅法,可以只获取 Score 范围内排序 后的数据。
Redis Sorted Set 的内部使⽤ HashMap 和跳跃表(SkipList)来保证数据的存储和有序,HashMap ⾥放的是成员到 Score 的映射,⽽跳跃表⾥存放的是所有的成员,排序依据是 HashMap ⾥存的 Score, 使⽤跳跃表的结构可以获得⽐较⾼的查找效率,并且在实现上⽐较简单。
## 查找
~~~
Set<Serializable> keys = redisTemplate.keys(pattern);
~~~
# 整合session
Spring 为 Spring Session 和 Redis 的集成提供了组件:`spring-session-data-redis`
~~~
<dependency>
<groupId>org.springframework.session</groupId>
<artifactId>spring-session-data-redis</artifactId>
</dependency>
~~~
**配置**
~~~
import org.springframework.context.annotation.Configuration;
import org.springframework.session.data.redis.config.annotation.web.http.EnableRedisHttpSession;
@Configuration
@EnableRedisHttpSession(maxInactiveIntervalInSeconds = 86400*30)
public class SessionConfig {}
~~~
**测试**
~~~
@RequestMapping(value = "/setSession")
public Map<String, Object> setSession (HttpServletRequest request){
Map<String, Object> map = new HashMap<>();
request.getSession().setAttribute("message", request.getRequestURL());
map.put("request Url", request.getRequestURL());
return map;
}
@RequestMapping(value = "/getSession")
public Object getSession (HttpServletRequest request){
Map<String, Object> map = new HashMap<>();
map.put("sessionId", request.getSession().getId());
map.put("message", request.getSession().getAttribute("message"));
return map;
}
~~~
- 基础
- 编译和安装
- classpath到底是什么?
- 编译运行
- 安装
- sdkman多版本
- jabba多版本
- java字节码查看
- 数据类型
- 简介
- 整形
- char和int
- 变量和常量
- 大数值运算
- 基本类型包装类
- Math类
- 内存划分
- 位运算符
- 方法相关
- 方法重载
- 可变参数
- 方法引用
- 面向对象
- 定义
- 继承和覆盖
- 接口和抽象类
- 接口定义增强
- 内建函数式接口
- 多态
- 泛型
- final和static
- 内部类
- 包
- 修饰符
- 异常
- 枚举类
- 代码块
- 对象克隆
- BeanUtils
- java基础类
- scanner类
- Random类
- System类
- Runtime类
- Comparable接口
- Comparator接口
- MessageFormat类
- NumberFormat
- 数组相关
- 数组
- Arrays
- string相关
- String
- StringBuffer
- StringBuilder
- 正则
- 日期类
- Locale类
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新时间日期API
- 简介
- LocalDate,LocalTime,LocalDateTime
- Instant时间点
- 带时区的日期,时间处理
- 时间间隔
- 日期时间校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判断集合唯一
- Map和Entry
- stack类
- Collections集合工具类
- Stream数据流
- foreach不能修改内部元素
- of方法
- IO
- File类
- 字节流stream
- 字符流Reader
- IO流分类
- 转换流
- 缓冲流
- 流的操作规律
- properties
- 序列化流与反序列化流
- 打印流
- System类对IO支持
- commons-IO
- IO流总结
- NIO
- 异步与非阻塞
- IO通信
- Unix的IO模型
- epoll对于文件描述符操作模式
- 用户空间和内核空间
- NIO与普通IO的主要区别
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代码
- 多线程
- 创建线程
- 线程常用方法
- 线程池相关
- 线程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的几种线程池
- 线程安全
- 线程同步的几种方法
- synchronized
- 死锁
- lock接口
- ThreadLoad
- ReentrantLock
- 读写锁
- 锁的相关概念
- volatile
- 释放锁和不释放锁的操作
- 等待唤醒机制
- 线程状态
- 守护线程和普通线程
- Lamda表达式
- 反射相关
- 类加载器
- 反射
- 注解
- junit注解
- 动态代理
- 网络编程相关
- 简介
- UDP
- TCP
- 多线程socket上传图片
- NIO
- JDBC相关
- JDBC
- 预处理
- 批处理
- 事务
- properties配置文件
- DBUtils
- DBCP连接池
- C3P0连接池
- 获得MySQL自动生成的主键
- Optional类
- Jigsaw模块化
- 日志相关
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 简介
- 仓库
- 目录结构
- 常用命令
- 生命周期
- idea配置
- jar包冲突
- 依赖范围
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多环境
- 自定义插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 乱码
- session和cookie
- cookie
- session
- jsp
- 简介
- 注释
- 方法,成员变量
- 指令
- 动作标签
- 隐式对象
- EL
- JSTL
- javaBean
- listener监听器
- Filter过滤器
- 图片验证码
- HttpUrlConnection
- 国际化
- 文件上传
- 文件下载
- spring
- 简介
- Bean
- 获取和实例化
- 属性注入
- 自动装配
- 继承和依赖
- 作用域
- 使用外部属性文件
- spel
- 前后置处理器
- 生命周期
- 扫描规则
- 整合多个配置文件
- 注解
- 简介
- 注解分层
- 类注入
- 分层和作用域
- 初始化方法和销毁方法
- 属性
- 泛型注入
- Configuration配置文件
- aop
- aop的实现
- 动态代理实现
- cglib代理实现
- aop名词
- 简介
- aop-xml
- aop-注解
- 代理方式选择
- jdbc
- 简介
- JDBCTemplate
- 事务
- 整合
- junit整合
- hibernate
- 简介
- hibernate.properties
- 实体对象三种状态
- 检索方式
- 简介
- 导航对象图检索
- OID检索
- HQL
- Criteria(QBC)
- Query
- 缓存
- 事务管理
- 关系映射
- 注解
- 优化
- MyBatis
- 简介
- 入门程序
- Mapper动态代理开发
- 原始Dao开发
- Mapper接口开发
- SqlMapConfig.xml
- map映射文件
- 输出返回map
- 输入参数
- pojo包装类
- 多个输入参数
- resultMap
- 动态sql
- 关联
- 一对一
- 一对多
- 多对多
- 整合spring
- CURD
- 占位符和sql拼接以及参数处理
- 缓存
- 延迟加载
- 注解开发
- springMVC
- 简介
- RequestMapping
- 参数绑定
- 常用注解
- 响应
- 文件上传
- 异常处理
- 拦截器
- springBoot
- 配置
- 热更新
- java配置
- springboot配置
- yaml语法
- 运行
- Actuator 监控
- 多环境配置切换
- 日志
- 日志简介
- logback和access
- 日志文件配置属性
- 开机自启
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查询
- 复杂查询
- 多数据源的支持
- Repository分析
- JpaSpecificationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 动态sql
- 关联映射
- 使用xml
- spring容器
- 整合druid
- 整合邮件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 请求
- restful
- 拦截器
- 常用注解
- 参数校验
- 自定义filter
- websocket
- 响应
- 异常错误处理
- 文件下载
- 常用注解
- 页面
- Thymeleaf组件
- 基本对象
- 内嵌对象
- 上传文件
- 单元测试
- 模拟请求测试
- 集成测试
- 源码解析
- 自动配置原理
- 启动流程分析
- 源码相关链接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 创建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本数据类型
- 函数
- 区间
- 区块链
- 简介
- linux
- ulimit修改
- 防止syn攻击
- centos7部署bbr
- debain9开启bbr
- mysql
- 隔离性
- sql执行加载顺序
- 7种join
- explain
- 索引失效和优化
- 表连接优化
- orderby的filesort问题
- 慢查询
- show profile
- 全局查询日志
- 死锁解决
- sql
- 主从
- IDEA
- mac快捷键
- 美化界面
- 断点调试
- 重构
- springboot-devtools热部署
- IDEA进行JAR打包
- 导入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文档显示
- sftp文件同步
- 书签
- 代码查看和搜索
- postfix
- live template
- git
- 文件头注释
- JRebel
- 离线模式
- xRebel
- github
- 连接mysql
- 选项没有Java class的解决方法
- 扩展
- 项目配置和web部署
- 前端开发
- json和Inject language
- idea内存和cpu变高
- 相关设置
- 设计模式
- 单例模式
- 简介
- 责任链
- JUC
- 原子类
- 原子类简介
- 基本类型原子类
- 数组类型原子类
- 引用类型原子类
- JVM
- JVM规范内存解析
- 对象的创建和结构
- 垃圾回收
- 内存分配策略
- 备注
- 虚拟机工具
- 内存模型
- 同步八种操作
- 内存区域大小参数设置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 变量
- 运算符
- 模块
- Rewrite规则
- Netty
- netty为什么没用AIO
- 基本组件
- 源码解读
- 简单的socket例子
- 准备netty
- netty服务端启动
- 案例一:发送字符串
- 案例二:发送对象
- websocket
- ActiveMQ
- JMS
- 安装
- 生产者-消费者代码
- 整合springboot
- kafka
- 简介
- 安装
- 图形化界面
- 生产过程分析
- 保存消息分析
- 消费过程分析
- 命令行
- 生产者
- 消费者
- 拦截器interceptor
- partition
- kafka为什么快
- kafka streams
- kafka与flume整合
- RabbitMQ
- AMQP
- 整体架构
- RabbitMQ安装
- rpm方式安装
- 命令行和管控页面
- 消息生产与消费
- 整合springboot
- 依赖和配置
- 简单测试
- 多方测试
- 对象支持
- Topic Exchange模式
- Fanout Exchange订阅
- 消息确认
- java client
- RabbitAdmin和RabbitTemplate
- 两者简介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 详解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 简介
- 入门程序
- luke查看索引
- 分析器
- 索引库维护
- elasticsearch
- 配置
- 插件
- head插件
- ik分词插件
- 常用术语
- Mapping映射
- 数据类型
- 属性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 单模式下CURD
- mget多个文档
- 批量操作
- 版本控制
- 基本查询
- Filter过滤
- 组合查询
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 发布订阅
- 事务
- 连接池
- 管道
- 分布式可重入锁
- 配置文件翻译
- 持久化
- RDB
- AOF
- 总结
- Lettuce
- zookeeper
- zookeeper简介
- 集群部署
- Observer模式
- 核心工作机制
- zk命令行操作
- zk客户端API
- 感知服务动态上下线
- 分布式共享锁
- 原理
- zab协议
- 两阶段提交协议
- 三阶段提交协议
- Paxos协议
- ZAB协议
- hadoop
- 简介
- hadoop安装
- 集群安装
- 单机安装
- linux编译hadoop
- 添加新节点
- 退役旧节点
- 集群间数据拷贝
- 归档
- 快照管理
- 回收站
- 检查hdfs健康状态
- 安全模式
- hdfs简介
- hdfs命令行操作
- 常见问题汇总
- hdfs客户端操作
- mapreduce工作机制
- 案例-单词统计
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定义排序
- 自定义Bean对象
- 排序的分类
- 案例-按总量排序需求
- 一次性完成统计和排序
- 分区
- 分区简介
- 案例-结果分区
- 多表合并
- reducer端合并
- map端合并(分布式缓存)
- 分组
- groupingComparator
- 案例-求topN
- 全局计数器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat机制
- 自定义InputFormat
- 自定义outputFormat
- 多job串联
- 倒排索引
- 共同好友
- 串联
- 数据压缩
- InputFormat接口实现类
- yarn简介
- 推测执行算法
- 本地提交到yarn
- 框架运算全流程
- 数据倾斜问题
- mapreduce的优化方案
- HA机制
- 优化
- Hive
- 安装
- shell参数
- 数据类型
- 集合类型
- 数据库
- DDL操作
- 创建表
- 修改表
- 分区表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 严格模式
- 函数
- 内置运算符
- 内置函数
- 自定义函数
- Transfrom实现
- having和where不同
- 压缩
- 存储
- 存储和压缩结合使用
- explain详解
- 调优
- Fetch抓取
- 本地模式
- 表的优化
- GroupBy
- count(Distinct)去重统计
- 行列过滤
- 动态分区调整
- 数据倾斜
- 并行执行
- JVM重用
- 推测执行
- reduce内存和个数
- sql查询结果作为变量(shell)
- youtube
- flume
- 简介
- 安装
- 常用组件
- 拦截器
- 案例
- 监听端口到控制台
- 采集目录到HDFS
- 采集文件到HDFS
- 多个agent串联
- 日志采集和汇总
- 单flume多channel,sink
- 自定义拦截器
- 高可用配置
- 使用注意
- 监控Ganglia
- sqoop
- 安装
- 常用命令
- 数据导入
- 准备数据
- 导入数据到HDFS
- 导入关系表到HIVE
- 导入表数据子集
- 增量导入
- 数据导出
- 打包脚本
- 作业
- 原理
- azkaban
- 简介
- 安装
- 案例
- 简介
- command类型单一job
- command类型多job工作流flow
- HDFS操作任务
- mapreduce任务
- hive脚本任务
- oozie
- 安装
- hbase
- 简介
- 系统架构
- 物理存储
- 寻址机制
- 读写过程
- 安装
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 过滤器查询
- 建表高级属性
- 与mapreduce结合
- 与sqoop结合
- 协处理器
- 参数配置优化
- 数据备份和恢复
- 节点管理
- 案例-点击流
- 简介
- HUE
- 安装
- storm
- 简介
- 安装
- 集群启动及任务过程分析
- 单词统计
- 单词统计(接入kafka)
- 并行度和分组
- 启动流程分析
- ACK容错机制
- ACK简介
- BaseRichBolt简单使用
- BaseBasicBolt简单使用
- Ack工作机制
- 本地目录树
- zookeeper目录树
- 通信机制
- 案例
- 日志告警
- 工具
- YAPI
- chrome无法手动拖动安装插件
- 时间和空间复杂度
- jenkins
- 定位cpu 100%
- 常用脚本工具
- OOM问题定位
- scala
- 编译
- 基本语法
- 函数
- 数组常用方法
- 集合
- 并行集合
- 类
- 模式匹配
- 异常
- tuple元祖
- actor并发编程
- 柯里化
- 隐式转换
- 泛型
- 迭代器
- 流stream
- 视图view
- 控制抽象
- 注解
- spark
- 企业架构
- 安装
- api开发
- mycat
- Groovy
- 基础