[TOC]
# 简介
jdk8出来的
![](https://img.kancloud.cn/d7/ef/d7eff1c312ba8fc52b5171fbbd66742b_1129x565.png)
显示了过滤,映射,跳过,计数等多步操作,这是一种集合元素的处理方案,而方案是一种函数模型.
图中每一种方框都是流,调用指定方法,可以从一个流转换到另一个流.
这里的filter,map,skip都是对函数模型进行操作,集合元素并没有真正的处理,只有当终结方法count执行的时候,整个模型才会按照指定策略执行操作.这得益于lambda的延迟执行特性.
备注: stream流,其实是一个集合元素的函数模型,它并不是集合,也不是数据结构,其本身并不存储任何元素(或其他地址值)
Stream(流)是一个来自数据源的元素队列
* 元素是特定类型的对象,形成一个队列.java中的stream并不会存储元素,而是按需计算.
* **数据源** 流的来源.可以是集合,数组等
和collection不同,stream操作还有两个基础特性
* **pipelining**: 中间操作都会返回流对象本身.这样多个操作可以串联成一个管道,如同流式风格.这样做可以对操作进行优化,比如延迟支持和短路
* **内部迭代**: 以前对集合遍历都是通过Iterator或者增强for的方式,显示的在集合外部进行迭代,这叫做外部迭代.stream提供了内部迭代的方式,流可以直接调用遍历方法.
# 获取流
`java.util.stream.Stream<T>`是java8新加入的最常用的流接口(这不是一个函数式接口)
获取一个流非常简单,有以下几种方式
* 所有的collection集合都可以通过stream默认方法获取流
* stream接口的静态方法of可以获取数组对应的流
## 根据collection获取流
首先,`java.util.Collection`接口中加入了default方法stream用来获取流,所以其所有实现类均可获取流
~~~
default Stream<E> stream() {
return StreamSupport.stream(spliterator(), false);
}
~~~
## strem.parallel()或者parallelStream并行流
创建流时,除非另有说明,否则它始终是串行流。要创建并行流,请调用操作`Collection.parallelStream`或者,调用操作`BaseStream.parallel`
~~~
//切换为顺序流
sequential()
~~~
单个个线程计算`1+2+3+...+1000=?`,java 8代码为:
~~~
public class DemoTest {
public static void main(String[] args) {
IntStream strem = IntStream.rangeClosed(1, 1000);
int sum = strem.sum();
System.out.println(sum);
}
}
~~~
引入并行计算,只需要添加`strem.parallel()`即可,具体如下:
~~~
public class DemoTest {
public static void main(String[] args) {
IntStream strem = IntStream.rangeClosed(1, 1000);
int sum = strem.parallel().sum();
System.out.println(sum);
}
}
~~~
`java.util.Collection<E>`新添加了两个默认方法
* default Stream stream() : 返回串行流
* default Stream parallelStream() : 返回并行流
可以发现,stream()和parallelStream()方法返回的都是`java.util.stream.Stream<E>`类型的对象,说明它们在功能的使用上是没差别的。唯一的差别就是单线程和多线程的执行
### 并行流的问题
发现一个查询返回一会是3,一会是4
~~~
for (int i = 0; i < 100; i++) {
List<String> list1 = new ArrayList<>();
List<String> list2 = new ArrayList<>();
list1.add("a");
list1.add("b");
list1.add("c");
list1.add("d");
list1.parallelStream().forEach(list -> list2.add(list));
System.out.println(list2.size());
}
~~~
循环100次,会出现3,分析原因:ArrayList是线程不安全的,在并行流时,会出现并发问题。所以项目中不要动不动就用ArrayList,在高并发的情况下可能会有问题
**Arraylist本身底层是一个数组,多线程并发下线程并不安全,操作出现的原因无非就是多个线程赋值可能同时操作同一个地址,后赋值的把先赋值的给覆盖掉了,才会出现这种问题**
## 静态方法of获取
参数是一个可变参数,那么我们可以传递一个数组
~~~
public static<T> Stream<T> of(T t) {
return StreamSupport.stream(new Streams.StreamBuilderImpl<>(t), false);
}
~~~
~~~
//集合转为stream流
ArrayList<Object> list = new ArrayList<>();
Stream<Object> stream1 = list.stream();
HashSet<Object> set = new HashSet<>();
Stream<Object> stream2 = set.stream();
HashMap<Object, Object> map = new HashMap<>();
//获取键存到一个collection集合中
Set<Object> keySet = map.keySet();
Stream<Object> stream3 = keySet.stream();
//获取值存到coollection中
Collection<Object> values = map.values();
Stream<Object> stream4 = values.stream();
//获取键值对
Set<Map.Entry<Object, Object>> entries = map.entrySet();
Stream<Map.Entry<Object, Object>> stream5 = entries.stream();
//把数组转换为stream流
Stream<Integer> stream6 = Stream.of(1, 2, 3, 4, 5);
//可变参数可以传递数组
Integer[] arr = {1, 2, 3, 4, 5, 6};
Stream<Integer> stream7 = Stream.of(arr);
~~~
## 创建null的流
~~~
Stream<Object> stream = Stream.ofNullable(null);
stream.forEach(System.out::println);
~~~
## 生成无限流
~~~
迭代
// public static<T> Stream<T> iterate(final T seed, final UnaryOperator<T> f)
Stream<Integer> stream = Stream.iterate(0, x -> x + 2);
stream.limit(10).forEach(System.out::println);
// 生成
// public static<T> Stream<T> generate(Supplier<T> s)
Stream<Double> stream1 = Stream.generate(Math::random);
stream1.limit(10).forEach(System.out::println);
~~~
## 组合concat
~~~
public static <T> Stream<T> concat(Stream<? extends T> a, Stream<? extends T> b)
~~~
两个流合并为一个流,与`java.lang.String`中的concat方法不同
# 常用方法
![](https://img.kancloud.cn/b3/2a/b32a79a25e8b89c5544e6f43344aa7f0_988x224.png)
这些方法分为两种:
* 延迟方法: 返回值类型仍然是Stream接口自身类型的方法,因此支持链式调用
* 终结方法: 返回值类型不再是Stream接口自身类型的方法,因此不再支持类似StringBuilder那样的链式调用,终结方法包括: count和forEach方法
## 终止方法
### 逐一处理forEach
stream流中的常用方法forEach
~~~
void forEach(Consumer<? super T> action);
~~~
Consumer接口是一个消费型函数式接口
forEach是用来遍历流中的数据
是一个终结方法,遍历之后就不能继续调用Stream流中的其他方法
### 按照顺序取数据forEachOrdered
~~~
List<String> strs = Arrays.asList("a", "b", "c");
strs.stream().forEachOrdered(System.out::print);//abc
System.out.println();
strs.stream().forEach(System.out::print);//abc
System.out.println();
strs.parallelStream().forEachOrdered(System.out::print);//abc
System.out.println();
strs.parallelStream().forEach(System.out::print);//bca
~~~
先看第一段输出和第二段输出,使用的是stream的流,这个是一个串行流,也就是程序是串行执行的,所有看到遍历的结果都是按照集合的元素放入的顺序;
看第三段和第四段输出,使用的parallelStream的流,这个流表示一个并行流,也就是在程序内部迭代的时候,会帮你免费的并行处理,关于java8的并行处理,会在后期为大家介绍;
第三段代码的forEachOrdered表示严格按照顺序取数据,forEach在并行中,随机排列了;这个也可以看出来,在并行的程序中,如果对处理之后的数据,没有顺序的要求,使用forEach的效率,肯定是要更好的
### 统计个数count
~~~
long count();
~~~
返回是long值不像之前的int值
### 至少匹配一个元素anyMatch
anyMatch方法可以回答“流中是否有一个元素能匹配给定的词”
~~~
List<String> words = Arrays.asList("Java 8", "Lambdas", "In", "Action");
boolean in = words.stream().anyMatch((x) -> x.equals("In"));
System.out.println(in);
~~~
### 是否匹配所有元素allMatch
allMatch方法的工作原理和anyMatch类似,但它会看看流中的元素是否都能匹配给定的
~~~
boolean isHealthy = menu.stream().allMatch(d -> d.getCalories() < 1000);
~~~
### 没有任何元素与给定的匹配noneMatch
~~~
boolean isHealthy = menu.stream().noneMatch(d -> d.getCalories() >= 1000);
~~~
### 查找元素findAny
findAny方法将返回当前流中的任意元素。它可以与其他流操作结合使用。比如,你可能想
找到一道素食菜肴。你可以结合使用filter和findAny方法来实现这个查询:
~~~
Optional<Dish> dish = menu.stream().filter(Dish::isVegetarian) .findAny();
~~~
![](https://img.kancloud.cn/e4/f7/e4f7d83d3701122a60232454c8b144f5_663x90.png)
findFirst是查找第一个
### max,min
~~~
max(Comparator c)
~~~
求 Stream 中的最大值、最小值。
例:取出 Stream 中最长的字符串
~~~
String[] testStrings = { "java", "react", "angular", "javascript", "vue" };
Optional<String> max = Stream.of(testStrings).max((p1, p2) -> Integer.compare(p1.length(), p2.length()));
System.out.println(max);
~~~
### 收集collect
~~~
//将流转换为其他形式
collect(Collector c)
~~~
collect(toList()) 终止操作
由Stream中的值生成一个List列表,也可用collect(toSet())生成一个Set集合
![](https://img.kancloud.cn/49/2f/492f2e2bedf0baa606c5142e4dbf6002_956x613.png)
~~~
String[] testStrings = { "java", "react", "angular", "vue" };
List<String> list = Stream.of(testStrings).collect(Collectors.toList());
for (int i = 0, length = list.size(); i < length; i++) {
System.out.println(list.get(i));
}
~~~
### 归约reduce
~~~
//可以将流中元素反复结合起来,得到一个值。返回 T
reduce(T iden, BinaryOperator b)
//可以将流中元素反复结合起来,得到一个值。返回 Optional<T>
reduce(BinaryOperator b)
~~~
## 中间操作
### 去重distinct
~~~
@Test
public void distinctStream() {
Stream<String> distinctStream = Stream.of("bj","shanghai","tianjin","bj","shanghai").distinct();
Stream<String> sortedStream = distinctStream.sorted(Comparator.comparing(String::length));
sortedStream.forEach(x -> System.out.print(x + " "));
}
~~~
输出
~~~
bj tianjin shanghai
~~~
### 排序sorted
~~~
Stream<Integer> sortedStream = Stream.of(1,3,7,4,5,8,6,2).sorted();
sortedStream.collect(Collectors.toList()).forEach(x -> System.out.print(x + " "));
System.out.println();
Stream<Integer> sortedReverseStream = Stream.of(1,3,7,4,5,8,6,2).sorted(new Comparator<Integer>() {
@Override
public int compare(Integer o1, Integer o2) {
return o1 - o2;
}
});
Stream<Integer> sortedReverseStreamV2 = Stream.of(1,3,7,4,5,8,6,2).sorted((Integer o1, Integer o2) -> o2 - o1);
sortedReverseStreamV2.collect(Collectors.toList()).forEach(x -> System.out.print(x + " "));
~~~
输出
~~~
1 2 3 4 5 6 7 8
8 7 6 5 4 3 2 1
~~~
### 过滤filter
~~~
Stream<T> filter(Predicate<? super T> predicate);
~~~
把一个流转换为他的子集
### 映射Map
把流中的元素映射到另一个
~~~
<R> Stream<R> map(Function<? super T, ? extends R> mapper);
~~~
### 扁平化flatmap
flatmap可用 Stream 替换值,并将多个 Stream 流合并成一个 Stream 流
我们先来看个为什么要使用这个
~~~
List<String> words = Arrays.asList("Java 8", "Lambdas", "In", "Action");
List<String[]> list = words.stream()
.map(word -> word.split("")).distinct().collect(toList());
~~~
这个方法的问题在于,传递给map方法的Lambda为每个单词返回了一个String\[\](String 列表)。因此,map返回的流实际上是Stream类型的。你真正想要的是用 Stream来表示一个字符流
![](https://img.kancloud.cn/b0/fd/b0fdd1e540caeb1ccb363cebaced81ea_679x403.png)
尝试使用map和Arrays.stream()
首先,你需要一个字符流,而不是数组流。有一个叫作Arrays.stream()的方法可以接受 一个数组并产生一个流,例如:
~~~
String[] arrayOfWords = {"Goodbye", "World"}; Stream<String> streamOfwords = Arrays.stream(arrayOfWords);
~~~
把它用在前面的那个流水线里,看看会发生什么:
![](https://img.kancloud.cn/c0/3b/c03bd7930f1c230b4637deae9c71a18c_481x120.png)
当前的解决方案仍然搞不定!这是因为,你现在得到的是一个流的列表(更准确地说是 Stream)!的确,你先是把每个单词转换成一个字母数组,然后把每个数组变成了一 个独立的流。
你可以像下面这样使用flatMap来解决这个问题
~~~
List<String> words = Arrays.asList("Java 8", "Lambdas", "In", "Action");
List<String> collect = words.stream()
.map(word -> word.split(""))
.flatMap(Arrays::stream)
.distinct()
.collect(toList());
~~~
使用flatMap方法的效果是,各个数组并不是分别映射成一个流,而是映射成流的内容。所 有使用`map(Arrays::stream)`时生成的单个流都被合并起来,即扁平化为一个流
![](https://img.kancloud.cn/91/04/91047bc77f6b4965fd42d96eeef62d90_665x489.png)
一言以蔽之,flatmap方法让你把一个流中的每个值都换成另一个流,然后把所有的流连接 起来成为一个流。
![](https://img.kancloud.cn/6f/a1/6fa157a47291bd0c90a6d29446e618bf_1082x737.png)
### 取前几个limit
~~~
Stream<T> limit(long maxSize);
~~~
参数是long,如果集合当前长度大于参数进行截取,否则不进行截取
### 跳过前几个skip
~~~
Stream<T> skip(long n);
~~~
如果流的长度大于n,则跳过n个.否则将会得到一个长度为0的空流
### 排序sorted
sorted有2个,无参和有参数(定制的)
~~~
//此时针对Employees进行排序:失败。原因:Employee类没有实现Comparable接口
// List<Employee> list1 = EmployeeData.getEmployees();
// list1.stream().sorted().forEach(System.out::println);
// sorted(Comparator com)——定制排序
List<Employee> list1 = EmployeeData.getEmployees();
list1.stream().sorted((e1,e2) -> {
if(e1.getAge() != e2.getAge()){
return e1.getAge() - e2.getAge();
}else{
return -Double.compare(e1.getSalary(),e2.getSalary());
}
}).forEach(System.out::println);
~~~
## 遇到不符合条件就终止talkWhile
从流中一直获取判定器为真的元素,一旦遇到元素为假,就终止处理,后面就不处理了
~~~
Stream<Integer> stream = Stream.of(3, 9, 7, 1, 10, 11);
Stream<Integer> integerStream = stream.takeWhile(t -> t % 2 != 0);
integerStream.forEach(System.out::print);
~~~
输出
3971
## 遇到不合适的就丢弃dropWhile
只要为真的就一直丢弃,直到遇见为假的,就终止处理,后面就不处理了
~~~
Stream<Integer> stream = Stream.of(3, 9, 7, 1, 6, 11);
Stream<Integer> integerStream = stream.dropWhile(t -> t % 2 != 0);
integerStream.forEach(System.out::print);
~~~
输出
611
- 基础
- 编译和安装
- classpath到底是什么?
- 编译运行
- 安装
- sdkman多版本
- jabba多版本
- java字节码查看
- 数据类型
- 简介
- 整形
- char和int
- 变量和常量
- 大数值运算
- 基本类型包装类
- Math类
- 内存划分
- 位运算符
- 方法相关
- 方法重载
- 可变参数
- 方法引用
- 面向对象
- 定义
- 继承和覆盖
- 接口和抽象类
- 接口定义增强
- 内建函数式接口
- 多态
- 泛型
- final和static
- 内部类
- 包
- 修饰符
- 异常
- 枚举类
- 代码块
- 对象克隆
- BeanUtils
- java基础类
- scanner类
- Random类
- System类
- Runtime类
- Comparable接口
- Comparator接口
- MessageFormat类
- NumberFormat
- 数组相关
- 数组
- Arrays
- string相关
- String
- StringBuffer
- StringBuilder
- 正则
- 日期类
- Locale类
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新时间日期API
- 简介
- LocalDate,LocalTime,LocalDateTime
- Instant时间点
- 带时区的日期,时间处理
- 时间间隔
- 日期时间校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判断集合唯一
- Map和Entry
- stack类
- Collections集合工具类
- Stream数据流
- foreach不能修改内部元素
- of方法
- IO
- File类
- 字节流stream
- 字符流Reader
- IO流分类
- 转换流
- 缓冲流
- 流的操作规律
- properties
- 序列化流与反序列化流
- 打印流
- System类对IO支持
- commons-IO
- IO流总结
- NIO
- 异步与非阻塞
- IO通信
- Unix的IO模型
- epoll对于文件描述符操作模式
- 用户空间和内核空间
- NIO与普通IO的主要区别
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代码
- 多线程
- 创建线程
- 线程常用方法
- 线程池相关
- 线程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的几种线程池
- 线程安全
- 线程同步的几种方法
- synchronized
- 死锁
- lock接口
- ThreadLoad
- ReentrantLock
- 读写锁
- 锁的相关概念
- volatile
- 释放锁和不释放锁的操作
- 等待唤醒机制
- 线程状态
- 守护线程和普通线程
- Lamda表达式
- 反射相关
- 类加载器
- 反射
- 注解
- junit注解
- 动态代理
- 网络编程相关
- 简介
- UDP
- TCP
- 多线程socket上传图片
- NIO
- JDBC相关
- JDBC
- 预处理
- 批处理
- 事务
- properties配置文件
- DBUtils
- DBCP连接池
- C3P0连接池
- 获得MySQL自动生成的主键
- Optional类
- Jigsaw模块化
- 日志相关
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 简介
- 仓库
- 目录结构
- 常用命令
- 生命周期
- idea配置
- jar包冲突
- 依赖范围
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多环境
- 自定义插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 乱码
- session和cookie
- cookie
- session
- jsp
- 简介
- 注释
- 方法,成员变量
- 指令
- 动作标签
- 隐式对象
- EL
- JSTL
- javaBean
- listener监听器
- Filter过滤器
- 图片验证码
- HttpUrlConnection
- 国际化
- 文件上传
- 文件下载
- spring
- 简介
- Bean
- 获取和实例化
- 属性注入
- 自动装配
- 继承和依赖
- 作用域
- 使用外部属性文件
- spel
- 前后置处理器
- 生命周期
- 扫描规则
- 整合多个配置文件
- 注解
- 简介
- 注解分层
- 类注入
- 分层和作用域
- 初始化方法和销毁方法
- 属性
- 泛型注入
- Configuration配置文件
- aop
- aop的实现
- 动态代理实现
- cglib代理实现
- aop名词
- 简介
- aop-xml
- aop-注解
- 代理方式选择
- jdbc
- 简介
- JDBCTemplate
- 事务
- 整合
- junit整合
- hibernate
- 简介
- hibernate.properties
- 实体对象三种状态
- 检索方式
- 简介
- 导航对象图检索
- OID检索
- HQL
- Criteria(QBC)
- Query
- 缓存
- 事务管理
- 关系映射
- 注解
- 优化
- MyBatis
- 简介
- 入门程序
- Mapper动态代理开发
- 原始Dao开发
- Mapper接口开发
- SqlMapConfig.xml
- map映射文件
- 输出返回map
- 输入参数
- pojo包装类
- 多个输入参数
- resultMap
- 动态sql
- 关联
- 一对一
- 一对多
- 多对多
- 整合spring
- CURD
- 占位符和sql拼接以及参数处理
- 缓存
- 延迟加载
- 注解开发
- springMVC
- 简介
- RequestMapping
- 参数绑定
- 常用注解
- 响应
- 文件上传
- 异常处理
- 拦截器
- springBoot
- 配置
- 热更新
- java配置
- springboot配置
- yaml语法
- 运行
- Actuator 监控
- 多环境配置切换
- 日志
- 日志简介
- logback和access
- 日志文件配置属性
- 开机自启
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查询
- 复杂查询
- 多数据源的支持
- Repository分析
- JpaSpecificationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 动态sql
- 关联映射
- 使用xml
- spring容器
- 整合druid
- 整合邮件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 请求
- restful
- 拦截器
- 常用注解
- 参数校验
- 自定义filter
- websocket
- 响应
- 异常错误处理
- 文件下载
- 常用注解
- 页面
- Thymeleaf组件
- 基本对象
- 内嵌对象
- 上传文件
- 单元测试
- 模拟请求测试
- 集成测试
- 源码解析
- 自动配置原理
- 启动流程分析
- 源码相关链接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 创建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本数据类型
- 函数
- 区间
- 区块链
- 简介
- linux
- ulimit修改
- 防止syn攻击
- centos7部署bbr
- debain9开启bbr
- mysql
- 隔离性
- sql执行加载顺序
- 7种join
- explain
- 索引失效和优化
- 表连接优化
- orderby的filesort问题
- 慢查询
- show profile
- 全局查询日志
- 死锁解决
- sql
- 主从
- IDEA
- mac快捷键
- 美化界面
- 断点调试
- 重构
- springboot-devtools热部署
- IDEA进行JAR打包
- 导入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文档显示
- sftp文件同步
- 书签
- 代码查看和搜索
- postfix
- live template
- git
- 文件头注释
- JRebel
- 离线模式
- xRebel
- github
- 连接mysql
- 选项没有Java class的解决方法
- 扩展
- 项目配置和web部署
- 前端开发
- json和Inject language
- idea内存和cpu变高
- 相关设置
- 设计模式
- 单例模式
- 简介
- 责任链
- JUC
- 原子类
- 原子类简介
- 基本类型原子类
- 数组类型原子类
- 引用类型原子类
- JVM
- JVM规范内存解析
- 对象的创建和结构
- 垃圾回收
- 内存分配策略
- 备注
- 虚拟机工具
- 内存模型
- 同步八种操作
- 内存区域大小参数设置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 变量
- 运算符
- 模块
- Rewrite规则
- Netty
- netty为什么没用AIO
- 基本组件
- 源码解读
- 简单的socket例子
- 准备netty
- netty服务端启动
- 案例一:发送字符串
- 案例二:发送对象
- websocket
- ActiveMQ
- JMS
- 安装
- 生产者-消费者代码
- 整合springboot
- kafka
- 简介
- 安装
- 图形化界面
- 生产过程分析
- 保存消息分析
- 消费过程分析
- 命令行
- 生产者
- 消费者
- 拦截器interceptor
- partition
- kafka为什么快
- kafka streams
- kafka与flume整合
- RabbitMQ
- AMQP
- 整体架构
- RabbitMQ安装
- rpm方式安装
- 命令行和管控页面
- 消息生产与消费
- 整合springboot
- 依赖和配置
- 简单测试
- 多方测试
- 对象支持
- Topic Exchange模式
- Fanout Exchange订阅
- 消息确认
- java client
- RabbitAdmin和RabbitTemplate
- 两者简介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 详解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 简介
- 入门程序
- luke查看索引
- 分析器
- 索引库维护
- elasticsearch
- 配置
- 插件
- head插件
- ik分词插件
- 常用术语
- Mapping映射
- 数据类型
- 属性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 单模式下CURD
- mget多个文档
- 批量操作
- 版本控制
- 基本查询
- Filter过滤
- 组合查询
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 发布订阅
- 事务
- 连接池
- 管道
- 分布式可重入锁
- 配置文件翻译
- 持久化
- RDB
- AOF
- 总结
- Lettuce
- zookeeper
- zookeeper简介
- 集群部署
- Observer模式
- 核心工作机制
- zk命令行操作
- zk客户端API
- 感知服务动态上下线
- 分布式共享锁
- 原理
- zab协议
- 两阶段提交协议
- 三阶段提交协议
- Paxos协议
- ZAB协议
- hadoop
- 简介
- hadoop安装
- 集群安装
- 单机安装
- linux编译hadoop
- 添加新节点
- 退役旧节点
- 集群间数据拷贝
- 归档
- 快照管理
- 回收站
- 检查hdfs健康状态
- 安全模式
- hdfs简介
- hdfs命令行操作
- 常见问题汇总
- hdfs客户端操作
- mapreduce工作机制
- 案例-单词统计
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定义排序
- 自定义Bean对象
- 排序的分类
- 案例-按总量排序需求
- 一次性完成统计和排序
- 分区
- 分区简介
- 案例-结果分区
- 多表合并
- reducer端合并
- map端合并(分布式缓存)
- 分组
- groupingComparator
- 案例-求topN
- 全局计数器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat机制
- 自定义InputFormat
- 自定义outputFormat
- 多job串联
- 倒排索引
- 共同好友
- 串联
- 数据压缩
- InputFormat接口实现类
- yarn简介
- 推测执行算法
- 本地提交到yarn
- 框架运算全流程
- 数据倾斜问题
- mapreduce的优化方案
- HA机制
- 优化
- Hive
- 安装
- shell参数
- 数据类型
- 集合类型
- 数据库
- DDL操作
- 创建表
- 修改表
- 分区表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 严格模式
- 函数
- 内置运算符
- 内置函数
- 自定义函数
- Transfrom实现
- having和where不同
- 压缩
- 存储
- 存储和压缩结合使用
- explain详解
- 调优
- Fetch抓取
- 本地模式
- 表的优化
- GroupBy
- count(Distinct)去重统计
- 行列过滤
- 动态分区调整
- 数据倾斜
- 并行执行
- JVM重用
- 推测执行
- reduce内存和个数
- sql查询结果作为变量(shell)
- youtube
- flume
- 简介
- 安装
- 常用组件
- 拦截器
- 案例
- 监听端口到控制台
- 采集目录到HDFS
- 采集文件到HDFS
- 多个agent串联
- 日志采集和汇总
- 单flume多channel,sink
- 自定义拦截器
- 高可用配置
- 使用注意
- 监控Ganglia
- sqoop
- 安装
- 常用命令
- 数据导入
- 准备数据
- 导入数据到HDFS
- 导入关系表到HIVE
- 导入表数据子集
- 增量导入
- 数据导出
- 打包脚本
- 作业
- 原理
- azkaban
- 简介
- 安装
- 案例
- 简介
- command类型单一job
- command类型多job工作流flow
- HDFS操作任务
- mapreduce任务
- hive脚本任务
- oozie
- 安装
- hbase
- 简介
- 系统架构
- 物理存储
- 寻址机制
- 读写过程
- 安装
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 过滤器查询
- 建表高级属性
- 与mapreduce结合
- 与sqoop结合
- 协处理器
- 参数配置优化
- 数据备份和恢复
- 节点管理
- 案例-点击流
- 简介
- HUE
- 安装
- storm
- 简介
- 安装
- 集群启动及任务过程分析
- 单词统计
- 单词统计(接入kafka)
- 并行度和分组
- 启动流程分析
- ACK容错机制
- ACK简介
- BaseRichBolt简单使用
- BaseBasicBolt简单使用
- Ack工作机制
- 本地目录树
- zookeeper目录树
- 通信机制
- 案例
- 日志告警
- 工具
- YAPI
- chrome无法手动拖动安装插件
- 时间和空间复杂度
- jenkins
- 定位cpu 100%
- 常用脚本工具
- OOM问题定位
- scala
- 编译
- 基本语法
- 函数
- 数组常用方法
- 集合
- 并行集合
- 类
- 模式匹配
- 异常
- tuple元祖
- actor并发编程
- 柯里化
- 隐式转换
- 泛型
- 迭代器
- 流stream
- 视图view
- 控制抽象
- 注解
- spark
- 企业架构
- 安装
- api开发
- mycat
- Groovy
- 基础