[TOC]
# 简介
在JDK1.8开始发现类集里面提供的接口都出现大量的default或者是static方法
以Collection的父接口Iterable接口里面定义的一个方法来观察:
~~~
default void forEach(Consumer<? super T> action)
~~~
例子: 利用forEach来输出
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "A", "B", "c", "D", "E");
all.forEach(System.out::println);
~~~
不会采用以上方式完成,因为forEach()只能输出,但是我们很多时候,在输出的时候还要对数据进行处理,也就是Iterator输出是我们主要形式
除了使用Iterator迭代输出之外,JDK1.8还提供了一个专门可以进行数据处理的类就是stream类
~~~
java.util.stream
~~~
这个类的对象可以利用Collection接口提供的方法操作:
~~~
default Stream<E> stream();
~~~
# 注意
1. Stream 自己不会存储元素
2. Stream 不会改变源对象。相反,他们会返回一个持有结果的新Stream
3. Stream 操作是延迟执行的。这意味着他们会等到需要结果的时候才执行
Stream的使用流程:
* 步骤一:Stream的实例化
* 步骤二:一系列的中间操作
* 步骤三:终止操作
注意:
1. 步骤二中的中间操作可以有多个
2. 如果没有终止操作,那么一系列的中间操作是不会执行的。只有执行了步骤三的终止操作,步骤二才会执行:惰性求值
3. 终止操作一旦执行,就不可以再执行中间操作或其他的终止操作。
# 实例化
## 通过集合
~~~
//返回一个顺序流
default stream<E> stream();
//返回一个并行流
default stream<E> parallelStream();
~~~
**返回一个顺序流**
~~~
ArrayList<String> strings = new ArrayList<>();
Collections.addAll(strings, "A", "B", "c", "D", "E");
Stream<String> stream = strings.stream();
~~~
**返回一个并行流**
~~~
ArrayList<String> strings = new ArrayList<>();
Collections.addAll(strings, "A", "B", "c", "D", "E");
Stream<String> stream = strings.parallelStream();
~~~
## 通过数组
java8中Arrays的静态方法stream()可以获取数组流
* `static <T> Stream<T> stream(T[] array)` 返回一个流
重载形式,能够处理对应基本类型的数组
* public static IntStream stream(int[] array)
* public static LongStream stream(long[] array)
* public static DoubleStream stream(double[] array);
~~~
String[] arr = {"MM", "GG", "JJ", "DD"};
Stream<String> stream = Arrays.stream(arr);
~~~
## 通过Stream的of()
可以调用Stream类静态方法of(),通过显示值创建一个流.它可以接收任意数量的参数
* `public static<T> Stream<T> of(T... values)` 返回一个流
~~~
Stream<Integer> stream = Stream.of(1, 2, 3, 4, 5);
~~~
## 创建无限流
可以使用静态方法Stream.iterate()和Steam.generate()创建无限流
* 迭代
`public static<T> Stream<T> iterate(final T seed, final UnartyOperator<T> f)`
* 生成
`public static<T> Stream<T> generate(Supplier<T> s)`
迭代
~~~
Stream<Integer> stream = Stream.iterate(0, x -> x + 2);
stream.forEach(System.out::println);
~~~
生成
~~~
Stream<Double> stream = Stream.generate(Math::random);
stream.forEach(System.out::println);
~~~
# 中间操作
多个**中间操作**可以连接起来形成一个**流水线**,除非流水线上触发了终止操作,否则**中间操作不会执行任何的处理.**
**而在终止操作时一次性全部处理,称为"惰性求值"**
## 筛选与切片
| 方法 | 描述 |
| --- | --- |
| filter(Predicate p) | 接收Lambda,从流中排除某些元素 |
| distinct() | 筛选,通过流所生产元素的hashCode()和equals()去重 |
| limit(long maxSize) | 截断流,使其元素不超过给定数量 |
| skip(long n) | 跳过元素,返回一个扔掉了前n个元素的流.若流中的元素不足n个,则返回一个空流.与limit(n)互补 |
## 映射
| 方法 | 描述 |
| --- | --- |
| map(Function f) | 接收一个函数作为参数,该函数会被应用到每个元素上,并将其映射成一个新的元素 |
| mapToDouble(ToDoubleFunction f) | 接收一个函数作为参数,该函数会被应用到每个元素上,产生一个新的DoubleStream |
| mapToInt(ToIntFunction f) | 接收一个函数作为参数,该函数会被应用到每个元素上,产生一个新的IntStream |
| mapToLong(ToLongFunction f) | 接收一个函数作为参数,该函数会被应用到每个元素上,产生一个新的LongStream |
| flatMap(Function f) | 接收一个函数作为参数,将流中的每个值都换成另一个流,然后把所有流连接成一个流 |
## 排序
| 方法 | 描述 |
| --- | --- |
| sorted() | 产生一个新流,其中按自然顺序排序 |
| sorted(Comparator com) | 产生一个新流,其中按比较器顺序排序 |
进行排序:失败。
原因:没有实现Comparable接口
~~~
list1.stream().sorted((e1,e2) -> {
if(e1.getAge() != e2.getAge()){
return e1.getAge() - e2.getAge();
}else{
//double比较
return -Double.compare(e1.getSalary(),e2.getSalary());
}
}).forEach(System.out::println);
~~~
# 终止操作
终端操作会从流的流水线生成结果.
其结果可以是任何不适流的值,例如:List,Integer,甚至是void.
流进行终止操作后,不能再次使用
## 匹配查找
| 方法 | 描述 |
| --- | --- |
| allMatch(Predicate p) | 检查是否匹配所有元素 |
| anyMatch(Predicate p) | 检查是否至少匹配一个元素 |
| noneMatch(Predicate p) | 检查是否没有匹配所有元素 |
| findFirst() | 返回第一个元素 |
| findAny() | 返回当前流中的任意元素 |
| count() | 返回流中元素的总个数 |
| max(Comparator c) | 返回流中最大值 |
| min(Comparator c) | 返回流中最小值 |
| forEach(Consumer c) | 内部迭代 |
~~~
List<Employee> list = EmployeeData.getEmployees();
// allMatch(Predicate p)——检查是否匹配所有元素
//是否所有的员工的年龄都大于18
boolean b = list.stream().allMatch(e -> e.getAge() > 18);
System.out.println(b);
// anyMatch(Predicate p)——检查是否至少匹配一个元素
//是否存在员工的工资大于 10000
boolean b1 = list.stream().anyMatch(e -> e.getSalary() > 9900);
System.out.println(b1);
// noneMatch(Predicate p)——检查是否没有匹配的元素
//是否存在员工姓“雷”
boolean b2 = list.stream().noneMatch(e -> e.getName().contains("雷"));
System.out.println(b2);
// count——返回流中元素的总个数
long count = list.stream().filter(e -> e.getSalary() > 5000).count();
System.out.println(count);
// 练习:返回最高的工资:
Stream<Employee> stream = list.stream();
Stream<Double> stream1 = stream.map(Employee::getSalary);
Optional<Double> max = stream1.max(Double::compare);
System.out.println(max.get());
// min(Comparator c)——返回流中最小值
// 练习:返回最低工资的员工
Stream<Employee> stream2 = list.stream();
Optional<Employee> min = stream2.min((e1, e2) -> Double.compare(e1.getSalary(), e2.getSalary()));
System.out.println(min.get());
~~~
## 归约
| 方法 | 描述 |
| --- | --- |
| reduce(T iden, BinaryOperator b) | 可以将流中元素反复结合起来,得到一个值,返回T |
| reduce(BinaryOperator b) | 可以将流中元素反复结合起来,得到一个值,返回Optional<T> |
~~~
List<Integer> list = Arrays.asList(1,2,3,4,5,6);
// Integer sum = list.stream().reduce(0, (x1, x2) -> x1 + x2);
//如果是空就会取默认值10
Integer sum = list.stream().reduce(10, Integer::sum);
System.out.println(sum);
// reduce(BinaryOperator) ——可以将流中元素反复结合起来,得到一个值。返回 Optional<T>
// 练习1:计算公司所有员工工资的总和
List<Employee> emps = EmployeeData.getEmployees();
Stream<Double> moneyStream = emps.stream().map(Employee::getSalary);
Optional<Double> moneyOptional = moneyStream.reduce(Double::sum);
System.out.println(moneyOptional.get());
~~~
## 收集
| 方法 | 描述 |
| --- | --- |
| collect(Collector c) | 将流转换为其他形式.接收一个Collector接口的实现,用于给stream中元素做汇总的方法 |
Collector接口中方法的实现决定了如何对流执行收集的操作(如收集到List,Set,Map)
另外,Collectors使用类提供了很多静态方法,可以方便地创建常见收集器实例
![](https://box.kancloud.cn/3241c2b96b8e7203007f0c5d78b31c1b_967x617.png)
# 例子
## 取得Stream对象并统计个数
~~~
long count();
~~~
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "A", "B", "c", "D", "E");
Stream<String> stream = all.stream();
//取得个数
System.out.println(stream.count());
~~~
## 去掉重复数据
~~~
Stream<T> distinct();
~~~
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "A", "B", "E", "A", "a");
Stream<String> stream = all.stream();
//去重后的数据
System.out.println(stream.distinct().count());
~~~
## 收集器(最后使用)
~~~
<R, A> R collect(Collector<? super T, A, R> collector);
~~~
需要Collectors方法
~~~
public static <T> Collector<T, ?, List<T>> toList()
~~~
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "A", "B", "E", "A", "a");
Stream<String> stream = all.stream();
//去除掉所有的重复数据后形成的新的集合,里面是不包含重复内容的集合
List<String> collect = stream.distinct().collect(Collectors.toList());
System.out.println(collect);
~~~
既然Stream类是进行数据处理的,那么在数据处理过程中就不可能不进行数据筛选(过滤)
## 数据过滤
~~~
Stream<T> filter(Predicate<? super T> predicate);
~~~
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "A", "B", "E", "A", "a");
Stream<String> stream = all.stream();
//增加了数据的过滤操作,使用了断言行的函数接口,使用了string的contains
List<String> collect = stream.distinct().filter((x) -> x.contains("a")).collect(Collectors.toList());
System.out.println(collect);
~~~
数据过滤是区分大小写的,那么在数据过滤前要对数据进行处理呢?
## map数据处理方法
map是针对数据逐行处理
~~~
<R> Stream<R> map(Function<? super T, ? extends R> mapper);
~~~
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "Android", "Java", "Ios", "jsp", "ORACLE");
Stream<String> stream = all.stream();
List<String> collect = stream.distinct()
.map((x) -> x.toLowerCase())
.filter((x) -> x.contains("a"))
.collect(Collectors.toList());
System.out.println(collect);
~~~
## 集合数据分页
在Stream接口里面提供有进行集合数据分页的操作
* 设置跳过的数据行数
~~~
public Stream<T> skip(long n);
~~~
* 设置取出的数据个数
~~~
public Stream<T> limit(long maxSize);
~~~
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "Android", "Java", "Ios", "jsp", "ORACLE");
Stream<String> stream = all.stream();
List<String> collect = stream.distinct()
.map((x) -> x.toLowerCase())
.skip(2).limit(2)
.collect(Collectors.toList());
System.out.println(collect);
~~~
在stream可以进行数据全匹配和部分比配
## 数据匹配
* 全匹配
~~~
public boolean allMatch(Predicate<? super T> predicate);
~~~
* 匹配任意一个
~~~
public boolean anyMatch(Predicate<? super T> predicate);
~~~
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "Android", "Java", "Ios", "jsp", "ORACLE");
Stream<String> stream = all.stream();
boolean bool = stream.anyMatch((x) -> x.contains("jsp"));
System.out.println(bool);
~~~
在实际之中有可能会出现多个匹配条件,在断言型接口函数式接口里面提供有如下的方法
* 或操作
~~~
default Predicate<T> or(Predicate<? super T> other);
~~~
* 与操作
~~~
default Predicate<T> and(Predicate<? super T> other);
~~~
**设置多个条件**
~~~
ArrayList<String> all = new ArrayList<>();
boolean b = Collections.addAll(all, "Android", "Java", "Ios", "jsp", "ORACLE", "jspIos");
Stream<String> stream = all.stream();
Predicate<String> p1 = (x) -> x.contains("jsp");
Predicate<String> p2 = (x) -> x.contains("Ios");
//同时使用2个条件
if (stream.anyMatch(p1.or(p2))) {
System.out.println("数据存在");
}
~~~
利用这样的匹配条件,可以针对数据进行方便的查询操作
如果要想更好的返回stream的操作优势,必须结合MapReduce
## 数据分析reduce
就是做数据统计使用的
~~~
public Optional<T> reduce(BinaryOperator<T> accumulator);
~~~
我们点进去看下
~~~
public interface BinaryOperator<T> extends BiFunction<T,T,T>
public interface BiFunction<T, U, R>
|
|--- R apply(T t, U u);
~~~
比如一个购物类
~~~
class ShopCar {
//商品名称
private String pname;
//商品单价
private double price;
//购买数量
private int amount;
public ShopCar(String pname, double price, int amount) {
this.pname = pname;
this.price = price;
this.amount = amount;
}
public String getPname() {
return pname;
}
public double getPrice() {
return price;
}
public int getAmount() {
return amount;
}
}
~~~
设计的时候设计出了商品的单价与数量,这样如果获取一个商品花费的钱,就要单价乘以数量
例子:求每个商品花费的数量和金额
~~~
all.add(new ShopCar("java", 800, 20));
all.add(new ShopCar("php", 100, 10));
all.add(new ShopCar("c++", 200, 15));
all.add(new ShopCar("c", 300, 30));
Stream<ShopCar> stream = all.stream();
all.stream().map((x) -> x.getAmount() * x.getPrice()) .forEach(System.out::println);
~~~
但是这时候处理没有总价,于是数据处理的总价就用reduce完成
~~~
ArrayList<ShopCar> all = new ArrayList<>();
all.add(new ShopCar("java", 800, 20));
all.add(new ShopCar("php", 100, 10));
all.add(new ShopCar("c++", 200, 15));
all.add(new ShopCar("c", 300, 30));
Stream<ShopCar> stream = all.stream();
Double s = all.stream().map((x) -> x.getAmount() * x.getPrice())
.reduce((sum, m) -> sum + m).get();
System.out.println(s);
~~~
以上只是实现了一个最简单的MapReuce,但是完成的统计实在有限,如果要更完善统计,需要使用如下方法
## 统计
~~~
* 按照Double处理
DoubleStream mapToDouble(ToDoubleFunction<? super T> mapper);
* 按照Int处理
IntStream mapToInt(ToIntFunction<? super T> mapper);
* 按照Long处理
LongStream mapToLong(ToLongFunction<? super T> mapper);
~~~
~~~
ArrayList<ShopCar> all = new ArrayList<>();
all.add(new ShopCar("java", 800, 20));
all.add(new ShopCar("php", 100, 10));
all.add(new ShopCar("c++", 200, 15));
all.add(new ShopCar("c", 300, 30));
Stream<ShopCar> stream = all.stream();
DoubleSummaryStatistics dss = all.stream().mapToDouble((x) -> x.getAmount() * x.getPrice())
.summaryStatistics();
System.out.println("商品个数: " + dss.getCount());
System.out.println("商品总花费: " + dss.getSum());
System.out.println("平局花费: " + dss.getAverage());
System.out.println("最高花费: " + dss.getMax());
System.out.println("最低花费: " + dss.getMin());
~~~
- 基础
- 编译和安装
- classpath到底是什么?
- 编译运行
- 安装
- sdkman多版本
- jabba多版本
- java字节码查看
- 数据类型
- 简介
- 整形
- char和int
- 变量和常量
- 大数值运算
- 基本类型包装类
- Math类
- 内存划分
- 位运算符
- 方法相关
- 方法重载
- 可变参数
- 方法引用
- 面向对象
- 定义
- 继承和覆盖
- 接口和抽象类
- 接口定义增强
- 内建函数式接口
- 多态
- 泛型
- final和static
- 内部类
- 包
- 修饰符
- 异常
- 枚举类
- 代码块
- 对象克隆
- BeanUtils
- java基础类
- scanner类
- Random类
- System类
- Runtime类
- Comparable接口
- Comparator接口
- MessageFormat类
- NumberFormat
- 数组相关
- 数组
- Arrays
- string相关
- String
- StringBuffer
- StringBuilder
- 正则
- 日期类
- Locale类
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新时间日期API
- 简介
- LocalDate,LocalTime,LocalDateTime
- Instant时间点
- 带时区的日期,时间处理
- 时间间隔
- 日期时间校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判断集合唯一
- Map和Entry
- stack类
- Collections集合工具类
- Stream数据流
- foreach不能修改内部元素
- of方法
- IO
- File类
- 字节流stream
- 字符流Reader
- IO流分类
- 转换流
- 缓冲流
- 流的操作规律
- properties
- 序列化流与反序列化流
- 打印流
- System类对IO支持
- commons-IO
- IO流总结
- NIO
- 异步与非阻塞
- IO通信
- Unix的IO模型
- epoll对于文件描述符操作模式
- 用户空间和内核空间
- NIO与普通IO的主要区别
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代码
- 多线程
- 创建线程
- 线程常用方法
- 线程池相关
- 线程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的几种线程池
- 线程安全
- 线程同步的几种方法
- synchronized
- 死锁
- lock接口
- ThreadLoad
- ReentrantLock
- 读写锁
- 锁的相关概念
- volatile
- 释放锁和不释放锁的操作
- 等待唤醒机制
- 线程状态
- 守护线程和普通线程
- Lamda表达式
- 反射相关
- 类加载器
- 反射
- 注解
- junit注解
- 动态代理
- 网络编程相关
- 简介
- UDP
- TCP
- 多线程socket上传图片
- NIO
- JDBC相关
- JDBC
- 预处理
- 批处理
- 事务
- properties配置文件
- DBUtils
- DBCP连接池
- C3P0连接池
- 获得MySQL自动生成的主键
- Optional类
- Jigsaw模块化
- 日志相关
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 简介
- 仓库
- 目录结构
- 常用命令
- 生命周期
- idea配置
- jar包冲突
- 依赖范围
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多环境
- 自定义插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 乱码
- session和cookie
- cookie
- session
- jsp
- 简介
- 注释
- 方法,成员变量
- 指令
- 动作标签
- 隐式对象
- EL
- JSTL
- javaBean
- listener监听器
- Filter过滤器
- 图片验证码
- HttpUrlConnection
- 国际化
- 文件上传
- 文件下载
- spring
- 简介
- Bean
- 获取和实例化
- 属性注入
- 自动装配
- 继承和依赖
- 作用域
- 使用外部属性文件
- spel
- 前后置处理器
- 生命周期
- 扫描规则
- 整合多个配置文件
- 注解
- 简介
- 注解分层
- 类注入
- 分层和作用域
- 初始化方法和销毁方法
- 属性
- 泛型注入
- Configuration配置文件
- aop
- aop的实现
- 动态代理实现
- cglib代理实现
- aop名词
- 简介
- aop-xml
- aop-注解
- 代理方式选择
- jdbc
- 简介
- JDBCTemplate
- 事务
- 整合
- junit整合
- hibernate
- 简介
- hibernate.properties
- 实体对象三种状态
- 检索方式
- 简介
- 导航对象图检索
- OID检索
- HQL
- Criteria(QBC)
- Query
- 缓存
- 事务管理
- 关系映射
- 注解
- 优化
- MyBatis
- 简介
- 入门程序
- Mapper动态代理开发
- 原始Dao开发
- Mapper接口开发
- SqlMapConfig.xml
- map映射文件
- 输出返回map
- 输入参数
- pojo包装类
- 多个输入参数
- resultMap
- 动态sql
- 关联
- 一对一
- 一对多
- 多对多
- 整合spring
- CURD
- 占位符和sql拼接以及参数处理
- 缓存
- 延迟加载
- 注解开发
- springMVC
- 简介
- RequestMapping
- 参数绑定
- 常用注解
- 响应
- 文件上传
- 异常处理
- 拦截器
- springBoot
- 配置
- 热更新
- java配置
- springboot配置
- yaml语法
- 运行
- Actuator 监控
- 多环境配置切换
- 日志
- 日志简介
- logback和access
- 日志文件配置属性
- 开机自启
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查询
- 复杂查询
- 多数据源的支持
- Repository分析
- JpaSpecificationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 动态sql
- 关联映射
- 使用xml
- spring容器
- 整合druid
- 整合邮件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 请求
- restful
- 拦截器
- 常用注解
- 参数校验
- 自定义filter
- websocket
- 响应
- 异常错误处理
- 文件下载
- 常用注解
- 页面
- Thymeleaf组件
- 基本对象
- 内嵌对象
- 上传文件
- 单元测试
- 模拟请求测试
- 集成测试
- 源码解析
- 自动配置原理
- 启动流程分析
- 源码相关链接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 创建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本数据类型
- 函数
- 区间
- 区块链
- 简介
- linux
- ulimit修改
- 防止syn攻击
- centos7部署bbr
- debain9开启bbr
- mysql
- 隔离性
- sql执行加载顺序
- 7种join
- explain
- 索引失效和优化
- 表连接优化
- orderby的filesort问题
- 慢查询
- show profile
- 全局查询日志
- 死锁解决
- sql
- 主从
- IDEA
- mac快捷键
- 美化界面
- 断点调试
- 重构
- springboot-devtools热部署
- IDEA进行JAR打包
- 导入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文档显示
- sftp文件同步
- 书签
- 代码查看和搜索
- postfix
- live template
- git
- 文件头注释
- JRebel
- 离线模式
- xRebel
- github
- 连接mysql
- 选项没有Java class的解决方法
- 扩展
- 项目配置和web部署
- 前端开发
- json和Inject language
- idea内存和cpu变高
- 相关设置
- 设计模式
- 单例模式
- 简介
- 责任链
- JUC
- 原子类
- 原子类简介
- 基本类型原子类
- 数组类型原子类
- 引用类型原子类
- JVM
- JVM规范内存解析
- 对象的创建和结构
- 垃圾回收
- 内存分配策略
- 备注
- 虚拟机工具
- 内存模型
- 同步八种操作
- 内存区域大小参数设置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 变量
- 运算符
- 模块
- Rewrite规则
- Netty
- netty为什么没用AIO
- 基本组件
- 源码解读
- 简单的socket例子
- 准备netty
- netty服务端启动
- 案例一:发送字符串
- 案例二:发送对象
- websocket
- ActiveMQ
- JMS
- 安装
- 生产者-消费者代码
- 整合springboot
- kafka
- 简介
- 安装
- 图形化界面
- 生产过程分析
- 保存消息分析
- 消费过程分析
- 命令行
- 生产者
- 消费者
- 拦截器interceptor
- partition
- kafka为什么快
- kafka streams
- kafka与flume整合
- RabbitMQ
- AMQP
- 整体架构
- RabbitMQ安装
- rpm方式安装
- 命令行和管控页面
- 消息生产与消费
- 整合springboot
- 依赖和配置
- 简单测试
- 多方测试
- 对象支持
- Topic Exchange模式
- Fanout Exchange订阅
- 消息确认
- java client
- RabbitAdmin和RabbitTemplate
- 两者简介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 详解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 简介
- 入门程序
- luke查看索引
- 分析器
- 索引库维护
- elasticsearch
- 配置
- 插件
- head插件
- ik分词插件
- 常用术语
- Mapping映射
- 数据类型
- 属性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 单模式下CURD
- mget多个文档
- 批量操作
- 版本控制
- 基本查询
- Filter过滤
- 组合查询
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 发布订阅
- 事务
- 连接池
- 管道
- 分布式可重入锁
- 配置文件翻译
- 持久化
- RDB
- AOF
- 总结
- Lettuce
- zookeeper
- zookeeper简介
- 集群部署
- Observer模式
- 核心工作机制
- zk命令行操作
- zk客户端API
- 感知服务动态上下线
- 分布式共享锁
- 原理
- zab协议
- 两阶段提交协议
- 三阶段提交协议
- Paxos协议
- ZAB协议
- hadoop
- 简介
- hadoop安装
- 集群安装
- 单机安装
- linux编译hadoop
- 添加新节点
- 退役旧节点
- 集群间数据拷贝
- 归档
- 快照管理
- 回收站
- 检查hdfs健康状态
- 安全模式
- hdfs简介
- hdfs命令行操作
- 常见问题汇总
- hdfs客户端操作
- mapreduce工作机制
- 案例-单词统计
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定义排序
- 自定义Bean对象
- 排序的分类
- 案例-按总量排序需求
- 一次性完成统计和排序
- 分区
- 分区简介
- 案例-结果分区
- 多表合并
- reducer端合并
- map端合并(分布式缓存)
- 分组
- groupingComparator
- 案例-求topN
- 全局计数器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat机制
- 自定义InputFormat
- 自定义outputFormat
- 多job串联
- 倒排索引
- 共同好友
- 串联
- 数据压缩
- InputFormat接口实现类
- yarn简介
- 推测执行算法
- 本地提交到yarn
- 框架运算全流程
- 数据倾斜问题
- mapreduce的优化方案
- HA机制
- 优化
- Hive
- 安装
- shell参数
- 数据类型
- 集合类型
- 数据库
- DDL操作
- 创建表
- 修改表
- 分区表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 严格模式
- 函数
- 内置运算符
- 内置函数
- 自定义函数
- Transfrom实现
- having和where不同
- 压缩
- 存储
- 存储和压缩结合使用
- explain详解
- 调优
- Fetch抓取
- 本地模式
- 表的优化
- GroupBy
- count(Distinct)去重统计
- 行列过滤
- 动态分区调整
- 数据倾斜
- 并行执行
- JVM重用
- 推测执行
- reduce内存和个数
- sql查询结果作为变量(shell)
- youtube
- flume
- 简介
- 安装
- 常用组件
- 拦截器
- 案例
- 监听端口到控制台
- 采集目录到HDFS
- 采集文件到HDFS
- 多个agent串联
- 日志采集和汇总
- 单flume多channel,sink
- 自定义拦截器
- 高可用配置
- 使用注意
- 监控Ganglia
- sqoop
- 安装
- 常用命令
- 数据导入
- 准备数据
- 导入数据到HDFS
- 导入关系表到HIVE
- 导入表数据子集
- 增量导入
- 数据导出
- 打包脚本
- 作业
- 原理
- azkaban
- 简介
- 安装
- 案例
- 简介
- command类型单一job
- command类型多job工作流flow
- HDFS操作任务
- mapreduce任务
- hive脚本任务
- oozie
- 安装
- hbase
- 简介
- 系统架构
- 物理存储
- 寻址机制
- 读写过程
- 安装
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 过滤器查询
- 建表高级属性
- 与mapreduce结合
- 与sqoop结合
- 协处理器
- 参数配置优化
- 数据备份和恢复
- 节点管理
- 案例-点击流
- 简介
- HUE
- 安装
- storm
- 简介
- 安装
- 集群启动及任务过程分析
- 单词统计
- 单词统计(接入kafka)
- 并行度和分组
- 启动流程分析
- ACK容错机制
- ACK简介
- BaseRichBolt简单使用
- BaseBasicBolt简单使用
- Ack工作机制
- 本地目录树
- zookeeper目录树
- 通信机制
- 案例
- 日志告警
- 工具
- YAPI
- chrome无法手动拖动安装插件
- 时间和空间复杂度
- jenkins
- 定位cpu 100%
- 常用脚本工具
- OOM问题定位
- scala
- 编译
- 基本语法
- 函数
- 数组常用方法
- 集合
- 并行集合
- 类
- 模式匹配
- 异常
- tuple元祖
- actor并发编程
- 柯里化
- 隐式转换
- 泛型
- 迭代器
- 流stream
- 视图view
- 控制抽象
- 注解
- spark
- 企业架构
- 安装
- api开发
- mycat
- Groovy
- 基础