[TOC]
# jps显示java进程
`java process status`
命令格式:`jps [options] [hostid] `
`[options]`选项 :
~~~
-q:仅输出VM标识符,不包括classname,jar name,arguments in main method
-m:输出main method的参数
-l:输出完全的包名,应用主类名,jar的完全路径名
-v:输出jvm参数
-V:输出通过flag文件传递到JVM中的参数(.hotspotrc文件或-XX:Flags=所指定的文件
-Joption:传递参数到vm,例如:-J-Xms512m
~~~
~~~
jps -lmv
~~~
# jstat分析JVM的使用情况
**jstat -gc**
例子
如下表示分析进程id为31736 的gc情况,每隔1000ms打印一次记录,打印10次停止,每3行后打印指标头部
~~~
jstat -gc -h3 31736 1000 10
~~~
| 参数 | 描述 |
| --- | --- |
| S0C |年轻代中第一个survivor(幸存区)的容量 (字节)
| S1C |年轻代中第二个survivor(幸存区)的容量 (字节)
| S0U |年轻代中第一个survivor(幸存区)目前已使用空间 (字节)
| S1U |年轻代中第二个survivor(幸存区)目前已使用空间 (字节)
| EC | 年轻代中Eden(伊甸园)的容量 (字节)
| EU | 年轻代中Eden(伊甸园)目前已使用空间 (字节)
| OC | Old代的容量 (字节)
| OU | Old代目前已使用空间 (字节)
| PC | Perm(持久代)的容量 (字节)
| PU | Perm(持久代)目前已使用空间 (字节)
| YGC |从应用程序启动到采样时年轻代中gc次数
| YGCT| 从应用程序启动到采样时年轻代中gc所用时间(s)
| FGC |从应用程序启动到采样时old代(全gc)gc次数
| FGCT| 从应用程序启动到采样时old代(全gc)gc所用时间(s)
| GCT |从应用程序启动到采样时gc用的总时间(s)
**jstat -gcutil**
查看gc的统计信息
~~~
jstat -gcutil xxxx
~~~
| 参数 | 描述 |
| --- | --- |
| S0 | 年轻代中第一个survivor(幸存区)已使用的占当前容量百分比
| S1 | 年轻代中第二个survivor(幸存区)已使用的占当前容量百分比
| E | 年轻代中Eden(伊甸园)已使用的占当前容量百分比
| O | old代已使用的占当前容量百分比
| P | perm代已使用的占当前容量百分比
| YGC | 从应用程序启动到采样时年轻代中gc次数
| YGCT| 从应用程序启动到采样时年轻代中gc所用时间(s)
| FGC | 从应用程序启动到采样时old代(全gc)gc次数
| FGCT| 从应用程序启动到采样时old代(全gc)gc所用时间(s)
| GCT | 从应用程序启动到采样时gc用的总时间(s)
**`jstat -gccapacity pid`**
可以显示,VM内存中三代(young,old,perm)对象的使用和占用大小,
| 参数 | 描述 |
| --- | --- |
| NGCMN | 年轻代(young)中初始化(最小)的大小 (字节)
| NGCMX | 年轻代(young)的最大容量 (字节)
| NGC | 年轻代(young)中当前的容量 (字节)
| S0C | 年轻代中第一个survivor(幸存区)的容量 (字节)
| S1C |年轻代中第二个survivor(幸存区)的容量 (字节)
| EC | 年轻代中Eden(伊甸园)的容量 (字节)
| OGCMN | old代中初始化(最小)的大小 (字节)
| OGCMX | old代的最大容量 (字节)
| OGC | old代当前新生成的容量 (字节)
| OC | Old代的容量 (字节)
| PGCMN | perm代中初始化(最小)的大小 (字节)
| PGCMX | perm代的最大容量 (字节)
| PGC | perm代当前新生成的容量 (字节)
| PC | Perm(持久代)的容量 (字节)
| YGC | 从应用程序启动到采样时年轻代中gc次数
| FGC | 从应用程序启动到采样时old代(全gc)gc次数
# jinfo查看jvm扩展参数
~~~
jinfo [option] <pid>
jinfo [option] <executable <core>
jinfo [option] [server_id@]<remote server IP or hostname>
where <option> is one of:
-flag <name> to print the value of the named VM flag
-flag [+|-]<name> to enable or disable the named VM flag
-flag <name>=<value> to set the named VM flag to the given value
-flags to print VM flags
-sysprops to print Java system properties
<no option> to print both of the above
~~~
**参数说明**
* pid 对应jvm的进程id
* executable core 产生core dump文件
* \[server-id@\]remote server IP or hostname 远程的ip或者hostname,server-id标记服务的唯一性id
**option**
* no option 输出全部的参数和系统属性
* \-flag name 输出对应名称的参数
* \-flag \[+|-\]name 开启或者关闭对应名称的参数
* \-flag name=value 设定对应名称的参数
* \-flags 输出全部的参数
* \-sysprops 输出系统属性
**Javacore 概述**
Javacore,也可以称为“threaddump”或是“javadump”,它是 Java 提供的一种诊断特性,能够提供一份可读的当前运行的 JVM 中线程使用情况的快照。即在某个特定时刻,JVM 中有哪些线程在运行,每个线程执行到哪一个类,哪一个方法。
应用程序如果出现不可恢复的错误或是内存泄露,就会自动触发 Javacore 的生成
> 命令:jinfo pid
> 描述:输出当前 jvm 进程的全部参数和系统属性
> 命令:jinfo -flag name pid
> 描述:输出对应名称的参数
> 可以查看指定的 jvm 参数的值。如:查看当前 jvm 进程是否开启打印 GC 日志。
> 命令:jinfo -flag \[+|-\]name pid
> 描述:开启或者关闭对应名称的参数
> 使用 jinfo 可以在不重启虚拟机的情况下,可以动态的修改 jvm 的参数。尤其在线上的环境特别有用。主要是针对 boolean 值的参数设置的
> 命令:jinfo -flag name=value pid
> 描述:修改指定参数的值。
> 如果是设置 value值,则需要使用 name=value 的形式。
> 命令:jinfo -flags pid
> 描述:输出全部的参数
> 命令:jinfo -sysprops pid
> 描述:输出当前 jvm 进行的全部的系统属性
# jmap生成堆内信息
命令jmap是一个多功能的命令。它可以生成 java 程序的 dump 文件, 也可以查看堆内对象示例的统计信息、查看 ClassLoader 的信息以及 finalizer 队列。
~~~
jmap [option] <pid>
jmap [option] <executable <core>
jmap [option] [server_id@]<remote server IP or hostname>
~~~
**参数**
* **option:** 选项参数。
* **pid:** 需要打印配置信息的进程ID。
* **executable:** 产生核心dump的Java可执行文件。
* **core:** 需要打印配置信息的核心文件。
* **server-id** 可选的唯一id,如果相同的远程主机上运行了多台调试服务器,用此选项参数标识服务器。
* **remote server IP or hostname** 远程调试服务器的IP地址或主机名。
**option**
* **no option:** 查看进程的内存映像信息,类似 Solaris pmap 命令。
* **heap:** 显示Java堆详细信息
* **histo\[:live\]:** 显示堆中对象的统计信息
* **clstats:**打印类加载器信息
* **finalizerinfo:** 显示在F-Queue队列等待Finalizer线程执行finalizer方法的对象
* **dump::**生成堆转储快照
* **F:** 当-dump没有响应时,使用-dump或者-histo参数. 在这个模式下,live子参数无效.
* **help:**打印帮助信息
* **J:**指定传递给运行jmap的JVM的参数
>命令:jmap pid
>描述:查看进程的内存映像信息,类似 Solaris pmap 命令。
> 使用不带选项参数的jmap打印共享对象映射,将会打印目标虚拟机中加载的每个共享对象的起始地址、映射大小以及共享对象文件的路径全称。这与Solaris的pmap工具比较相似。
> 命令:jmap -heap pid
> 描述:显示Java堆详细信息
> 命令:jmap -dump:format=b,file=heapdump.phrof pid
> 描述:生成堆转储快照dump文件。
> 以hprof二进制格式转储Java堆到指定filename的文件中。live子选项是可选的。如果指定了live子选项,堆中只有活动的对象会被转储。想要浏览heap dump,你可以使用jhat(Java堆分析工具)读取生成的文件。
这个命令执行,JVM会将整个heap的信息dump写入到一个文件,heap如果比较大的话,就会导致这个过程比较耗时,并且执行的过程中为了保证dump的信息是可靠的,所以会暂停应用, 线上系统慎用。
# jcmd
一个多功能的工具,可以用它来导出堆、查看Java进程、导出线程信息、执行GC、还可以进行采样分析(jmc 工具的飞行记录器)
**查看性能统计**
命令:`jcmd pid PerfCounter.print `
描述:查看指定进程的性能统计信息
**列出当前运行的 java 进程可以执行的操作**
命令:`jcmd PID help`
**查看具体命令的选项**
如果想查看命令的选项,比如想查看 JFR.dump 命令选项,可以通过如下命令:
`jcmd 11772 help JFR.dump`
**JFR**
要使用 JRF 相关的功能,必须使用 VM.unlock\_commercial\_features 参数取消锁定商业功能
~~~
jcmd 8152 VM.unlock_commercial_features
~~~
* 启动JFR
执行命令:jcmd $PID JFR.start name=abc,duration=120s
* Dump JFR
等待至少duration(本文设定120s)后,执行命令:jcmd PID JFR.dump name=abc,duration=120s filename=abc.jfr(注意,文件名必须为.jfr后缀)
* 检查JFR状态
执行命令:jcmd $PID JFR.check name=abc,duration=120s
* 停止JFR
执行命令:jcmd $PID JFR.stop name=abc,duration=120s
* JMC分析
切回开发机器,下载步骤3中生成的abc.jfr,打开jmc,导入abc.jfr即可进行可视化分析
**查看 JVM 的启动时长**
命令:`jcmd PID VM.uptime`
**查看系统中类统计信息**
命令:`jcmd PID GC.class_histogram`
**查看目标jvm进程的版本信息**
`jcmd PID VM.version`
**执行gc**
`jcmd PID GC.run `
**查看 JVM 的启动命令行**
`jcmd PID VM.command_line`
**查看 JVM 的启动参数**
`jcmd PID VM.flags`
# jhat分析堆文件
用来分析java堆的命令,可以将堆中的对象以html的形式显示出来,包括对象的数量,大小等等,并支持对象查询语言
~~~
jhat xxx
~~~
有时你dump出来的堆很大,在启动时会报堆空间不足的错误,可以使用如下参数:
`jhat -J-Xmx512m`
# jstack线程堆栈分析
参数提示
* \-l 长列表. 打印关于锁的附加信息,例如属于java.util.concurrent 的 ownable synchronizers列表.
* \-F 当’jstack \[-l\] pid’没有相应的时候强制打印栈信息
* \-m 打印java和native c/c++框架的所有栈信息.
通过 jstack 命令可以获取当前进程的所有线程信息。
每个线程堆中信息中,都可以查看到 线程ID、线程的状态(wait、sleep、running 等状态)、是否持有锁信息等。
**Object.wait()情况**
一个线程处于WAITING状态,在Test.java文件13行处,正是我们调用wait方法的地方,说明该线程目前还没等到notify
![](https://img.kancloud.cn/f3/56/f356957d0a839c8a4b1e9c1adce624bf_775x226.png)
**死锁**
可以清楚的看出 mythread2 等待 这个锁 “0x00000000d6eb82d0”,这个锁是由于mythread1线程持有。
mythread1线程等待这个锁“0x00000000d6eb8300”,这个锁是由mythread2线程持有。
![](https://img.kancloud.cn/ec/a2/eca290cbf01b1476d1154acbe8ea19a6_1184x344.png)
**等待IO**
![](https://img.kancloud.cn/19/12/19127f0ae2af4cd3a2239f190a613ecb_662x178.png)
# mac,jmc界面问题
这个问题是由于Eclipse/SWT老版本的bug导致的,可以通过替换相关jar解决。bug reference: JMC-5139
1. 下载jar包:[下载地址](https://search.maven.org/search?q=g:org.eclipse.platform%20AND%20a:org.eclipse.swt.cocoa.macosx.x86_64&core=gavr)(选最上面的即可)。
2. 进入jdk安装目录,在lib/missioncontrol/plugins目录内找到org.eclipse.swt.cocoa.macosx.x86_64_3.103.1.v20140903-1947.jar,将其备份。
(通过安装包安装的jdk目录为/Library/Java/JavaVirtualMachines/jdk1.8.0_xxx.jdk/Contents/Home/)
3. 将我们下载的jar包重命名为org.eclipse.swt.cocoa.macosx.x86_64_3.103.1.v20140903-1947.jar,复制到lib/missioncontrol/plugins目录内替换原jar包。
重启jmc
- 基础
- 编译和安装
- classpath到底是什么?
- 编译运行
- 安装
- sdkman多版本
- jabba多版本
- java字节码查看
- 数据类型
- 简介
- 整形
- char和int
- 变量和常量
- 大数值运算
- 基本类型包装类
- Math类
- 内存划分
- 位运算符
- 方法相关
- 方法重载
- 可变参数
- 方法引用
- 面向对象
- 定义
- 继承和覆盖
- 接口和抽象类
- 接口定义增强
- 内建函数式接口
- 多态
- 泛型
- final和static
- 内部类
- 包
- 修饰符
- 异常
- 枚举类
- 代码块
- 对象克隆
- BeanUtils
- java基础类
- scanner类
- Random类
- System类
- Runtime类
- Comparable接口
- Comparator接口
- MessageFormat类
- NumberFormat
- 数组相关
- 数组
- Arrays
- string相关
- String
- StringBuffer
- StringBuilder
- 正则
- 日期类
- Locale类
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新时间日期API
- 简介
- LocalDate,LocalTime,LocalDateTime
- Instant时间点
- 带时区的日期,时间处理
- 时间间隔
- 日期时间校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判断集合唯一
- Map和Entry
- stack类
- Collections集合工具类
- Stream数据流
- foreach不能修改内部元素
- of方法
- IO
- File类
- 字节流stream
- 字符流Reader
- IO流分类
- 转换流
- 缓冲流
- 流的操作规律
- properties
- 序列化流与反序列化流
- 打印流
- System类对IO支持
- commons-IO
- IO流总结
- NIO
- 异步与非阻塞
- IO通信
- Unix的IO模型
- epoll对于文件描述符操作模式
- 用户空间和内核空间
- NIO与普通IO的主要区别
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代码
- 多线程
- 创建线程
- 线程常用方法
- 线程池相关
- 线程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的几种线程池
- 线程安全
- 线程同步的几种方法
- synchronized
- 死锁
- lock接口
- ThreadLoad
- ReentrantLock
- 读写锁
- 锁的相关概念
- volatile
- 释放锁和不释放锁的操作
- 等待唤醒机制
- 线程状态
- 守护线程和普通线程
- Lamda表达式
- 反射相关
- 类加载器
- 反射
- 注解
- junit注解
- 动态代理
- 网络编程相关
- 简介
- UDP
- TCP
- 多线程socket上传图片
- NIO
- JDBC相关
- JDBC
- 预处理
- 批处理
- 事务
- properties配置文件
- DBUtils
- DBCP连接池
- C3P0连接池
- 获得MySQL自动生成的主键
- Optional类
- Jigsaw模块化
- 日志相关
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 简介
- 仓库
- 目录结构
- 常用命令
- 生命周期
- idea配置
- jar包冲突
- 依赖范围
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多环境
- 自定义插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 乱码
- session和cookie
- cookie
- session
- jsp
- 简介
- 注释
- 方法,成员变量
- 指令
- 动作标签
- 隐式对象
- EL
- JSTL
- javaBean
- listener监听器
- Filter过滤器
- 图片验证码
- HttpUrlConnection
- 国际化
- 文件上传
- 文件下载
- spring
- 简介
- Bean
- 获取和实例化
- 属性注入
- 自动装配
- 继承和依赖
- 作用域
- 使用外部属性文件
- spel
- 前后置处理器
- 生命周期
- 扫描规则
- 整合多个配置文件
- 注解
- 简介
- 注解分层
- 类注入
- 分层和作用域
- 初始化方法和销毁方法
- 属性
- 泛型注入
- Configuration配置文件
- aop
- aop的实现
- 动态代理实现
- cglib代理实现
- aop名词
- 简介
- aop-xml
- aop-注解
- 代理方式选择
- jdbc
- 简介
- JDBCTemplate
- 事务
- 整合
- junit整合
- hibernate
- 简介
- hibernate.properties
- 实体对象三种状态
- 检索方式
- 简介
- 导航对象图检索
- OID检索
- HQL
- Criteria(QBC)
- Query
- 缓存
- 事务管理
- 关系映射
- 注解
- 优化
- MyBatis
- 简介
- 入门程序
- Mapper动态代理开发
- 原始Dao开发
- Mapper接口开发
- SqlMapConfig.xml
- map映射文件
- 输出返回map
- 输入参数
- pojo包装类
- 多个输入参数
- resultMap
- 动态sql
- 关联
- 一对一
- 一对多
- 多对多
- 整合spring
- CURD
- 占位符和sql拼接以及参数处理
- 缓存
- 延迟加载
- 注解开发
- springMVC
- 简介
- RequestMapping
- 参数绑定
- 常用注解
- 响应
- 文件上传
- 异常处理
- 拦截器
- springBoot
- 配置
- 热更新
- java配置
- springboot配置
- yaml语法
- 运行
- Actuator 监控
- 多环境配置切换
- 日志
- 日志简介
- logback和access
- 日志文件配置属性
- 开机自启
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查询
- 复杂查询
- 多数据源的支持
- Repository分析
- JpaSpecificationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 动态sql
- 关联映射
- 使用xml
- spring容器
- 整合druid
- 整合邮件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 请求
- restful
- 拦截器
- 常用注解
- 参数校验
- 自定义filter
- websocket
- 响应
- 异常错误处理
- 文件下载
- 常用注解
- 页面
- Thymeleaf组件
- 基本对象
- 内嵌对象
- 上传文件
- 单元测试
- 模拟请求测试
- 集成测试
- 源码解析
- 自动配置原理
- 启动流程分析
- 源码相关链接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 创建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本数据类型
- 函数
- 区间
- 区块链
- 简介
- linux
- ulimit修改
- 防止syn攻击
- centos7部署bbr
- debain9开启bbr
- mysql
- 隔离性
- sql执行加载顺序
- 7种join
- explain
- 索引失效和优化
- 表连接优化
- orderby的filesort问题
- 慢查询
- show profile
- 全局查询日志
- 死锁解决
- sql
- 主从
- IDEA
- mac快捷键
- 美化界面
- 断点调试
- 重构
- springboot-devtools热部署
- IDEA进行JAR打包
- 导入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文档显示
- sftp文件同步
- 书签
- 代码查看和搜索
- postfix
- live template
- git
- 文件头注释
- JRebel
- 离线模式
- xRebel
- github
- 连接mysql
- 选项没有Java class的解决方法
- 扩展
- 项目配置和web部署
- 前端开发
- json和Inject language
- idea内存和cpu变高
- 相关设置
- 设计模式
- 单例模式
- 简介
- 责任链
- JUC
- 原子类
- 原子类简介
- 基本类型原子类
- 数组类型原子类
- 引用类型原子类
- JVM
- JVM规范内存解析
- 对象的创建和结构
- 垃圾回收
- 内存分配策略
- 备注
- 虚拟机工具
- 内存模型
- 同步八种操作
- 内存区域大小参数设置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 变量
- 运算符
- 模块
- Rewrite规则
- Netty
- netty为什么没用AIO
- 基本组件
- 源码解读
- 简单的socket例子
- 准备netty
- netty服务端启动
- 案例一:发送字符串
- 案例二:发送对象
- websocket
- ActiveMQ
- JMS
- 安装
- 生产者-消费者代码
- 整合springboot
- kafka
- 简介
- 安装
- 图形化界面
- 生产过程分析
- 保存消息分析
- 消费过程分析
- 命令行
- 生产者
- 消费者
- 拦截器interceptor
- partition
- kafka为什么快
- kafka streams
- kafka与flume整合
- RabbitMQ
- AMQP
- 整体架构
- RabbitMQ安装
- rpm方式安装
- 命令行和管控页面
- 消息生产与消费
- 整合springboot
- 依赖和配置
- 简单测试
- 多方测试
- 对象支持
- Topic Exchange模式
- Fanout Exchange订阅
- 消息确认
- java client
- RabbitAdmin和RabbitTemplate
- 两者简介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 详解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 简介
- 入门程序
- luke查看索引
- 分析器
- 索引库维护
- elasticsearch
- 配置
- 插件
- head插件
- ik分词插件
- 常用术语
- Mapping映射
- 数据类型
- 属性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 单模式下CURD
- mget多个文档
- 批量操作
- 版本控制
- 基本查询
- Filter过滤
- 组合查询
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 发布订阅
- 事务
- 连接池
- 管道
- 分布式可重入锁
- 配置文件翻译
- 持久化
- RDB
- AOF
- 总结
- Lettuce
- zookeeper
- zookeeper简介
- 集群部署
- Observer模式
- 核心工作机制
- zk命令行操作
- zk客户端API
- 感知服务动态上下线
- 分布式共享锁
- 原理
- zab协议
- 两阶段提交协议
- 三阶段提交协议
- Paxos协议
- ZAB协议
- hadoop
- 简介
- hadoop安装
- 集群安装
- 单机安装
- linux编译hadoop
- 添加新节点
- 退役旧节点
- 集群间数据拷贝
- 归档
- 快照管理
- 回收站
- 检查hdfs健康状态
- 安全模式
- hdfs简介
- hdfs命令行操作
- 常见问题汇总
- hdfs客户端操作
- mapreduce工作机制
- 案例-单词统计
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定义排序
- 自定义Bean对象
- 排序的分类
- 案例-按总量排序需求
- 一次性完成统计和排序
- 分区
- 分区简介
- 案例-结果分区
- 多表合并
- reducer端合并
- map端合并(分布式缓存)
- 分组
- groupingComparator
- 案例-求topN
- 全局计数器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat机制
- 自定义InputFormat
- 自定义outputFormat
- 多job串联
- 倒排索引
- 共同好友
- 串联
- 数据压缩
- InputFormat接口实现类
- yarn简介
- 推测执行算法
- 本地提交到yarn
- 框架运算全流程
- 数据倾斜问题
- mapreduce的优化方案
- HA机制
- 优化
- Hive
- 安装
- shell参数
- 数据类型
- 集合类型
- 数据库
- DDL操作
- 创建表
- 修改表
- 分区表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 严格模式
- 函数
- 内置运算符
- 内置函数
- 自定义函数
- Transfrom实现
- having和where不同
- 压缩
- 存储
- 存储和压缩结合使用
- explain详解
- 调优
- Fetch抓取
- 本地模式
- 表的优化
- GroupBy
- count(Distinct)去重统计
- 行列过滤
- 动态分区调整
- 数据倾斜
- 并行执行
- JVM重用
- 推测执行
- reduce内存和个数
- sql查询结果作为变量(shell)
- youtube
- flume
- 简介
- 安装
- 常用组件
- 拦截器
- 案例
- 监听端口到控制台
- 采集目录到HDFS
- 采集文件到HDFS
- 多个agent串联
- 日志采集和汇总
- 单flume多channel,sink
- 自定义拦截器
- 高可用配置
- 使用注意
- 监控Ganglia
- sqoop
- 安装
- 常用命令
- 数据导入
- 准备数据
- 导入数据到HDFS
- 导入关系表到HIVE
- 导入表数据子集
- 增量导入
- 数据导出
- 打包脚本
- 作业
- 原理
- azkaban
- 简介
- 安装
- 案例
- 简介
- command类型单一job
- command类型多job工作流flow
- HDFS操作任务
- mapreduce任务
- hive脚本任务
- oozie
- 安装
- hbase
- 简介
- 系统架构
- 物理存储
- 寻址机制
- 读写过程
- 安装
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 过滤器查询
- 建表高级属性
- 与mapreduce结合
- 与sqoop结合
- 协处理器
- 参数配置优化
- 数据备份和恢复
- 节点管理
- 案例-点击流
- 简介
- HUE
- 安装
- storm
- 简介
- 安装
- 集群启动及任务过程分析
- 单词统计
- 单词统计(接入kafka)
- 并行度和分组
- 启动流程分析
- ACK容错机制
- ACK简介
- BaseRichBolt简单使用
- BaseBasicBolt简单使用
- Ack工作机制
- 本地目录树
- zookeeper目录树
- 通信机制
- 案例
- 日志告警
- 工具
- YAPI
- chrome无法手动拖动安装插件
- 时间和空间复杂度
- jenkins
- 定位cpu 100%
- 常用脚本工具
- OOM问题定位
- scala
- 编译
- 基本语法
- 函数
- 数组常用方法
- 集合
- 并行集合
- 类
- 模式匹配
- 异常
- tuple元祖
- actor并发编程
- 柯里化
- 隐式转换
- 泛型
- 迭代器
- 流stream
- 视图view
- 控制抽象
- 注解
- spark
- 企业架构
- 安装
- api开发
- mycat
- Groovy
- 基础