[TOC]
# 类定义
在scala类中,与类名相同的对象叫做伴生对象,类和伴生对象之间可以相互访问私有的方法和属性
~~~
//scala中,类不必声明为public
//scala源文件中可以包含多个类,所有这些类都具有公有可见性
class Person {
//用val修饰的变量是只读属性,有getter但没有setter(相当于java中用final修饰的变量)
val id = "9527"
//用var修饰的变量既有getter又有setter
var age: Int = 18
//类私有字段,只能在类的内部使用
private var name: String = "唐伯虎"
//对象私有字段,访问权限更加严格,Person类的方法只能访问到当前对象的字段
private[this] val pet = "小强"
def sayHi(): Unit = {
println(name)
println(pet)
println("------------")
}
}
//(单例对象,静态对象)
//伴生对象: 与类名相同并且在同一个文件中
object Person {
def main(args: Array[String]): Unit = {
val p = new Person()
println(p.id)
println(p.age)
p.age=20
println(p.age)
println(p.name)
p.name="abc"
println(p.name)
//pet访问不到
}
}
~~~
# 构造器
主构造器中的参数使用后会被升级为字段
~~~
//每个类都有主构造器,主构造器的参数直接放置类名后面,与类交织在一起
class Student(val name: String, val age: Int, faceValue: Double = 99.99, private var height: Int = 18) {
//主构造器会执行类定义中的所有语句
println("执行主构造器")
private[this] var gender: String = null
def show(): Unit = {
println(faceValue)
}
//辅助构造器 def this (参数),可以重载
def this(name: String, age: Int, gender: String) {
//辅助构造器第一行,一定要调用主构造器
this(name, age)
this.gender = gender
}
}
object Student {
def main(args: Array[String]): Unit = {
val p = new Student("zx", 30, 100)
println(p.age)
println(p.name)
}
}
~~~
**私有主类构造器**
~~~
class Student private(val name: String, val age: Int, faceValue: Double = 99.99, private var height: Int = 18) {
~~~
这样用户只能通过辅助构造器来构造对象了
**限制包使用**
~~~
private[cn] class Student private(val name: String, val age: Int, faceValue: Double = 99.99, private var height: Int = 18) {
~~~
# 单例对象
在scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的
~~~
class SingletonDemo {
}
object SingletonDemo {
def main(args: Array[String]): Unit = {
val s1 = SingletonDemo
val s2 = new SingletonDemo
val s3 = SingletonDemo
println(s1)
println(s2)
println(s3)
}
}
~~~
输出
~~~
SingletonDemo$@6debcae2
SingletonDemo@5ba23b66
SingletonDemo$@6debcae2
~~~
在伴生对象内,不用new就是单例
# apply方法
通常我们会在类的伴生对象中定义apply方法,当遇到类名(参数1,...参数n)时apply方法会被调用
~~~
object ApplyDemo {
def apply(): Unit = {
println("apply invoked")
}
def main(args: Array[String]): Unit = {
val a = ApplyDemo()
println(a)
}
}
~~~
# 继承
在scala中重写一个非抽象的方法必须使用override修饰符
**类型检查和转换**
| scala | java |
| --- | --- |
| obj.isInstanceOf[C] | obj instanceof C |
| obj.asInstanceof[C] | (C)obj |
| classOf[C] | C.class |
~~~
//接口,但是可以有实现
trait Flyable{
def fly(): Unit = {
println("I can fly")
}
def fight(): String
}
abstract class Animal {
def run(): Int
val name: String
}
//如果接口是第一个实现的,也用extends,后面的用with
class Human extends Animal with Flyable {
val name = "abc"
//在scala中重写一个非抽象方法必须用override修饰
override def fight(): String = {
"fight"
}
//在子类中重写超类的抽象方法时,不需要使用override关键字,写了也可以
def run(): Int = {
1
}
}
~~~
# 静态方法和非静态方法
调用方法,静态方法(scala中没有静态方法这个概念,需要通过伴生类对象来实现)
~~~
scala> BigInt.probablePrime(16, scala.util.Random)
~~~
调用方法,非静态方法,使用对象调用
~~~
scala> "HelloWorld".distinct
~~~
# 对象私有化字段
变量: workDetails在封闭包professional中的任何类中可访问
封闭包: friends的任何类都可以被society包中任何类访问
变量: secrets只能在实例方法的隐式对象(this)中访问
~~~
package unit7{
package society {
package professional {
class Executive {
private[professional] var workDetails = null
private[society] var friends = null
private[this] var secrets = null
def help(another: Executive): Unit = {
println(another.workDetails)
//another是不能用的,因为他是其他对象
// println(another.secrets)
}
}
}
}
}
~~~
![](https://box.kancloud.cn/7ae1a396df154493dde68c493613e9aa_946x198.png)
# 嵌套类
在class中,再定义一个class,以此类推
java中的内部类从属于外部类.scala中内部类从属于实例
~~~
class Network {
class Member(val name: String) {
val contacts = new ArrayBuffer[Member]
}
private val members = new ArrayBuffer[Member]
def join(name: String) = {
val m = new Member(name)
members += m
m
}
}
~~~
这里的member没有指定是属于类的还是对象的
实际上是属于对象的
这个代码会报错
~~~
object ObjectDemo extends App {
val network1 = new Network
val nick = network1.join("Nick") //network1.Member
val alice = network1.join("Alice") //network1.Member
nick.contacts += alice
alice.contacts += nick
val network2 = new Network
val jone = network2.join("Jone") //network2.Member
nick.contacts += jone
}
~~~
指定属于哪个对象的就不会报错了
~~~
class Network {
private val members = new ArrayBuffer[Network.Member]
def join(name: String) = {
val m = new Network.Member(name)
members += m
m
}
}
object Network {
class Member(name: String) {
val contacts = new ArrayBuffer[Member]()
}
}
~~~
注意: 类和他的伴生对象可以相互访问私有特性,他们必须存在同一个源文件中.必须同名
# 枚举
scala中没有枚举类型,定义一个扩展Enumeration类的对象,并以value调用初始化枚举中的所有可能值
~~~
object TrafficLightColor extends Enumeration {
val Red = Value(0, "stop")
val Yello = Value(1, "slow")
val Green = Value(2, "Go")
}
object ObjectDemo extends App {
println(TrafficLightColor.Red)
println(TrafficLightColor.Yello)
println(TrafficLightColor.Green.id)
}
~~~
# 包和引用
在java和scala中管理项目可以使用包结构,c和c#使用命名空间
对于package,有如下几种形式
~~~
package com
package nick.impatient
package people
class Person {
val name = "Nick"
def play(message: String): Unit = {
}
}
~~~
等同于
~~~
package com.nick.impatient { //com和com.nick在这不可见
package people {
class Person {
val name = "Nick"
def play(message: String): Unit = {
}
}
}
}
~~~
提示: 在文件顶部不带花括号的包声明在整个文件范围内有效
访问父package中的内容.(即:作用域)
包对象可以持有函数和变量
引入语句可以引入包,类和对象
源文件的目录和包之间并没有强制的关联关系
可以在同一个.scala文件中,声明多个并列的package
包名可以相对也可以绝对,比如,访问ArrayBuffer的绝对路径是: `_root_.scala.collection.mutable.ArrayBuffer`
## 包对象
包可以包含类,对象和特质trait,**但是不能包含函数或变量的定义**.很不幸,这是java虚拟机的局限.
把工具函数或常量添加到包而不是某个utils对象,这是更加合理的做法.包对象出现正是为了解决这个局限.**每个包都可以有一个包对象**.**你需要在父包中定义他**,而且名称与子包一样
~~~
package object people {
val defaultName = "Nick";
}
package people {
class people {
//从包对象拿到的
val name = defaultName
}
}
~~~
## 包可见性
在java中,没有声明为public,private或protected的类成员在包含类的包中可见.
在scala中,你可以通过修饰符达到同样的效果
~~~
package com.nick.impatient.people
class Person {
//只在当前包可见
private[people] def description = "desc"
//可以将可见度延展到上层包
private[impatient] def name = "name"
}
~~~
## **重命名**
如果你想要引入包中的几个成员,可以像这样使用选取器(selector),而且选取的通俗,可以重命名
~~~
import java.util.{HashMap=>JavaHashMap, List}
~~~
这样一来,javaHashMap就是java.util.HashMap,而HashMap对应scala.collection.mutable.HashMap
# 受保护的字段和方法
protected在scala中比java要跟严格一点,只有继承关系才可以访问,同一个包下,也是不可以的
# 超类构造
类有一个主构造器和任意数量的辅助构造器,而每个辅助构造器都必须对先前定义的辅助构造器或主构造器的调用开始.
子类的辅助构造器最终都会调用主构造器,只有主构造器可以调用超类的构造器,辅助构造器永远不可能直接调用超类的构造器.
在scala的构造器中,你不能调用super(params)
* 当前类的(辅助构造器),最终都会调用当前类的(主构造器)
* 子类的主构造器,最终都会调用父类的构造器(可以是辅助构造器,可以是主构造器)
~~~
class Animal(age: Int, hairColor: String) {
}
//可以给默认值
class Dog(age: Int, hairColor: String) extends Animal(age, hairColor = "11") {
}
~~~
# 抽象类
可以通过abbstract关键字标记不能被实例化的类.方法不用标记abstract,只要省掉方法体即可.
抽象类可以拥有抽象字段
抽象字段就是没有初始值的字段
~~~
abstract class Person(val pname: String) {
val id: Int
var name: String
def idString: Int
def play: Unit
}
class Employee(pname: String) extends Person(pname) {
val id = 5;
var name = ">>>"
def idString = pname.hashCode
override def play: Unit = {
println(name)
}
}
~~~
# 构造顺序和提前定义
~~~
class Father {
val range = 10
val arr = new ArrayBuffer(range)
}
class Child extends Father {
override val range = 20
}
~~~
1. new Father
--- 初始化range变量等于10
--- 发现该变量被子类覆写了
--- 提取range值,去子类中提取,通过提取器,提取子类中的range值 = 0
--- new ArrayBuffer(range = 0)
2. new Child
--- 覆写range = 20
打印
--- arr.length = 0
--- range = 20
问题解决: 3种方案
1. 可以将val声明为final,这样子类不可改写
2. 可以将超类中将val声明为lazy,这样安全但是并不高效
3. 还可以使用提前定义语法,可以在超类的构造器执行之前初始化子类的val字段:
~~~
class Ant2 extends {
override val range = 3
} with Creature
~~~
里面大括号表示是Creature的子类,并且在初始化的时候先初始化这个匿名类
# scala继承层级
在scala中,所有其他类都是AnyRef的子类,类似java的Object
AnyVal和AnyRef都扩展自Any类.Any类是根节点
Any中定义了isInstanceOf,asInstanceOf方法,以及哈希方法等
Null类型的唯一实例就是null对象.可以将null赋值给任何引用,但不能赋值给值类型的变量
# 当做接口使用的特质
特质中没有实现的方法就是抽象方法.类通过extends继承特质,通过with可以继承多个特质
~~~
trait Logger {
def log(msg: String)
}
class ConsoleLogger extends Logger with Cloneable with Serializable {
override def log(msg: String): Unit = {
println(msg)
}
}
~~~
特质中的方法并不一定是抽象的
## 混入
~~~
/**
* 叠加特质的执行顺序
* 1. 动态混入: 右向左执行
* 2. 情景: 混入的多个特质,是继承了同一个特质
* 3. super关键字为向左调用
*/
trait Logger3 {
def log(msg: String)
}
trait ConsoleLogger3 extends Logger3 {
def log(msg: String) {
println(msg)
}
}
trait TimestampLogger3 extends ConsoleLogger3 {
override def log(msg: String) {
super.log(new java.util.Date() + " " + msg)
}
}
trait ShortLogger3 extends ConsoleLogger3 {
override def log(msg: String): Unit = {
super.log(if (msg.length <= 15) msg else s"${msg.substring(0, 12)}...")
}
}
class Account3 {
protected var balance = 0.0
}
abstract class SavingsAccount3 extends Account3 with Logger3 {
def withdraw(amount: Double) {
//没有实体下面有混入的
if (amount > balance) log("余额不足")
else balance -= amount
}
}
object Main3 extends App {
//TimestampLogger3
// val acct1 = new SavingsAccount3 with TimestampLogger3 with ShortLogger3
// acct1.withdraw(100)
//ShortLogger3
val acct1 = new SavingsAccount3 with ShortLogger3 with TimestampLogger3
acct1.withdraw(100)
}
~~~
- 基础
- 编译和安装
- classpath到底是什么?
- 编译运行
- 安装
- sdkman多版本
- jabba多版本
- java字节码查看
- 数据类型
- 简介
- 整形
- char和int
- 变量和常量
- 大数值运算
- 基本类型包装类
- Math类
- 内存划分
- 位运算符
- 方法相关
- 方法重载
- 可变参数
- 方法引用
- 面向对象
- 定义
- 继承和覆盖
- 接口和抽象类
- 接口定义增强
- 内建函数式接口
- 多态
- 泛型
- final和static
- 内部类
- 包
- 修饰符
- 异常
- 枚举类
- 代码块
- 对象克隆
- BeanUtils
- java基础类
- scanner类
- Random类
- System类
- Runtime类
- Comparable接口
- Comparator接口
- MessageFormat类
- NumberFormat
- 数组相关
- 数组
- Arrays
- string相关
- String
- StringBuffer
- StringBuilder
- 正则
- 日期类
- Locale类
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新时间日期API
- 简介
- LocalDate,LocalTime,LocalDateTime
- Instant时间点
- 带时区的日期,时间处理
- 时间间隔
- 日期时间校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判断集合唯一
- Map和Entry
- stack类
- Collections集合工具类
- Stream数据流
- foreach不能修改内部元素
- of方法
- IO
- File类
- 字节流stream
- 字符流Reader
- IO流分类
- 转换流
- 缓冲流
- 流的操作规律
- properties
- 序列化流与反序列化流
- 打印流
- System类对IO支持
- commons-IO
- IO流总结
- NIO
- 异步与非阻塞
- IO通信
- Unix的IO模型
- epoll对于文件描述符操作模式
- 用户空间和内核空间
- NIO与普通IO的主要区别
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代码
- 多线程
- 创建线程
- 线程常用方法
- 线程池相关
- 线程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的几种线程池
- 线程安全
- 线程同步的几种方法
- synchronized
- 死锁
- lock接口
- ThreadLoad
- ReentrantLock
- 读写锁
- 锁的相关概念
- volatile
- 释放锁和不释放锁的操作
- 等待唤醒机制
- 线程状态
- 守护线程和普通线程
- Lamda表达式
- 反射相关
- 类加载器
- 反射
- 注解
- junit注解
- 动态代理
- 网络编程相关
- 简介
- UDP
- TCP
- 多线程socket上传图片
- NIO
- JDBC相关
- JDBC
- 预处理
- 批处理
- 事务
- properties配置文件
- DBUtils
- DBCP连接池
- C3P0连接池
- 获得MySQL自动生成的主键
- Optional类
- Jigsaw模块化
- 日志相关
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 简介
- 仓库
- 目录结构
- 常用命令
- 生命周期
- idea配置
- jar包冲突
- 依赖范围
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多环境
- 自定义插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 乱码
- session和cookie
- cookie
- session
- jsp
- 简介
- 注释
- 方法,成员变量
- 指令
- 动作标签
- 隐式对象
- EL
- JSTL
- javaBean
- listener监听器
- Filter过滤器
- 图片验证码
- HttpUrlConnection
- 国际化
- 文件上传
- 文件下载
- spring
- 简介
- Bean
- 获取和实例化
- 属性注入
- 自动装配
- 继承和依赖
- 作用域
- 使用外部属性文件
- spel
- 前后置处理器
- 生命周期
- 扫描规则
- 整合多个配置文件
- 注解
- 简介
- 注解分层
- 类注入
- 分层和作用域
- 初始化方法和销毁方法
- 属性
- 泛型注入
- Configuration配置文件
- aop
- aop的实现
- 动态代理实现
- cglib代理实现
- aop名词
- 简介
- aop-xml
- aop-注解
- 代理方式选择
- jdbc
- 简介
- JDBCTemplate
- 事务
- 整合
- junit整合
- hibernate
- 简介
- hibernate.properties
- 实体对象三种状态
- 检索方式
- 简介
- 导航对象图检索
- OID检索
- HQL
- Criteria(QBC)
- Query
- 缓存
- 事务管理
- 关系映射
- 注解
- 优化
- MyBatis
- 简介
- 入门程序
- Mapper动态代理开发
- 原始Dao开发
- Mapper接口开发
- SqlMapConfig.xml
- map映射文件
- 输出返回map
- 输入参数
- pojo包装类
- 多个输入参数
- resultMap
- 动态sql
- 关联
- 一对一
- 一对多
- 多对多
- 整合spring
- CURD
- 占位符和sql拼接以及参数处理
- 缓存
- 延迟加载
- 注解开发
- springMVC
- 简介
- RequestMapping
- 参数绑定
- 常用注解
- 响应
- 文件上传
- 异常处理
- 拦截器
- springBoot
- 配置
- 热更新
- java配置
- springboot配置
- yaml语法
- 运行
- Actuator 监控
- 多环境配置切换
- 日志
- 日志简介
- logback和access
- 日志文件配置属性
- 开机自启
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查询
- 复杂查询
- 多数据源的支持
- Repository分析
- JpaSpecificationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 动态sql
- 关联映射
- 使用xml
- spring容器
- 整合druid
- 整合邮件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 请求
- restful
- 拦截器
- 常用注解
- 参数校验
- 自定义filter
- websocket
- 响应
- 异常错误处理
- 文件下载
- 常用注解
- 页面
- Thymeleaf组件
- 基本对象
- 内嵌对象
- 上传文件
- 单元测试
- 模拟请求测试
- 集成测试
- 源码解析
- 自动配置原理
- 启动流程分析
- 源码相关链接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 创建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本数据类型
- 函数
- 区间
- 区块链
- 简介
- linux
- ulimit修改
- 防止syn攻击
- centos7部署bbr
- debain9开启bbr
- mysql
- 隔离性
- sql执行加载顺序
- 7种join
- explain
- 索引失效和优化
- 表连接优化
- orderby的filesort问题
- 慢查询
- show profile
- 全局查询日志
- 死锁解决
- sql
- 主从
- IDEA
- mac快捷键
- 美化界面
- 断点调试
- 重构
- springboot-devtools热部署
- IDEA进行JAR打包
- 导入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文档显示
- sftp文件同步
- 书签
- 代码查看和搜索
- postfix
- live template
- git
- 文件头注释
- JRebel
- 离线模式
- xRebel
- github
- 连接mysql
- 选项没有Java class的解决方法
- 扩展
- 项目配置和web部署
- 前端开发
- json和Inject language
- idea内存和cpu变高
- 相关设置
- 设计模式
- 单例模式
- 简介
- 责任链
- JUC
- 原子类
- 原子类简介
- 基本类型原子类
- 数组类型原子类
- 引用类型原子类
- JVM
- JVM规范内存解析
- 对象的创建和结构
- 垃圾回收
- 内存分配策略
- 备注
- 虚拟机工具
- 内存模型
- 同步八种操作
- 内存区域大小参数设置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 变量
- 运算符
- 模块
- Rewrite规则
- Netty
- netty为什么没用AIO
- 基本组件
- 源码解读
- 简单的socket例子
- 准备netty
- netty服务端启动
- 案例一:发送字符串
- 案例二:发送对象
- websocket
- ActiveMQ
- JMS
- 安装
- 生产者-消费者代码
- 整合springboot
- kafka
- 简介
- 安装
- 图形化界面
- 生产过程分析
- 保存消息分析
- 消费过程分析
- 命令行
- 生产者
- 消费者
- 拦截器interceptor
- partition
- kafka为什么快
- kafka streams
- kafka与flume整合
- RabbitMQ
- AMQP
- 整体架构
- RabbitMQ安装
- rpm方式安装
- 命令行和管控页面
- 消息生产与消费
- 整合springboot
- 依赖和配置
- 简单测试
- 多方测试
- 对象支持
- Topic Exchange模式
- Fanout Exchange订阅
- 消息确认
- java client
- RabbitAdmin和RabbitTemplate
- 两者简介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 详解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 简介
- 入门程序
- luke查看索引
- 分析器
- 索引库维护
- elasticsearch
- 配置
- 插件
- head插件
- ik分词插件
- 常用术语
- Mapping映射
- 数据类型
- 属性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 单模式下CURD
- mget多个文档
- 批量操作
- 版本控制
- 基本查询
- Filter过滤
- 组合查询
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 发布订阅
- 事务
- 连接池
- 管道
- 分布式可重入锁
- 配置文件翻译
- 持久化
- RDB
- AOF
- 总结
- Lettuce
- zookeeper
- zookeeper简介
- 集群部署
- Observer模式
- 核心工作机制
- zk命令行操作
- zk客户端API
- 感知服务动态上下线
- 分布式共享锁
- 原理
- zab协议
- 两阶段提交协议
- 三阶段提交协议
- Paxos协议
- ZAB协议
- hadoop
- 简介
- hadoop安装
- 集群安装
- 单机安装
- linux编译hadoop
- 添加新节点
- 退役旧节点
- 集群间数据拷贝
- 归档
- 快照管理
- 回收站
- 检查hdfs健康状态
- 安全模式
- hdfs简介
- hdfs命令行操作
- 常见问题汇总
- hdfs客户端操作
- mapreduce工作机制
- 案例-单词统计
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定义排序
- 自定义Bean对象
- 排序的分类
- 案例-按总量排序需求
- 一次性完成统计和排序
- 分区
- 分区简介
- 案例-结果分区
- 多表合并
- reducer端合并
- map端合并(分布式缓存)
- 分组
- groupingComparator
- 案例-求topN
- 全局计数器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat机制
- 自定义InputFormat
- 自定义outputFormat
- 多job串联
- 倒排索引
- 共同好友
- 串联
- 数据压缩
- InputFormat接口实现类
- yarn简介
- 推测执行算法
- 本地提交到yarn
- 框架运算全流程
- 数据倾斜问题
- mapreduce的优化方案
- HA机制
- 优化
- Hive
- 安装
- shell参数
- 数据类型
- 集合类型
- 数据库
- DDL操作
- 创建表
- 修改表
- 分区表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 严格模式
- 函数
- 内置运算符
- 内置函数
- 自定义函数
- Transfrom实现
- having和where不同
- 压缩
- 存储
- 存储和压缩结合使用
- explain详解
- 调优
- Fetch抓取
- 本地模式
- 表的优化
- GroupBy
- count(Distinct)去重统计
- 行列过滤
- 动态分区调整
- 数据倾斜
- 并行执行
- JVM重用
- 推测执行
- reduce内存和个数
- sql查询结果作为变量(shell)
- youtube
- flume
- 简介
- 安装
- 常用组件
- 拦截器
- 案例
- 监听端口到控制台
- 采集目录到HDFS
- 采集文件到HDFS
- 多个agent串联
- 日志采集和汇总
- 单flume多channel,sink
- 自定义拦截器
- 高可用配置
- 使用注意
- 监控Ganglia
- sqoop
- 安装
- 常用命令
- 数据导入
- 准备数据
- 导入数据到HDFS
- 导入关系表到HIVE
- 导入表数据子集
- 增量导入
- 数据导出
- 打包脚本
- 作业
- 原理
- azkaban
- 简介
- 安装
- 案例
- 简介
- command类型单一job
- command类型多job工作流flow
- HDFS操作任务
- mapreduce任务
- hive脚本任务
- oozie
- 安装
- hbase
- 简介
- 系统架构
- 物理存储
- 寻址机制
- 读写过程
- 安装
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 过滤器查询
- 建表高级属性
- 与mapreduce结合
- 与sqoop结合
- 协处理器
- 参数配置优化
- 数据备份和恢复
- 节点管理
- 案例-点击流
- 简介
- HUE
- 安装
- storm
- 简介
- 安装
- 集群启动及任务过程分析
- 单词统计
- 单词统计(接入kafka)
- 并行度和分组
- 启动流程分析
- ACK容错机制
- ACK简介
- BaseRichBolt简单使用
- BaseBasicBolt简单使用
- Ack工作机制
- 本地目录树
- zookeeper目录树
- 通信机制
- 案例
- 日志告警
- 工具
- YAPI
- chrome无法手动拖动安装插件
- 时间和空间复杂度
- jenkins
- 定位cpu 100%
- 常用脚本工具
- OOM问题定位
- scala
- 编译
- 基本语法
- 函数
- 数组常用方法
- 集合
- 并行集合
- 类
- 模式匹配
- 异常
- tuple元祖
- actor并发编程
- 柯里化
- 隐式转换
- 泛型
- 迭代器
- 流stream
- 视图view
- 控制抽象
- 注解
- spark
- 企业架构
- 安装
- api开发
- mycat
- Groovy
- 基础