> ##### [感谢江榕分享](https://www.tuicool.com/articles/6fyU7bU)
> ##### [感谢chenzanlong123](http://blog.csdn.net/chenzanlong123/article/details/11784143 "关于truststore和kenstore的区别") 关于truststore和kenstore的区别
### Search Guard基础知识
SearchGuard®是Elasticsearch的开源安全套件，提供加密，身份验证，授权，审计日志记录和多租户的整个ELK堆栈。开源版本核心功能：
- 节点之间的RPC流量通过 SSL/TLS 传输（强制性）；
- 索引级别访问控制（重点！）；
- 权限配置基本与shield保持一致；
- 支持restful接口流量加密（可选）；
#### 个人理解
- Search Guard会将ES包裹起来，其他程序连接ES时，实际是Search Guard在做验证和权限控制。
- ES的Master/Node节点间的SSL/TLS通讯加密必须配置，但客户端(Kibana、Logstash、ES-Head等）访问ES的HTTPS可不配置
- 证书的生成需要使用 Search Guard SSL程序包，需要单独下载，但该程序无需放在ES的服务器中执行，只使用生成后的证书
- keystore可以看成一个放key的库，key就是公钥，私钥，数字签名等组成的一个信息。truststore和keystore的性质是一样的，都是存放key的一个仓库，区别在于，truststore里存放的是只包含公钥的数字证书，代表了可以信任的证书，而keystore是包含私钥的
- Search Guard有Demo脚本，为了更好的理解原理，不要使用
##### Search Guard部署过程
- 第一阶段：实现访问ES需要用户名密码
- 第二节点：Kibana实现用户名密码登录
##### 涉及插件
>[GitHub链接](https://github.com/floragunncom "github链接")
- search-guard-ssl（生成证书程序）
- search-guard（ES插件）
- search-guard-kibana-plugin（Kibana插件）
### 部署Search Guard SSL（任意机器）
仅生成证书，无需部署在生产节点，生成后部署到对应节点即可，该文件需备份！
不推荐使用样例脚本
> [具体版本对照](https://github.com/floragunncom/search-guard-ssl/wiki "版本对照")
脚本依赖openssl 和 keytool
```shell
git clone https://github.com/floragunncom/search-guard-ssl.git
cd search-guard-ssl/example-pki-scripts
```
#### 证书生成重要概念
因为我们要使用到生产环境，所以我们需要自定义创建证书
- ##### gen_client_node_cert.sh（生成admin-keystore.jks）
生成客户端和管理员证书，包含客户端证书的密钥库。此证书被配置为管理员证书，名字可以使用sgadmin/admin/ding均可，但名称要与ES中配置的前缀保持一致（下文中会提到），否则ES启动时，会报Search Guard密码错误
- ##### gen_node_cert.sh（生成 node-0-keystore.jks）
生成ES节点间通讯的证书，密钥库包含节点证书和中间证书。这些密钥库可以在所有Elasticsearch节点上使用。
- ##### gen_root_ca.sh（生成truststore.jks）
包含用于签署所有其他证书的根CA的信任库
##### 修改配置
```shell
example-pki-scripts/etc/root-ca.conf
example-pki-scripts/etc/signing-ca.conf
```
脚本会根据这两个配置生成证书，需要修改如下内容，暂时还不太理解作用，我并没有修改
```shell
[ ca_dn ]
0.domainComponent = "com"
1.domainComponent = "example"
organizationName = "Example Com Inc."
organizationalUnitName = "Example Com Inc. Root CA"
commonName = "Example Com Inc. Root CA"
```
#### 生成证书
##### 生成强密码
```shell
根CA密码:NhRxQ3dC3rJZuQFa
truststore密码:siCPVLDYN2BwuYKo
keystore密码:CNByuENniEtkHRfs
```
##### 生成truststore证书
```shell
#./gen_root_ca.sh capassword_use_a_strong_one truststorepassword
./gen_root_ca.sh NhRxQ3dC3rJZuQFa siCPVLDYN2BwuYKo
```
##### 生成ES节点通讯证书
> ##### 留下问题？是所有ES用一个，每个ES都用不同的证书
```shell
./gen_node_cert.sh nodenum keystorepassword capassword_use_a_strong_one
./gen_node_cert.sh 0 CNByuENniEtkHRfs NhRxQ3dC3rJZuQFa
```
##### 生成客户端（管理员）证书
```shell
./gen_client_node_cert.sh clientname keystorepassword capassword_use_a_strong_one
./gen_client_node_cert.sh admin CNByuENniEtkHRfs NhRxQ3dC3rJZuQFa
```
##### 生成的文件
```shell
#ll /opt/search-guard-ssl/example-pki-scripts/*.jks
-rw-r--r-- 1 root root 4164 Nov 10 16:38 admin-keystore.jks
-rw-r--r-- 1 root root 4233 Nov 10 16:38 node-0-keystore.jks
-rw-r--r-- 1 root root 956 Nov 10 16:37 truststore.jks
```
#### 分发证书
node和truststore证书分发到所有ES的/etc/elasticsearch/目录下
admin证书，放到管理机上，Search Guard会在Elasticsearch中建立searchguard的索引分片，内部存储的就是用户和权限的信息，这些信息只能通过sgadmin.sh脚本进行更新，Search Guard中的逻辑用户，是不具备查看权限的。具体请看下文
##### 注意备份整个目录，后期可能还会生成证书
### 所有ES节点安装Search Guard
#### 在线安装
>##### [版本对应关系](https://github.com/floragunncom/search-guard/wiki "版本对应关系")
```shell
cd /usr/share/elasticsearch/bin
./elasticsearch-plugin install com.floragunn:search-guard-5:5.6.4-16
```
search-guard-5：search-guard的版本
5.6.4-16：当前Elasticsearch对应的search-guard版本
#### 离线安装(推荐)
> ##### [zip包下载地址](http://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22com.floragunn%22%20AND%20a%3A%22search-guard-5%22 "下载地址")
```shell
./elasticsearch-plugin install -b file:///tmp/search-guard-5-5.6.4-16.zip
```
#### 增加ES配置（所有ES）
配置结尾增加
```shell
searchguard.ssl.transport.keystore_filepath: node-0-keystore.jks
searchguard.ssl.transport.keystore_password: CNByuENniEtkHRfs
searchguard.ssl.transport.truststore_filepath: truststore.jks
searchguard.ssl.transport.truststore_password: siCPVLDYN2BwuYKo
#enforce_hostname_verification为不强制验证主机名
searchguard.ssl.transport.enforce_hostname_verification: false
#注意CN=admin，必须和admin-keystore.jks中的admin相同
searchguard.authcz.admin_dn:
- CN=admin,OU=client,O=client,L=Test, C=DE
```
重启ES服务器，如未设置，将无法加入到集群，建议所有ES全部停止后统一配置，避免脑裂
### 生成searchguard索引分片
> ##### [sgadmin相关参数](http://floragunncom.github.io/search-guard-docs/sgadmin.html "1")
```shell
sh /usr/share/elasticsearch/plugins/search-guard-5/tools/sgadmin.sh -h 192.168.0.230 -p 9300 -tspass siCPVLDYN2BwuYKo -kspass CNByuENniEtkHRfs -cd /usr/share/elasticsearch/plugins/search-guard-5/sgconfig -ks /etc/elasticsearch/admin-keystore.jks -ts /etc/elasticsearch/truststore.jks -nhnv -cn es-cluster
```
- 默认要求ES集群状态至少要为YELLOW，可以使用-arc,–accept-red-cluster跳过
- 早期版本的Search guard是允许使用node证书的，但是新版本已经禁止了，这里的ks需要指定为管理用户的证书（admin-keystore.jks)
- es-cluster为集群名称
- -nhnv 禁用主机名称验证，不要验证主机名
```shell
###################################
Contacting elasticsearch cluster 'es-cluster' and wait for YELLOW clusterstate ...
Clustername: es-cluster
Clusterstate: YELLOW
Number of nodes: 1
Number of data nodes: 1
searchguard index already exists, so we do not need to create one.
Populate config from /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/
Will update 'config' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_config.yml
SUCC: Configuration for 'config' created or updated
Will update 'roles' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_roles.yml
SUCC: Configuration for 'roles' created or updated
Will update 'rolesmapping' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_roles_mapping.yml
SUCC: Configuration for 'rolesmapping' created or updated
Will update 'internalusers' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_internal_users.yml
SUCC: Configuration for 'internalusers' created or updated
Will update 'actiongroups' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_action_groups.yml
SUCC: Configuration for 'actiongroups' created or updated
Done with success
```
SUCC代表更新成功
#### 截至目前，ES各个节点间通讯已经加密；Search Guard已经开始守护ES集群了。但由于Search Guard默认设置了一些用户，都是弱口令用户，下一步，我们要进行权限设置以及客户端（Logstash、Kibana、Head）的访问设置
- 献给乐于奉献的你
- 一、工作感悟
- 1.1 工作感悟
- 1.2 数据库工作总结
- 二、运维专题（非技术）
- 2.1 公有云运维
- 2.1.1 阿里云采坑记.md
- 三、运维专题（技术类）
- 3.1 Linux（操作系统）
- 3.1.1 常见工作总结
- 3.1.2 常见服务使用和部署
- 3.1.3 操作系统优化
- 3.1.4 常用命令（Centos8）
- 3.2 Docker & K8s（容器技术）
- 3.2.1 Docker
- 1. Docker
- 1-1 容器基础
- 1-2 部署和加速
- 1-3 常用命令
- 1-4 Dockerfile编写
- 1-5 容器网络
- 1-6 数据持久化
- 2. docker-compose
- 2-1 基础
- 3.2.2 kubernetes
- 1. 导读-请先看我
- 2. kubeadm部署集群
- 1-1 k8s-1.14-基于calico
- 1-2 k8s-1.17-基于flanne
- 3. 二进制部署集群
- 4. 日常工作及故障处理
- 4-1 常用命令
- 4-2 故障处理
- 3.2.3 依赖服务部署
- 1. Harbor（镜像仓库）
- 1-1 harbor-2.1.0（单节点）
- 3.3 CICD（持续集成/部署）
- 3.3.1 GitLab
- 1. 服务部署
- 1-1 Gitlab-CE-13.3.4（单节点）
- 2. Git基础
- 3.3.2 Ansible
- 1. 服务部署
- 1-2 ansible-2.5（pip部署）
- 3. ansible-playbook
- 3-1 基于Roles的Playbook
- 3-3 循环语法
- 3.3.3 Jnekins
- 1. Jenkins部署
- 1-1 Jenkins-2.65部署
- 1-2 Jenkins-2.249部署
- 2. Jenkins项目初始化
- 3. Jenkins集成
- 3-1 Jenkins-2.65集成Sonar
- 3.4 LB/HA（负载均衡，反向代理）
- 3.4.1 LVS+Keepalive
- 1. LVS为MySQL读提供负载均衡
- 3.4.2 Pacemaker(HA)
- 1. 常用命令(转)
- 3.5 Runtime（代码运行环境）
- 3.5.1 Tomcat（Web中间件）
- 1. Tomcat部署手册
- 1-1 Tomcat-7.0.76部署
- 2. Tomcat常用脚本
- 3.6 NoSQL（非关系型数据库）
- 3.6.1 redis（非关系数据库）
- 1. Redis 基础
- 2. Redis 4.0变化
- 3. Codis实现Redis的集群
- 4. Redis故障处理
- 5. redis安全第一步
- 6. Redis集群搭建
- 7. CacheCloud部署
- 3.6.1 Redis挑战
- 3.6.2 MongoDB（文档数据库）
- 1. Mongodb基础
- 1-1 Mongodb4.0新特性
- 1-2 支持多大数据量
- 2. Mongodb安装
- 2-1 Mac OS安装Mongodb
- 2-2 Yum安装Mongodb
- 2-3 二进制安装Mongodb
- 2-4 docker容器安装Mongodb
- 2-5 Mongodb 配置文件详解
- 2-6 Mongodb 生产安全清单
- 2-7 用户身份认证和授权
- 3. Mongodb副本集
- 3-1 副本集搭建
- 3-2 用户身份认证与授权
- 4. 日常维护工作
- 4-1 Mongodb磁盘回收
- 4-2 Mongodb备份恢复到任意时间点
- 4-3 Mongodb慢查询分析
- 4-4 Mongodb版本升级
- 4-5 Mongodb副本集成员状态
- 4-6 Mongodb备份恢复工具使用
- 4-7 Mongodb服务启动和停止
- 4-8 修改副本集成员oplog大小
- 4-9 Mongodb 副本集Oplog
- 3.7 MQ（消息队列）
- 3.7.1 Zookeeper（分布式协调系统）
- 1. ZooKeeper基础
- 2. ZooKeeper集群搭建
- 2-1 ZK-3.4.10部署
- 3.2 RabbitMQ（消息队列）
- 1. 服务部署
- 1-1 RabbitMQ-3.8部署
- 2. 常用命令
- 3.8 Monitor（数据收集，监控）
- 3.8.1 Zabbix（运维监控）
- 1. 服务部署
- 1-1 服务端部署
- 1-2 客户端部署
- 2. 监控服务
- 2-1 监控Apache
- 2-2 监控IIS
- 2-3 监控Ningx
- 2-4 监控Tomcat(6/7/8)
- 2-5 监控WebSphere 7
- 2-6 监控MySQL
- 2-7 监控Oracle
- 2-8 监控SQL Servre
- 2-9 监控Weblogic
- 2-10 监控Windows
- 2-11 自定义监控项
- 3. 告警推送
- 3-1 邮件告警
- 3-2 短信告警
- 3-3 告警推到Syslog
- 4. 日常工作
- 4-1 数据库优化（TokuDB）
- 4-2 数据库优化（分区表）
- 4-3 前端定制（Grafana）
- 5. 与Grafana结合
- 3.8.2 ELKBstack（日志收集展示）
- 1. 服务部署
- 1-1 ELK 5.5部署及配置
- 1-1-1 ELKBstack介绍
- 1-1-2 Elasticsearch部署
- 1-1-3 Logstash部署
- 1-1-4 Kibana部署
- 1-1-5 X-pack部署
- 1-1-6 Filebeat部署
- 2. ELK高级配置
- 1. Elasticsearch实战
- 2. Logstash实战
- 3. Filebeat实战
- 5. 引入队列
- 3.9 Virtualization（虚拟化）
- 3.10 Basic（基础服务）
- 3.10.1 Piwik-Matomo（用户行为分析）
- 1. Piwik前期分析
- 2. Piwik介绍和部署
- 2-1 Piwik-3.x版本（早期）
- 3. Piwik 功能配置
- 4. Piwik 模拟数据和压测
- 5. Piwik运转原理
- 6. Piwik数据库模式（一）
- 6-1 第一部分
- 6-2 第二部分
- 3.10.2 Cobbler（系统自动部署）
- 1. Cobbler 可以干什么？
- 2. Cobbler 基础原理
- 3. Cobbler 安装
- 3-1 Cobbler-2.8部署
- 4. Cobbler 基础配置
- 5. Cobbler 配置文件
- 6. 一键优化脚本
- 3.10.3 Rsync（数据同步服务）
- 1. Rsync基础
- 2. 案例：页面部署（服务端拉取）
- 3.10.4 NFS（共享存储）
- 1. NFS部署手册
- 2. 客户端NFS备份脚本
- 3.10.5 Grafana(可视化）
- 1. 安装(8.2.x)
- 3.11 Tools（软件工具）
- 3.11.1 基准测试
- 1. 基准测试方法论
- 2. 压测工具 - Siege
- 3. 压测工具 - http_load
- 3.12 DB（关系型数据库）
- 3.12.1 MySQL（关系数据库）
- 1. MySQL部署
- 1-1 MySQL-5.7部署
- 1-2 Percona-5.7 + TokuDB 部署
- 2. MySQL复制
- 2-1 MySQL异步复制
- 3. MySQL备份恢复
- 3-1 xtrabackup 备份恢复
- 4. MySQL 高可用
- 4-1 MHA（HA）
- 4-1-1 MHA 架构介绍和原理
- 4-1-2 MHA日常管理
- 4-1-3 MHA 自动Failover
- 4-1-4 MHA常用参数
- 4-1-5 MHA 报错
- 4-1-6 MHA相关配置文件和脚本
- 4-2 MyCAT
- 4-2-1 MyCAT 介绍和部署
- 4-1-3 MyCAT读写分离案例解析
- 5. MySQL 常用脚本
- 5-1 MySQL常用统计语句
- 5-2 MySQL性能分析脚本
- 6. MySQL 日常及故障处理
- 6-1 MySQL死锁排查
- 6-2 复制故障
- 6-3 MySQL 升级注意事项
- 6-3 MySQL授权
- 3.12.2 Oracle（关系数据库）
- 1. Oracle部署
- 1-1 Oracle11g单实例部署
- 1-2 Oracle12c单实例部署
- 2. Oracle常用脚本
- 3. Oracle 知识点
- 六、Ansible开源项目
- 6.1 项目初始化手册
- 6.1.1 Ansible错误处理
- 6.1.2 一种预先判断是否操作的方法
- 6.2 System初始化
- 6.3 Nginx/Tnginx部署
- 6.4 Python部署
- 6.5 PHP部署
- 6.6 MySQL部署
- 6.7 Docker部署
- 6.8 Haproxy部署
- 6.9 Redis部署
- 1. 变量和tags信息
- 3. Redis主从部署
- 4. Redis集群部署
- 5. 清理数据
- 6.10 Software软件部署
- 6.11 Zabbix部署
- 6.12 Elastic部署
- 6.13 Tomcat
- 6.14 Kafka部署
- 6.15 Zookeeper部署
- 6.16 Etcd集群部署
- 6.17 M3DB部署
- 6.18 Pormetheus部署
- 七、学习资源推荐
- 八、从瞎搞到放弃
- 8.1 CodeQL(语义代码分析引擎）
- 8.1.1 背景及计划
- 8.1.2 CodeQL概述
- 8.1.3 简单部署和使用
- 8.1.4 后续
- 8.2 dbdeployer(轻松部署MySQL)
- 归档笔记
- 三、常用服务部署（迁移中）
- 3.4 Nginx & PHP（Web服务）
- 3.4.1 Nginx（Web）
- 1. Nginx基础和部署
- 2. Nginx 我的一些思考
- 3. Nginx（Web）配置
- 4. Nginx（Proxy）配置
- 5. Nginx日常管理
- 3.4.3 PHP
- 1. PHP 7.1 部署
- 2. PHP5.6 部署
- 4. PHP原理
- 5. PHP 常用模块
- 二、运维项目实战（迁移中）
- 2.1 标准化 & 工具化项目
- 2.1.1 系统部署和优化
- 2.1.5 全网日志收集展示平台项目
- 1. 项目需求
- 2. 整体方案规划
- 3. 日志收集配置
- 4. 消息缓冲队列
- 5. 日志处理转发
- 6. 日志数据展示（待补充）
- 7. ELK安全配置（上）
- 8. ELK安全配置（下）
- 9. 项目总结
- 2.2 高性能Web项目
- 2.2.1 网站需求（完善中）