### 本节讲解内容如下
1.Search Guard的权限设置
2.searchguard索引的管理
3.Kibana、Logstash的设置
#### Search Guard的基本原理
Search Guard的基本组成
- 用户
- 角色
- 权限（权限组）
- 全局配置
#### 配置文件（权限管理）
这里我饶了很久才明白相互之间的关系，最难的就是角色、用户和权限的关系
- ##### sg_internal_users.yml（重点）
定义用户名、密码、**所属角色**，如果没有LDAP等外部外部身份验证系统，则使用此数据库
注意，该文件中的role不是定义用户和权限的关系，是给这个用户定义一个角色，可以理解为把这个用户划分到了某个部门（分组）里
用户和权限的定义是在sg_roles_mapping.yml中，一个用户可以有多个角色（读角色，写角色）
- ##### sg_roles_mapping.yml(重点)
作用一、为某个用户指定权限，这类用户一般就是需要定制权限（比如只能访问某个索引）
作用二、为某个角色（分组）指定权限，ELKStack权威指南中（第二版）中，定义基层角色
- ##### sg_roles.yml
设置权限名称及该名称所设置权限，引用sg_action_groups.yml中设置的权限分组
- ##### sg_action_groups.yml
定义权限组，多个权限组成一个权限分组
- ##### sg_config.yml
全局设置（我没有配置）
##### 脚本
sgadmin.sh
```shell
创建和更新searchguard索引片的配置
```
hash.sh
```shell
生成加密逻辑用户（登录ES和Kibana）的密码
用法 hash.sh -p 123456
```
install_demo_configuration.sh
```shell
生成Demo数据，不推荐使用
```
#### 默认用户
默认已经有了用户和权限配置，都是弱口令，将Example的数据全部删除，保留测试用户，出于演示目的，下面这些用户先统一设置 JnKtaCb1zKdr13I7，生产请自行修改
|Username|Password|Description|
| :------------: | :------------: | ------------|
|admin|admin|Full access to the cluster and all indices, but no access to the Search Guard configuration. Use an admin certificate for that.|
|kibanaserver|kibanaserver|Internal Kibana server user, for configuring elasticsearch.username and elasticsearch.passwordin kibana.yml. Has all permissions on the .kibana index.|
|kibanaro|kibanaro|Regular Kibana user, has READ access to all indices and all permissions on the .kibana index.|
|logstash|logstash|Logstash and Beats user, has CRUD and CREATE_INDEXpermissions on all logstash and beats indices|
|readall|readall|Has read access to all indices|
##### 默认权限
|Role name|Description|
| :------------: | ------------ |
|sg_all_access|All cluster permissions and all index permissions on all indices|
|sg_readall|Read permissions on all indices, but no write permissions|
|sg_readonly_and_monitor|Read and monitor permissions on all indices, but no write permissions|
|sg_kibana_server|Role for the internal Kibana server user, please refer to the Kibana setup chapter for explanation|
|sg_kibana|Role for regular Kibana users, full access to the .kibana index and read permissions on all other indices.|
|sg_logstash|Role for logstash and beats users, grants full access to all logstash and beats indices.|
|sg_manage_snapshots|Grants full permissions on snapshots and repositories.|
|sg_own_index|Grants full permissions on an index named after the authenticated user’s username.|
|sg_monitor|Role for X-Pack Monitoring. Users who wish to use X-Pack Monitoring need this role in addition to the sg_kibana role|
|sg_alerting|Role for X-Pack Alerting. Users who wish to use X-Pack Alerting need this role in addition to the sg_kibana role|
#### 修改默认密码，并新建用户
##### 自定义用户
|Username|Password|Description|
| :------------: | :------------: | ------------|
|dinghe|VpsnrgU5mrvQFLtK|只可以查看logstash-iislog的索引片|
生成强密码
```shell
#生成默认用户密码
sh /usr/share/elasticsearch/plugins/search-guard-5/tools/hash.sh -p JnKtaCb1zKdr13I7
$2a$12$HOTSUMRfL1FBa68Z8opIQu.J43GlOoWZ1lu14hACRZkcc.TsRGatu
#生成自定义用户密码
sh /usr/share/elasticsearch/plugins/search-guard-5/tools/hash.sh -p VpsnrgU5mrvQFLtK
$2a$12$gWI0A0YZYY56Gccl5Cv1KOcpNrSodyCKgvDtxAN9N09iBE8d7guwG
```
修改sg_internal_users.yml，并设置dinghe的角色为ops
```shell
admin:
hash: $2a$12$HOTSUMRfL1FBa68Z8opIQu.J43GlOoWZ1lu14hACRZkcc.TsRGatu
logstash:
hash: $2a$12$HOTSUMRfL1FBa68Z8opIQu.J43GlOoWZ1lu14hACRZkcc.TsRGatu
kibanaserver:
hash: $2a$12$HOTSUMRfL1FBa68Z8opIQu.J43GlOoWZ1lu14hACRZkcc.TsRGatu
kibanaro:
hash: $2a$12$HOTSUMRfL1FBa68Z8opIQu.J43GlOoWZ1lu14hACRZkcc.TsRGatu
roles:
- kibanarole
readall:
hash: $2a$12$HOTSUMRfL1FBa68Z8opIQu.J43GlOoWZ1lu14hACRZkcc.TsRGatu
dinghe:
hash:$2a$12$gWI0A0YZYY56Gccl5Cv1KOcpNrSodyCKgvDtxAN9N09iBE8d7guwG
roles:
- ops
```
关于admin用户的权限这里多说一下，虽然是admin，对索引有全部控制权限，虽然他可以删除searchguard索引分片，但是，不可以维护和修改searchguard索引内的数据。
##### 为不同规则名称配置权限sg_roles.yml
添加需要的权限
```yaml
sg_kibana_iisindex:
cluster:
- CLUSTER_COMPOSITE_OPS_RO
indices:
'logstash-iislog-*':
'*':
- READ
- indices:admin/mappings/fields/get*
'?kibana':
'*':
- INDICES_ALL
```
由于Elasticsearch内部原理复杂，所以我现在还是先设置的比较宽，比如默认给出的readall权限，就可以给查看用户使用，后期了解Elasticsearch后，再来补充。
##### 修改sg_roles_mapping.yml
删除Example，增加
```shell
#sg_own_index:
# users:
# - '*'
sg_kibana_iisindex:
backendroles:
- ops
#sg_kibana_iisindex:
# user:
# -dinghe
```
上文两种授权方式均可，自行理解一下
sg_own_index我认为权限很大，注释掉
##### (示例)设置分组权限sg_action_groups.yml
这个只是一个示例，仅供参考，由于还不是很理解Elasticsearch的内部原理和操作，就先不设置了。
```shell
KIBANA_SERVER:
- "indices:admin/exists*"
- "indices:admin/mapping/put*"
- "indices:admin/mappings/fields/get*"
- "indices:admin/refresh*"
- "indices:admin/validate/query*"
- "indices:data/read/get*"
- "indices:data/read/mget*"
- "indices:data/read/field_caps"
- "indices:data/read/search*"
- "indices:data/write/delete*"
- "indices:data/write/index*"
- "indices:data/write/update*"
```
sg_roles.yml
```yaml
sg_kibana:
cluster:
- CLUSTER_COMPOSITE_OPS_RO
indices:
'*':
'*':
- READ
'?kibana':
'*':
- KIBANA_SERVER
```
Elasticsearch并不公布所有权限的更新列表了。最后一个已知的发布列表是[shield 2.1](https://www.elastic.co/guide/en/shield/2.1/reference.html#ref-actions-list "shield 2.1")
##### 修改后，更新searchguard索引分片
```shell
sh /usr/share/elasticsearch/plugins/search-guard-5/tools/sgadmin.sh -h 192.168.0.230 -p 9300 -tspass siCPVLDYN2BwuYKo -kspass CNByuENniEtkHRfs -cd /usr/share/elasticsearch/plugins/search-guard-5/sgconfig -ks /etc/elasticsearch/admin-keystore.jks -ts /etc/elasticsearch/truststore.jks -nhnv -cn es-cluster
```
#### 配置Logstash
```yaml
output {
if [type] == "iislog" {
elasticsearch {
hosts => ["192.168.0.231:9200"]
index => "logstash-iislog-%{+YYYY.MM.dd}"
user => "logstash"
password => "JnKtaCb1zKdr13I7"
}
}
}
```
配置后，可以测试写入了
#### 配置Kibana
```yaml
elasticsearch.url: "http://192.168.0.230:9200"
elasticsearch.username: "kibanaserver"
elasticsearch.password: "JnKtaCb1zKdr13I7"
```
[Kibana用户相关信息](http://floragunncom.github.io/search-guard-docs/kibana.html "Kibana用户相关")
这里要多说两句了，这里配置了kibanaserver用户，Kibana并没有用户登录验证功能，这个用户是Search Guard内置的用户，是为了你可以正常使用kibana前端的功能。
##### 为Kibana增加用户登录功能
[search-guard-kibana-plugin对应版本下载](https://github.com/floragunncom/search-guard-kibana-plugin/releases)
```shell
/usr/share/kibana/bin/kibana-plugin install file:///opt/searchguard-kibana-5.6.4-5.zip
```
安装完成后，重启Kibana，就能够实现用户登录功能了，如果ES集群不被Search Guard所保护，Kibana将无法登陆ES集群
### 总结
截至到现在，Search Guard已经初步部署完成，通过2天的研究，主要还是在于原理的理解，配置上比较简单
#### 后续可研究的东西
1. Kibana和Logstash，使用SSL/TLS加密与ES之间的通讯
2. 备份和恢复
3. Search Guard对性能的影响
4. Kibana多租户 search-guard-module-kibana-multitenancy
5. 关联LDAP
- 献给乐于奉献的你
- 一、工作感悟
- 1.1 工作感悟
- 1.2 数据库工作总结
- 二、运维专题（非技术）
- 2.1 公有云运维
- 2.1.1 阿里云采坑记.md
- 三、运维专题（技术类）
- 3.1 Linux（操作系统）
- 3.1.1 常见工作总结
- 3.1.2 常见服务使用和部署
- 3.1.3 操作系统优化
- 3.1.4 常用命令（Centos8）
- 3.2 Docker & K8s（容器技术）
- 3.2.1 Docker
- 1. Docker
- 1-1 容器基础
- 1-2 部署和加速
- 1-3 常用命令
- 1-4 Dockerfile编写
- 1-5 容器网络
- 1-6 数据持久化
- 2. docker-compose
- 2-1 基础
- 3.2.2 kubernetes
- 1. 导读-请先看我
- 2. kubeadm部署集群
- 1-1 k8s-1.14-基于calico
- 1-2 k8s-1.17-基于flanne
- 3. 二进制部署集群
- 4. 日常工作及故障处理
- 4-1 常用命令
- 4-2 故障处理
- 3.2.3 依赖服务部署
- 1. Harbor（镜像仓库）
- 1-1 harbor-2.1.0（单节点）
- 3.3 CICD（持续集成/部署）
- 3.3.1 GitLab
- 1. 服务部署
- 1-1 Gitlab-CE-13.3.4（单节点）
- 2. Git基础
- 3.3.2 Ansible
- 1. 服务部署
- 1-2 ansible-2.5（pip部署）
- 3. ansible-playbook
- 3-1 基于Roles的Playbook
- 3-3 循环语法
- 3.3.3 Jnekins
- 1. Jenkins部署
- 1-1 Jenkins-2.65部署
- 1-2 Jenkins-2.249部署
- 2. Jenkins项目初始化
- 3. Jenkins集成
- 3-1 Jenkins-2.65集成Sonar
- 3.4 LB/HA（负载均衡，反向代理）
- 3.4.1 LVS+Keepalive
- 1. LVS为MySQL读提供负载均衡
- 3.4.2 Pacemaker(HA)
- 1. 常用命令(转)
- 3.5 Runtime（代码运行环境）
- 3.5.1 Tomcat（Web中间件）
- 1. Tomcat部署手册
- 1-1 Tomcat-7.0.76部署
- 2. Tomcat常用脚本
- 3.6 NoSQL（非关系型数据库）
- 3.6.1 redis（非关系数据库）
- 1. Redis 基础
- 2. Redis 4.0变化
- 3. Codis实现Redis的集群
- 4. Redis故障处理
- 5. redis安全第一步
- 6. Redis集群搭建
- 7. CacheCloud部署
- 3.6.1 Redis挑战
- 3.6.2 MongoDB（文档数据库）
- 1. Mongodb基础
- 1-1 Mongodb4.0新特性
- 1-2 支持多大数据量
- 2. Mongodb安装
- 2-1 Mac OS安装Mongodb
- 2-2 Yum安装Mongodb
- 2-3 二进制安装Mongodb
- 2-4 docker容器安装Mongodb
- 2-5 Mongodb 配置文件详解
- 2-6 Mongodb 生产安全清单
- 2-7 用户身份认证和授权
- 3. Mongodb副本集
- 3-1 副本集搭建
- 3-2 用户身份认证与授权
- 4. 日常维护工作
- 4-1 Mongodb磁盘回收
- 4-2 Mongodb备份恢复到任意时间点
- 4-3 Mongodb慢查询分析
- 4-4 Mongodb版本升级
- 4-5 Mongodb副本集成员状态
- 4-6 Mongodb备份恢复工具使用
- 4-7 Mongodb服务启动和停止
- 4-8 修改副本集成员oplog大小
- 4-9 Mongodb 副本集Oplog
- 3.7 MQ（消息队列）
- 3.7.1 Zookeeper（分布式协调系统）
- 1. ZooKeeper基础
- 2. ZooKeeper集群搭建
- 2-1 ZK-3.4.10部署
- 3.2 RabbitMQ（消息队列）
- 1. 服务部署
- 1-1 RabbitMQ-3.8部署
- 2. 常用命令
- 3.8 Monitor（数据收集，监控）
- 3.8.1 Zabbix（运维监控）
- 1. 服务部署
- 1-1 服务端部署
- 1-2 客户端部署
- 2. 监控服务
- 2-1 监控Apache
- 2-2 监控IIS
- 2-3 监控Ningx
- 2-4 监控Tomcat(6/7/8)
- 2-5 监控WebSphere 7
- 2-6 监控MySQL
- 2-7 监控Oracle
- 2-8 监控SQL Servre
- 2-9 监控Weblogic
- 2-10 监控Windows
- 2-11 自定义监控项
- 3. 告警推送
- 3-1 邮件告警
- 3-2 短信告警
- 3-3 告警推到Syslog
- 4. 日常工作
- 4-1 数据库优化（TokuDB）
- 4-2 数据库优化（分区表）
- 4-3 前端定制（Grafana）
- 5. 与Grafana结合
- 3.8.2 ELKBstack（日志收集展示）
- 1. 服务部署
- 1-1 ELK 5.5部署及配置
- 1-1-1 ELKBstack介绍
- 1-1-2 Elasticsearch部署
- 1-1-3 Logstash部署
- 1-1-4 Kibana部署
- 1-1-5 X-pack部署
- 1-1-6 Filebeat部署
- 2. ELK高级配置
- 1. Elasticsearch实战
- 2. Logstash实战
- 3. Filebeat实战
- 5. 引入队列
- 3.9 Virtualization（虚拟化）
- 3.10 Basic（基础服务）
- 3.10.1 Piwik-Matomo（用户行为分析）
- 1. Piwik前期分析
- 2. Piwik介绍和部署
- 2-1 Piwik-3.x版本（早期）
- 3. Piwik 功能配置
- 4. Piwik 模拟数据和压测
- 5. Piwik运转原理
- 6. Piwik数据库模式（一）
- 6-1 第一部分
- 6-2 第二部分
- 3.10.2 Cobbler（系统自动部署）
- 1. Cobbler 可以干什么？
- 2. Cobbler 基础原理
- 3. Cobbler 安装
- 3-1 Cobbler-2.8部署
- 4. Cobbler 基础配置
- 5. Cobbler 配置文件
- 6. 一键优化脚本
- 3.10.3 Rsync（数据同步服务）
- 1. Rsync基础
- 2. 案例：页面部署（服务端拉取）
- 3.10.4 NFS（共享存储）
- 1. NFS部署手册
- 2. 客户端NFS备份脚本
- 3.10.5 Grafana(可视化）
- 1. 安装(8.2.x)
- 3.11 Tools（软件工具）
- 3.11.1 基准测试
- 1. 基准测试方法论
- 2. 压测工具 - Siege
- 3. 压测工具 - http_load
- 3.12 DB（关系型数据库）
- 3.12.1 MySQL（关系数据库）
- 1. MySQL部署
- 1-1 MySQL-5.7部署
- 1-2 Percona-5.7 + TokuDB 部署
- 2. MySQL复制
- 2-1 MySQL异步复制
- 3. MySQL备份恢复
- 3-1 xtrabackup 备份恢复
- 4. MySQL 高可用
- 4-1 MHA（HA）
- 4-1-1 MHA 架构介绍和原理
- 4-1-2 MHA日常管理
- 4-1-3 MHA 自动Failover
- 4-1-4 MHA常用参数
- 4-1-5 MHA 报错
- 4-1-6 MHA相关配置文件和脚本
- 4-2 MyCAT
- 4-2-1 MyCAT 介绍和部署
- 4-1-3 MyCAT读写分离案例解析
- 5. MySQL 常用脚本
- 5-1 MySQL常用统计语句
- 5-2 MySQL性能分析脚本
- 6. MySQL 日常及故障处理
- 6-1 MySQL死锁排查
- 6-2 复制故障
- 6-3 MySQL 升级注意事项
- 6-3 MySQL授权
- 3.12.2 Oracle（关系数据库）
- 1. Oracle部署
- 1-1 Oracle11g单实例部署
- 1-2 Oracle12c单实例部署
- 2. Oracle常用脚本
- 3. Oracle 知识点
- 六、Ansible开源项目
- 6.1 项目初始化手册
- 6.1.1 Ansible错误处理
- 6.1.2 一种预先判断是否操作的方法
- 6.2 System初始化
- 6.3 Nginx/Tnginx部署
- 6.4 Python部署
- 6.5 PHP部署
- 6.6 MySQL部署
- 6.7 Docker部署
- 6.8 Haproxy部署
- 6.9 Redis部署
- 1. 变量和tags信息
- 3. Redis主从部署
- 4. Redis集群部署
- 5. 清理数据
- 6.10 Software软件部署
- 6.11 Zabbix部署
- 6.12 Elastic部署
- 6.13 Tomcat
- 6.14 Kafka部署
- 6.15 Zookeeper部署
- 6.16 Etcd集群部署
- 6.17 M3DB部署
- 6.18 Pormetheus部署
- 七、学习资源推荐
- 八、从瞎搞到放弃
- 8.1 CodeQL(语义代码分析引擎）
- 8.1.1 背景及计划
- 8.1.2 CodeQL概述
- 8.1.3 简单部署和使用
- 8.1.4 后续
- 8.2 dbdeployer(轻松部署MySQL)
- 归档笔记
- 三、常用服务部署（迁移中）
- 3.4 Nginx & PHP（Web服务）
- 3.4.1 Nginx（Web）
- 1. Nginx基础和部署
- 2. Nginx 我的一些思考
- 3. Nginx（Web）配置
- 4. Nginx（Proxy）配置
- 5. Nginx日常管理
- 3.4.3 PHP
- 1. PHP 7.1 部署
- 2. PHP5.6 部署
- 4. PHP原理
- 5. PHP 常用模块
- 二、运维项目实战（迁移中）
- 2.1 标准化 & 工具化项目
- 2.1.1 系统部署和优化
- 2.1.5 全网日志收集展示平台项目
- 1. 项目需求
- 2. 整体方案规划
- 3. 日志收集配置
- 4. 消息缓冲队列
- 5. 日志处理转发
- 6. 日志数据展示（待补充）
- 7. ELK安全配置（上）
- 8. ELK安全配置（下）
- 9. 项目总结
- 2.2 高性能Web项目
- 2.2.1 网站需求（完善中）