软件存放目录
```
[root@kafka73 elk6]# tree -L 2 /opt/
/opt/
├── elk6
│ ├── all_conf
│ ├── elasticsearch -> elasticsearch-6.1.2/
│ ├── elasticsearch-6.1.2
│ ├── elasticsearch-head
│ ├── elk6_host.txt
│ ├── elk6_install.sh
│ ├── filebeat -> filebeat-6.1.2-linux-x86_64/
│ ├── filebeat-6.1.2-linux-x86_64
│ ├── kibana -> kibana-6.1.2-linux-x86_64
│ ├── kibana-6.1.2-linux-x86_64
│ ├── logstash -> logstash-6.1.2/
│ ├── logstash-6.1.2
│ └── soft
├── jdk -> /opt/jdk1.8.0_151/
└── jdk1.8.0_151
├── bin
├── COPYRIGHT
├── db
├── include
├── javafx-src.zip
├── jre
├── lib
├── LICENSE
├── man
├── README.html
├── release
├── src.zip
├── THIRDPARTYLICENSEREADME-JAVAFX.txt
└── THIRDPARTYLICENSEREADME.txt
20 directories, 10 files
```
安装时候的配置文件目录
```
[root@kafka73 ~]# tree /opt/elk6/all_conf/
/opt/elk6/all_conf/
├── elasticsearch
│ ├── elasticsearch
│ ├── elasticsearch.service
│ └── elasticsearch.yml
├── filebeat
├── kibana
└── logstash
4 directories, 3 files
```
安装包目录
```
[root@kafka73 ~]# tree /opt/elk6/soft/
/opt/elk6/soft/
├── elasticsearch-6.1.2.tar.gz
├── filebeat-6.1.2-linux-x86_64.tar.gz
├── jdk-8u151-linux-x64.tar.gz
├── kibana-6.1.2-linux-x86_64.tar.gz
└── logstash-6.1.2.tar.gz
0 directories, 5 files
```
主机hosts定义
```
[root@kafka73 elk6]# cat elk6_host.txt
192.168.47.70 node1
192.168.47.71 node2
192.168.47.72 node3
192.168.47.73 node4
```
安装脚本
[root@kafka73 elk6]# cat elk6_install.sh
```
#!/bin/bash
#Author:Alaska
#Blog:null
#Time:2018-03-15 17:51:12
#Name:elk6_install.sh
#Version:V1.0
#Description:This is a test script.
#拷贝后的配置文件位置
es_username='elasticsearch'
es_path_dir=/opt/elk6
es_path_data=/data/elk6_data
es_path_init=/etc/init.d/
es_path_systemd=/usr/lib/systemd/system/
es_path_yml=${es_path_dir}/elasticsearch/config/elasticsearch.yml
es_path_head=${es_path_dir}/elasticsearch-head
es_path_hosts=${es_path_dir}/elk6_host.txt
#安装目录里需要拷贝的配置文件
es_all_conf=${es_path_dir}/all_conf/elasticsearch
es_all_init=${es_all_conf}/elasticsearch
es_all_systemd=${es_all_conf}/elasticsearch.service
es_all_yml=${es_all_conf}/elasticsearch.yml
es_ip=$(ifconfig eth0|awk -F"[: ]+" 'NR==2{print $4}')
#读取host里的主机列表并修改配置文件里的hostsname和ip
unset list_ip
unset ip_a
unset ip_b
list_ip=($(awk '{print $1}' ${es_path_hosts}))
list_name=($(awk '{print $2}' ${es_path_hosts}))
list_line=$(cat ${es_path_hosts}|wc -l)
list_num=$((${list_line} -1 ))
es_node_name=$(grep "${es_ip}" ${es_path_hosts}|awk '{print $2}')
es9_list(){
for num in $(seq 0 ${list_num})
do
ip_a=$(echo \"${list_ip[${num}]}\",)
ip_b=$(echo ${ip_b}${ip_a})
done
ip_c=$(echo ${ip_b}|sed -r 's#.$##g')
ip_d=$(sed -ri "/unicast/s#(^.*\[).*(\]$)#\1${ip_c[*]}\2#g" ${es_path_yml} )
echo ${ip_c}
echo ${ip_d}
}
es0_java(){
echo java
cd ${es_path_dir}/soft && tar zxf jdk-8u151-linux-x64.tar.gz -C /opt/
ln -s /opt/jdk1.8.0_151/ /opt/jdk
sed -i.bak '$a export JAVA_HOME=/opt/jdk\nexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH\nexport
. /etc/profile
java -version
}
es1_mkdir(){
mkdir -p ${es_path_data}
mkdir -p ${es_path_systemd}
}
es2_useradd(){
useradd ${es_username}
}
es3_elasticsearch(){
cp -a ${es_all_init} ${es_path_init}
cp -a ${es_all_systemd} ${es_path_systemd}
}
es4_sed(){
sed -i "/network.host/s#192.168.47.70#${es_ip}#g" ${es_path_yml}
}
es5_chown(){
chown -R ${es_username}:${es_username} ${es_path_dir}
chown -R ${es_username}:${es_username} ${es_path_data}
chmod +x ${es_path_init}
}
es6_sysctl(){
echo "vm.max_map_count = 262144" >> /etc/sysctl.conf
sysctl -p
}
es7_start(){
systemctl start elasticsearch
systemctl status elasticsearch
}
es8_head(){
curl -sL https://deb.nodesource.com/setup_9.x |bash -
apt-get install -y nodejs
cd ${es_path_head} && npm run start &
}
main(){
es0_java
es1_mkdir
es2_useradd
es3_elasticsearch
es4_sed
es5_chown
es6_sysctl
es7_start
es8_head
es9_list
}
main
```
针对脚本里./etc/profile不生效可以使用
source elk.sh
来使其生效,当然还有很对不理解的地方
- 运维笔记
- 零: 安装部署篇
- Zabbix
- HAproxy
- Nginx
- Apache
- Tomcat
- Mysql
- Redis
- ELK
- MongoDB
- hadoop
- GIt
- JDK
- Docker
- OpenVPN
- iRedMail
- GitLab
- ESXi
- Jenkins
- NFS
- rsync
- Python
- Keepalived
- 软件打包篇
- 私有仓库篇
- kafka
- zookeeper
- Spark
- Linux基础篇
- 1.1 Linux系统介绍
- 1.3 系统优化
- 1.4 问题总结
- Linux核心命令
- 声明
- 1-文件和目录操作命令
- 1.3 tree: 以树形结构显示目录下的内容
- 2-文件过滤及内容编辑处理命令
- find:查找目录下的文件
- 3-文本处理三剑客
- 4-Linux信息显示与搜索文件命令
- du:统计磁盘空间使用情况
- 5-文件备份与压缩命令
- rsync:文件同步工具
- 6-Linux用户管理及用户信息查询命令
- 7-Linux磁盘与文件系统管理命令
- 8-Linux进程管理命令
- 9-Linux网络管理命令
- 10-Linux系统管理命令
- 11-Linux系统常用内置命令
- 服务相关
- Nginx
- 安装部署
- 文件路径说明
- 服务启动管理
- 配置文件说明
- json格式日志的配置文件
- https代理
- nginx负载均衡代理websocket
- 服务优化
- 维护脚本
- 问题总结
- rewrite带?跳转
- nginx查看默认安装的模块
- HAproxy
- 2.2.1 安装部署
- 2.2.2 文件路径说明
- 2.2.3 服务启动管理
- 2.2.4 配置文件说明
- ha代理websocket
- 2.2.5 集群高可用
- 2.2.6 服务优化
- 2.2.7 维护脚本
- 2.2.8 问题总结
- PHP
- 2.3.1 安装部署
- keepalived
- 配置文件注释
- 配置多组VIP
- Java
- 安装部署java
- ansible部署java
- supervisor
- supervisor安装部署测试
- iptables
- CentOS7安装配置iptables
- pm2相关
- kafka相关
- kafka和zookeeper集群安装部署
- nodejs
- 安装部署nodejs
- sersync
- sersync备份图片服务
- gitlab相关
- gitlab安装部署
- gitlab强制修改密码
- gitlab不同的连接方式
- jenkins相关
- 安装部署jenkins
- python相关
- python虚拟环境
- debian安装pyhton3.6
- Turnserver服务器搭建
- NFS相关
- 固定NFS和rsync端口
- go相关
- 安装go
- maven相关
- debian私有仓库搭建
- 翻墙
- linux下的百度云盘
- 私有网盘owncloud部署
- crontab定时任务
- 数据库相关
- mongodb
- 重用操作命令
- 副本集配置文件
- 慢查询设置
- 数据备份恢复以及数据导入导出
- 从库允许只读设置
- redis
- redis单节点安装部署
- 配置文件注释
- redis分析工具rdbtools使用
- redis数据导入导出集群工具
- redis内存信息解释
- redis警告优化
- PHP会话session保存到redis集群
- redis启动关闭脚本
- elk相关
- elastersearch常用命令
- elasticsearch6所需配置文件
- elasticsearch6的head插件安装
- elk6安装脚本
- filebeat收集php日志多行转换
- filebeat自定义index
- elk-dockercompes配置
- docker部署elk收集runtime日志
- elasticsearch6添加新节点报错
- elasticsearch查看索引
- docker部署es+filebeat+kibana
- mysql相关
- mysql日志
- mysql密码过期
- mysql用户授权访问库
- mysql安装部署
- MariaDB安装部署
- 大数据相关
- hadoop相关
- Ambari2.6离线安装hadoop
- Ambari安装出现的问题
- 检测hadoop当前运行了哪些服务端口脚本
- 监控相关
- CentOS7安装Zabbix3.4
- docker安装zabbix
- 运维脚本
- 根据配置文件检查服务端口运行状态
- nginx日志分析
- ngixn日志合并脚本
- nginx查询关键链接响应时间
- 图片同步脚本
- 批量获取iptables设置的端口然后验证本机端口是否存活
- 按日期统计不同接口的响应时间
- php进程假死状态定时清理
- 运维自动化
- deb打包命令
- ansible相关
- ansible部署
- ansible配置推送
- 编程语言
- 1-SHELL
- 2-Python
- 3-GO
- 有趣的工具
- vim
- 声明
- 第1章: Vim解决问题的方式
- 技巧1-认识 . 命令
- 技巧2-不要自我重复
- 技巧3-以进为退
- 技巧4-执行,重复,回退
- 技巧5-查找并手动替换
- 技巧6-认识 . 范式
- 第2章: 普通模式
- 第3章: 插入模式
- 第4章: 可视模式
- 第5章: 命令行模式
- 第6章: 管理多个文件
- 第7章: 打开及保存文件
- 第8章: 用动作命令在文档中移动
- 第9章: 在文件间跳转
- 第10章: 复制与粘贴
- 第11章: 宏
- 第12章: 按模式匹配及按原义匹配
- 第13章: 查找
- 第14章: 替换
- 第15章: global命令
- 第16章: 通过ctags建立索引并用其浏览源代码
- 第17章: 编译代码并通过Quickfix列表浏览错误信息
- 第18章: 通过grep,vimgrep以及其他工具对整个工程进行查找
- 第19章: 自动补全
- 第20章: 利用Vim的拼写检查器查找并更正拼写错误
- 第21章: 接下来干什么
- 附录A 根据个人喜好定制Vim
- 终端命令记录回放工具
- screen使用
- iftop查看网络流量
- dna螺旋
- shell下的俄罗斯方块
- 正经英语
- 有意思
- 问题记录
- python相关
- pip安装缺少openssl和libssl
- shell相关
- debian下执行数组变量报错
- 服务相关问题
- ububtu安装apache2报错
- php升级mongo拓展插件
- elk节点分片失败
- 操作系统相关问题
- 运维记录
- 数据库相关
- mongo3.4安装以及优化参数脚本
- mongodb版本升级及优化
- redis动态取消rdb保存配置
- 代理负载均衡相关
- haproxy匹配ua规则分离搜索引擎流量
- haproxy不记录某个域名或多个域名的日志
- 其他相关
- ImageMagick升级
- NFS强制卸载挂载
- 命令相关
- curl获取指定域名ip的状态码
- awk相关记录
- rsync传输限速指定ssh端口
- 操作系统相关
- centos使用阿里源
- ubuntu更换国内源
- 查看操作系统版本
- 内核优化
- Centos7修改语言为英文
- debian安装xfs格式化工具
- 查看磁盘信息
- debian的启动管理工具
- debian安装vmtools
- debian重启网卡不生效的解决
- 容器虚拟化
- Docker相关
- dokcer安装
- docker常用命令
- docker简单脚本
- Dockerfile相关
- 带ssh的debian镜像
- deocker创建简单镜像
- 官方文档
- docker-compose安装
- 报错
- docker镜像加速
- k8s相关
- k8s常用命令
- k8s名词解释
- k8s相关的 yaml文件
- VM相关
- 使用VMwareWorkstation批量操作linux虚拟机
- 在windows下使用shell批量操作Vmwarworkstation
- windows下批量操作虚拟机
- ESXI相关
- vsphere网络相关
- 小爱好
- 不方便展示