4-数据的持久化和共享互连 · linux运维

[TOC] ## 一容器数据持久化和共享方案 ### A.为什么要使用docker数据持久化正常情况下，删除容器，容器中所有的文件也会被删除。所以需要能持久化容器中数据的方法,也就是数据卷 **数据卷(Data Volume)的作用：** 1. 持久化容器运行过程中产生的数据文件 2. 实现多个容器间的文件共享。 3. 实现多个主机间有状态容器的迁移 ### B.docker数据卷的分类在集群环境下,数据卷分为: 1. 单机内容器间的数据持久化和共享 * 数据卷[Data Volume] * 绑定挂载[bind mount] * 容器管理卷[docker managed volume] * 容器卷[volume container] 2. 跨主机容器间的数据持久化和共享 * 使用分布式文件系统(如NFS) * 使用volume driver实现跨主机存储 * Rex-Ray插件 * [更多官方插件](https://docs.docker.com/engine/extend/legacy_plugins/#volume-plugins) ### C.容器间互连的方式容器互联大体有以下三种方式： * 基于volume的互联 * 基于link的互联 * 基于网络的互联 > 其中基于网络的互连会在网络部分单独写,基于volume的互连和基于link的互连会在本节详细说明 ## 二数据卷的使用详情数据卷[Data Volume]就是将宿主机中的一个文件或目录挂载到容器中,供容器使用,分为绑定卷[bind mount]和容器管理卷[docker managed volume],区别是 | 区别点 | bind mount | docker managed volume | | --- | --- | --- | | volume 位置 | 可任意指定 | /var/lib/docker/volumes/... | | 对已有mount point 影响 | 隐藏并替换为 volume | 原有数据复制到 volume | | 是否支持单个文件 | 支持 | 不支持，只能是目录 | | 权限控制 | 可设置为只读，默认为读写权限 | 无控制，均为读写权限 | | 移植性 | 移植性弱，与 host path 绑定 | 移植性强，无需指定 host 目录 | ### A.常见的docker数据卷命令 * 创建一个数据卷 `docker volume create xxx` * 查看数据卷列表 `docker volume ls ` * 删除一个数据卷 `docker volume rm ` * 查看一个数据卷的属性 `docker volume inspect ` ### B.`-v`参数挂载数据卷的语法 1. 挂载数据卷语法 ` -v 挂载源:挂载目的[:其他选项] ` * 使用举例: ` docker run -d -p 80:80 -v /data/test/:/usr/share/nginx/html nginx` >其他选项一般只有一个`ro`只读选项常用,不举例了 2. -v参数用法详解 | `-v`参数所跟选项 | 举例 | 导致的结果 | | --- | --- | --- | | A:不跟任何选项 | -v | 根据创建镜像的dockerfiled的配置进行挂载 | | B:只写一个目录 | -v /data | 表示只有挂载目的,会自动创建挂载源 | | C:源目都有[四种] | -v xxx:/test | 又如下分四种情况 | | C1:源目都是目录 | -v /data/:/test | 将主机的data目录挂载到容器的test目录 | | C2:源目都是文件 | -v ~/f.txt:/test/b.txt | 用主机文件f.txt文件替代容器b.txt文件 | | C3:源是容器管理卷[已建] | -v noah:/test | 挂载容器管理卷noah为容器目录/test | | C4:源是容器管理卷[未建] | -v noah:/test | 创建并挂载容器管理卷,并用容器目录中的数据初始化容器管理卷 | ### C.绑定挂载[bind mount]的使用先创建好一个目录和里面的测试文件,然后创建实例的时候,直接加参数挂载到相应的目录即可 1. **准备数据** ```sh mkdir -p /data/test/ echo 'this is test ----------> bind mount' >/data/test/index.html ``` 2. **创建`bind mount`的容器** ```sh docker run -d -p 80:80 -v /data/test/:/usr/share/nginx/html nginx ``` 3. **验证结果** ```sh [root@docker01 ~]# curl 127.0.0.1 this is test ----------> bind mount [root@docker01 ~]# echo 'this is new change pag' >/data/test/index.html [root@docker01 ~]# curl 127.0.0.1 this is new change pag #可见已经将目录成功挂载到容器中,并且可以实时更新 ``` 4. **用`inspect `查看镜像信息** ```sh [root@docker01 ~]# docker container inspect 9c5e35343873|grep -A 4 Mounts "Mounts": [ { "Type": "bind", "Source": "/data/test", "Destination": "/usr/share/nginx/html", ``` ### D.容器管理卷[docker managed volume]的使用 1. 手动创建卷"noah-v1"并写入文件 ``` docker volume create noah-v1 echo 'this is noah-v1 vol' >/var/lib/docker/volumes/noah-v1/_data/index.html ``` 2. 分别用三种方式创建含容器管理卷的容器 ```sh docker run -d -p 180:80 -v /usr/share/nginx/html nginx docker run -d -p 280:80 -v noah:/usr/share/nginx/html nginx docker run -d -p 380:80 -v noah-v1:/usr/share/nginx/html nginx [root@docker01 ~]# curl 127.0.0.1:380 this is noah-v1 vol [root@docker01 ~]# docker volume ls DRIVER VOLUME NAME local 95b29d4a729017510df9fdc1753ebeb117a7464c24af9657913130c7e6ef2f01 local noah local noah-v1 ``` >针对第一条命令,未指定挂载源时,自动创建一个卷 >针对第二条命令,指定的挂载源不存在时,自动创建卷并命名 >针对第三条命令,指定的挂载源存在时,直接挂载该卷 3. 分别curl三个端口看结果 ``` [root@docker01 ~]# curl 127.0.0.1:180 ...... [root@docker01 ~]# curl 127.0.0.1:280 ...... [root@docker01 ~]# curl 127.0.0.1:380 this is noah-v1 vol ``` ## 四容器卷[volume container]的使用详情 volume container 是专门为其他容器提供 volume 的容器。它提供的卷可以是 bind mount，也可以是 docker managed volume。 ### A.volume container 的特点： 1. **实现了容器与 host 的解耦** 与 bind mount 相比，不必为每一个容器指定 host path，所有 path 都在 volume container 中定义好了，容器只需与 volume container 关联。 2. 有利于配置的规范和标准化使用 volume container 的容器其 mount point 是一致的，有利于配置的规范和标准化，但也带来一定的局限，使用时需要综合考虑。 ### B. 容器卷实操演示创建一个名为`vc_data`的容器, mount 了1个`docker managed volume`,其他容器可以通过`--volumes-from`使用`vc_data`这个 volume container： >注意这里执行的是`docker create`命令，这是因为 volume container 的作用只是提供数据，它本身不需要处于运行状态。 1. 创建容器卷容器 ```sh docker volume create noah-v2 echo 'this is noah-v2 vol' >/var/lib/docker/volumes/noah-v2/_data/index.html docker create --name vc_data -v noah-v2:/usr/share/nginx/html busybox ``` 2. 通过`docker inspect`可以查看到信息 ```sh [root@docker01 ~]# docker inspect vc_data |grep -A 4 Mounts "Mounts": [ { "Type": "volume", "Name": "noah-v2", "Source": "/var/lib/docker/volumes/noah-v2/_data", ``` 3. 其他容器挂载`vc_data` ```sh docker run -d -p 801:80 --volumes-from vc_data nginx docker run -d -p 802:80 --volumes-from vc_data nginx ``` 4. 查看结果验证 ```sh [root@docker01 ~]# curl 127.0.0.1:801 this is noah-v2 vol [root@docker01 ~]# curl 127.0.0.1:802 this is noah-v2 vol ``` 5. 修改数据验证共享 ```sh echo 'change data info is now' >/var/lib/docker/volumes/noah-v2/_data/index.html [root@docker01 ~]# curl 127.0.0.1:801 change data info is now [root@docker01 ~]# curl 127.0.0.1:802 change data info is now ``` 可见，两个容器已经成功共享了 volume container 中的 volume。 ## 五 volume的备份和恢复 ### A. 备份和恢复 volume 实际上是 host 文件系统中的目录和文件，而我们所有的本地镜像都存在 host 指定目录的 1. 无私有registry时,在`/var/lib/docker/volumes/`目录 2. 有私有registry时,在registry创建时指定的目录我们要做的就是定期备份这个目录,如果数据损坏了，直接用之前备份的数据拷贝到对应目录就可以了。 ### B. 仓库迁移如果我们想使用更新版本的 Registry，这就涉及到数据迁移，步骤是： 1. docker stop 停止当前 Registry 容器。 2. 启动新版本容器并 mount 原有 volume。 `docker run -d -p 5000:5000 -v /myregistry:/var/lib/registry registry:latest ` 当然，在启用新容器前要确保新版本的默认数据路径是否发生变化。 ### C. 销毁 docker 不会销毁 bind mount，删除数据的工作只能由 host 负责。对于 docker managed volume，在删除容器时可以带上 -v 参数，会将容器使用到的 volume 一并删除(前提是没有其他容器 mount 该 volume) 如果删除容器时没有带 -v ,就会产生孤儿 volume，对于孤儿volume: 1. 用 `docker managed volume` 进行维护。 2. 删除孤儿volume `docker volume rm` . 3. 批量删除孤儿 volume，`docker volume rm $(docker volume ls -q)` ## 六 link连接容器进行互连 ### A. link基本功能演示 `--link`参数格式为`--link name:alias`,其中name是要链接的容器名称，alias是这个连接的别名。 Docker通过**环境变量**和**更新/etc/hosts文件**两种方式为容器公开连接信息 1. 用link方式创建容器 ```sh docker run -d --name web01 -e DBNAME=demo nginx:latest docker run -it --link web01:test01 centos:6.9 ``` 2. 在test01容器中验证 ```sh [root@142f76fd54d1 /]# curl -sL -w "%{http_code}\n" web01 -o /dev/null 200 ``` 3. 查看hosts文件和env环境变量 ```sh [root@142f76fd54d1 /]# tail -2 /etc/hosts 172.17.0.2 test01 a641de6f2ea3 web01 172.17.0.3 142f76fd54d1 [root@142f76fd54d1 /]# env|grep DBNAME TEST01_ENV_DBNAME=demo ``` ### B. link方式快速部署zabbix 通过用容器方式快速部署zabbix的案例,来说明link在实际使用中的应用 ```sh docker run --name mysql-server -t \ -e MYSQL_DATABASE="zabbix" \ -e MYSQL_USER="zabbix" \ -e MYSQL_PASSWORD="zabbix_pwd" \ -e MYSQL_ROOT_PASSWORD="root_pwd" \ -d mysql:5.7 \ --character-set-server=utf8 --collation-server=utf8_bin docker run --name zabbix-java-gateway -t \ -d zabbix/zabbix-java-gateway:latest docker run --name zabbix-server-mysql -t \ -e DB_SERVER_HOST="mysql-server" \ -e MYSQL_DATABASE="zabbix" \ -e MYSQL_USER="zabbix" \ -e MYSQL_PASSWORD="zabbix_pwd" \ -e MYSQL_ROOT_PASSWORD="root_pwd" \ -e ZBX_JAVAGATEWAY="zabbix-java-gateway" \ --link mysql-server:mysql \ --link zabbix-java-gateway:zabbix-java-gateway \ -p 10051:10051 \ -d zabbix/zabbix-server-mysql:latest docker run --name zabbix-web-nginx-mysql -t \ -e DB_SERVER_HOST="mysql-server" \ -e MYSQL_DATABASE="zabbix" \ -e MYSQL_USER="zabbix" \ -e MYSQL_PASSWORD="zabbix_pwd" \ -e MYSQL_ROOT_PASSWORD="root_pwd" \ --link mysql-server:mysql \ --link zabbix-server-mysql:zabbix-server \ -p 80:80 \ -d zabbix/zabbix-web-nginx-mysql:latest ```