### Mongodb的导出mongodump和mongorestore导入工具结合使用。可以用于数据库的备份和还原。
mongodump是用于创建数据库内容的二进制导出的实用程序。
mongodump可以从mongod或mongos实例中导出数据;即可以从独立,副本集和分片群集部署中导出数据。
为了避免影响线上的业务,我们才使用mongodup工具时,尽可能在副本集的从节点或者延迟节点执行操作。
>mongodump和mongorestore不能成为正在进行分片事务的4.2分片群集的备份策略的一部分,因为用mongodump创建的备份不能保持跨分片事务的原子性保证。
```
官网也强调:
对于具有正在进行的分片事务的4.2分片群集,请使用以下协调的备份和还原过程之一,该过程确实维护了跨分片事务的原子性保证:
MongoDB Atlas,
MongoDB Cloud Manager, or
MongoDB Ops Manager.
```
### 1、可以使用mongodump --help 查看帮助文档使用方法。
只要我们安装了mongodb服务,就能够使用mongodump命令,
#### 1.1、备份整个实例:
>mongodump -h IP:Port -o 导出到目录
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongodump -h 192.168.6.17:27020 -o dump/
2020-05-27T10:49:21.610+0800 writing admin.system.version to
2020-05-27T10:49:21.610+0800 done dumping admin.system.version (1 document)
2020-05-27T10:49:21.611+0800 writing test_haijiao.user_file to
2020-05-27T10:49:21.611+0800 writing test_jia.user_info to
2020-05-27T10:49:21.611+0800 done dumping test_jia.user_info (2 documents)
2020-05-27T10:49:21.611+0800 done dumping test_haijiao.user_file (1 document)
```
#### 1.2、备份单个数据库:
>mongodump -h IP:Port -d 数据库名 -o 导出到目录
```
[root@VM_6_17_centos conf]# /root/mongodb-4.2.1/bin/mongodump -h 192.168.6.17:27020 -d test_jia -o dump/
2020-05-27T10:53:11.404+0800 writing test_jia.user_info to
2020-05-27T10:53:11.405+0800 done dumping test_jia.user_info (2 documents)
```
#### 1.3、备份数据库的一张表:
>mongodump -h IP:Port -d 数据库名 -c 集合名 -o 导出到目录
```
[root@VM_6_17_centos conf]# /root/mongodb-4.2.1/bin/mongodump -h 192.168.6.17:27020 -d test_jia -c user_info -o dump/
2020-05-27T10:53:49.162+0800 writing test_jia.user_info to
2020-05-27T10:53:49.162+0800 done dumping test_jia.user_info (2 documents)
```
#### 1.4、备份数据库的一张表并且过滤:
查看表里的数据我们过滤年龄大于30岁的数据
> db.user_info.find()
{ "_id" : ObjectId("5ecdcd0bc6a43453c65e484f"), "name" : "jiahaijiao", "age" : 32 }
{ "_id" : ObjectId("5ecdcde7c6a43453c65e4850"), "name" : "jiahaijiao", "age" : 32 }
{ "_id" : ObjectId("5ecdd6f5bf235c4a69f3b672"), "name" : "zhang", "age" : 30 }
{ "_id" : ObjectId("5ecdd6febf235c4a69f3b673"), "name" : "wang", "age" : 30 }
{ "_id" : ObjectId("5ecdd780bf235c4a69f3b674"), "name" : "li", "age" : 28 }
```
[root@VM_6_17_centos conf]# /root/mongodb-4.2.1/bin/mongodump -h 192.168.6.17:27020 -d test_jia -c user_info -q '{"age":{"$gt": 30}}' -o dump/
2020-05-27T11:18:19.103+0800 writing test_jia.user_info to
2020-05-27T11:18:19.103+0800 done dumping test_jia.user_info (2 documents)
```
#### 1.5、导出单个库的压缩文件:
```
[root@VM_6_17_centos conf]# /root/mongodb-4.2.1/bin/mongodump -h 192.168.6.17:27020 -d test_jia -o dump/ --gzip
2020-05-27T11:19:33.748+0800 writing test_jia.user_info to
2020-05-27T11:19:33.749+0800 done dumping test_jia.user_info (5 documents)
[root@VM_6_17_centos conf]# ll dump/
总用量 4
drwxr-xr-x 2 root root 4096 5月 27 11:19 test_jia
[root@VM_6_17_centos conf]# ll dump/test_jia/
总用量 16
-rw-r--r-- 1 root root 112 5月 27 11:18 user_info.bson
-rw-r--r-- 1 root root 152 5月 27 11:19 user_info.bson.gz
-rw-r--r-- 1 root root 166 5月 27 11:18 user_info.metadata.json
-rw-r--r-- 1 root root 151 5月 27 11:19 user_info.metadata.json.gz
```
#### 1. 6、设置导出集合并发数,加快导出速度
> -j, --numParallelCollections= number of collections to dump in parallel (4 by default) (default: 4) //默导出文档并发4个
```
[root@VM_6_17_centos conf]# /root/mongodb-4.2.1/bin/mongodump -h 192.168.6.17:27020 -d test_jia -o dump/ --gzip -j 6
2020-05-27T11:23:34.568+0800 writing test_jia.user_info to
2020-05-27T11:23:34.569+0800 done dumping test_jia.user_info (5 documents)
[root@VM_6_17_centos conf]#
```
#### 1.7、数据认证管理员备份
数据库开启认证授权以后需要使用用户名和密码,认证数据库参数进行备份。
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongodump -h 192.168.6.17:27020 -u dba -p12387654 -d test_jia -o dump/ --authenticationDatabase=admin
2020-05-27T15:06:51.049+0800 writing test_jia.user_info to
2020-05-27T15:06:51.050+0800 done dumping test_jia.user_info (5 documents)
[root@VM_6_17_centos ~]#
```
### 2、mongorestore
将mongodump生成的备份还原到正在运行的实例
#### 2.1、还原整个实例
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongorestore -h 192.168.6.17:27030 dump/
2020-05-27T15:25:52.968+0800 preparing collections to restore from
2020-05-27T15:25:52.970+0800 reading metadata for test_jia.user_info from dump/test_jia/user_info.metadata.json
2020-05-27T15:25:52.973+0800 reading metadata for test_haijiao.user_file from dump/test_haijiao/user_file.metadata.json
2020-05-27T15:25:52.996+0800 restoring test_jia.user_info from dump/test_jia/user_info.bson
2020-05-27T15:25:52.998+0800 no indexes to restore
2020-05-27T15:25:52.998+0800 finished restoring test_jia.user_info (5 documents, 0 failures)
2020-05-27T15:25:53.007+0800 restoring test_haijiao.user_file from dump/test_haijiao/user_file.bson
2020-05-27T15:25:53.011+0800 no indexes to restore
2020-05-27T15:25:53.011+0800 finished restoring test_haijiao.user_file (1 document, 0 failures)
2020-05-27T15:25:53.011+0800 restoring users from dump/admin/system.users.bson
2020-05-27T15:25:53.078+0800 6 document(s) restored successfully. 0 document(s) failed to restore.
```
[root@VM_6_17_centos ~]#
#### 2.1、还原单个库
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongorestore -h 192.168.6.17:27030 --db test_jia dump/test_jia/
2020-05-27T15:35:06.633+0800 the --db and --collection args should only be used when restoring from a BSON file. Other uses are deprecated and will not exist in the future; use --nsInclude instead
2020-05-27T15:35:06.634+0800 building a list of collections to restore from dump/test_jia dir
2020-05-27T15:35:06.634+0800 reading metadata for test_jia.user_info from dump/test_jia/user_info.metadata.json
2020-05-27T15:35:06.657+0800 restoring test_jia.user_info from dump/test_jia/user_info.bson
2020-05-27T15:35:06.658+0800 no indexes to restore
2020-05-27T15:35:06.658+0800 finished restoring test_jia.user_info (5 documents, 0 failures)
2020-05-27T15:35:06.658+0800 5 document(s) restored successfully. 0 document(s) failed to restore.
```
#### 2.2、还原库的单个表
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongorestore -h 192.168.6.17:27030 --db test_jia -c user_info dump/test_jia/user_hobby.bson
2020-05-27T15:47:52.552+0800 checking for collection data in dump/test_jia/user_hobby.bson
2020-05-27T15:47:52.552+0800 restoring to existing collection test_jia.user_info without dropping
2020-05-27T15:47:52.552+0800 reading metadata for test_jia.user_info from dump/test_jia/user_hobby.metadata.json
2020-05-27T15:47:52.552+0800 restoring test_jia.user_info from dump/test_jia/user_hobby.bson
2020-05-27T15:47:52.613+0800 no indexes to restore
2020-05-27T15:47:52.613+0800 finished restoring test_jia.user_info (1 document, 0 failures)
2020-05-27T15:47:52.613+0800 1 document(s) restored successfully. 0 document(s) failed to restore.
```
#### 2.3、压缩备份文件,还原
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongorestore -h 192.168.6.17:27030 --gzip --db test_jia dump/test_jia/
2020-05-27T15:54:05.013+0800 the --db and --collection args should only be used when restoring from a BSON file. Other uses are deprecated and will not exist in the future; use --nsInclude instead
2020-05-27T15:54:05.013+0800 building a list of collections to restore from dump/test_jia dir
2020-05-27T15:54:05.014+0800 reading metadata for test_jia.user_info from dump/test_jia/user_info.metadata.json.gz
2020-05-27T15:54:05.014+0800 reading metadata for test_jia.user_hobby from dump/test_jia/user_hobby.metadata.json.gz
2020-05-27T15:54:05.038+0800 restoring test_jia.user_info from dump/test_jia/user_info.bson.gz
2020-05-27T15:54:05.041+0800 no indexes to restore
2020-05-27T15:54:05.041+0800 finished restoring test_jia.user_info (5 documents, 0 failures)
2020-05-27T15:54:05.063+0800 restoring test_jia.user_hobby from dump/test_jia/user_hobby.bson.gz
2020-05-27T15:54:05.065+0800 no indexes to restore
2020-05-27T15:54:05.065+0800 finished restoring test_jia.user_hobby (1 document, 0 failures)
2020-05-27T15:54:05.065+0800 6 document(s) restored successfully. 0 document(s) failed to restore.
```
#### 2.4、还原时删除已存在的集合
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongorestore -h 192.168.6.17:27030 --gzip --drop --db test_jia -c user_info dump/test_jia/user_info.bson.gz
2020-05-27T15:57:18.065+0800 checking for collection data in dump/test_jia/user_info.bson.gz
2020-05-27T15:57:18.070+0800 reading metadata for test_jia.user_info from dump/test_jia/user_info.metadata.json.gz
2020-05-27T15:57:18.085+0800 restoring test_jia.user_info from dump/test_jia/user_info.bson.gz
2020-05-27T15:57:18.146+0800 no indexes to restore
2020-05-27T15:57:18.146+0800 finished restoring test_jia.user_info (5 documents, 0 failures)
2020-05-27T15:57:18.146+0800 5 document(s) restored successfully. 0 document(s) failed to restore.
```
#### 2.5、还原设置并行集合数
默认并行集合数为4,我们可以设置该参数
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongorestore -h 192.168.6.17:27030 --gzip --drop dump/ -j 6
2020-05-27T16:15:17.370+0800 preparing collections to restore from
2020-05-27T16:15:17.375+0800 reading metadata for test_jia.user_info from dump/test_jia/user_info.metadata.json.gz
2020-05-27T16:15:17.379+0800 reading metadata for test_jia.user_hobby from dump/test_jia/user_hobby.metadata.json.gz
2020-05-27T16:15:17.404+0800 restoring test_jia.user_info from dump/test_jia/user_info.bson.gz
2020-05-27T16:15:17.407+0800 no indexes to restore
2020-05-27T16:15:17.407+0800 finished restoring test_jia.user_info (5 documents, 0 failures)
2020-05-27T16:15:17.412+0800 restoring test_jia.user_hobby from dump/test_jia/user_hobby.bson.gz
2020-05-27T16:15:17.413+0800 no indexes to restore
2020-05-27T16:15:17.413+0800 finished restoring test_jia.user_hobby (1 document, 0 failures)
2020-05-27T16:15:17.413+0800 6 document(s) restored successfully. 0 document(s) failed to restore.
[root@VM_6_17_centos ~]#
```
#### 2.5、开启认证管理员恢复
```
[root@VM_6_17_centos ~]# /root/mongodb-4.2.1/bin/mongorestore -h 192.168.6.17:27030 --gzip --drop --dir dump/ -j 6 -u dba -p12387654 --authenticationDatabase=admin
2020-05-27T16:22:23.883+0800 preparing collections to restore from
2020-05-27T16:22:23.899+0800 reading metadata for test_jia.user_hobby from dump/test_jia/user_hobby.metadata.json.gz
2020-05-27T16:22:23.940+0800 restoring test_jia.user_hobby from dump/test_jia/user_hobby.bson.gz
2020-05-27T16:22:23.941+0800 reading metadata for test_jia.user_info from dump/test_jia/user_info.metadata.json.gz
2020-05-27T16:22:23.942+0800 no indexes to restore
2020-05-27T16:22:23.942+0800 finished restoring test_jia.user_hobby (1 document, 0 failures)
2020-05-27T16:22:23.964+0800 restoring test_jia.user_info from dump/test_jia/user_info.bson.gz
2020-05-27T16:22:23.965+0800 no indexes to restore
2020-05-27T16:22:23.966+0800 finished restoring test_jia.user_info (5 documents, 0 failures)
2020-05-27T16:22:23.966+0800 6 document(s) restored successfully. 0 document(s) failed to restore.
```
在数据量较小的情况下可是使用mongodump进行备份,数据大的情况下可以使用复制集的延迟备份,云服务器的磁盘快照进行备份。
关于增量oplog备份请点击以下链接。
[`Mongodb恢复到任意时间点`](https://blog.51cto.com/jiachen/2486045)
- 献给乐于奉献的你
- 一、工作感悟
- 1.1 工作感悟
- 1.2 数据库工作总结
- 二、运维专题(非技术)
- 2.1 公有云运维
- 2.1.1 阿里云采坑记.md
- 三、运维专题(技术类)
- 3.1 Linux(操作系统)
- 3.1.1 常见工作总结
- 3.1.2 常见服务使用和部署
- 3.1.3 操作系统优化
- 3.1.4 常用命令(Centos8)
- 3.2 Docker & K8s(容器技术)
- 3.2.1 Docker
- 1. Docker
- 1-1 容器基础
- 1-2 部署和加速
- 1-3 常用命令
- 1-4 Dockerfile编写
- 1-5 容器网络
- 1-6 数据持久化
- 2. docker-compose
- 2-1 基础
- 3.2.2 kubernetes
- 1. 导读-请先看我
- 2. kubeadm部署集群
- 1-1 k8s-1.14-基于calico
- 1-2 k8s-1.17-基于flanne
- 3. 二进制部署集群
- 4. 日常工作及故障处理
- 4-1 常用命令
- 4-2 故障处理
- 3.2.3 依赖服务部署
- 1. Harbor(镜像仓库)
- 1-1 harbor-2.1.0(单节点)
- 3.3 CICD(持续集成/部署)
- 3.3.1 GitLab
- 1. 服务部署
- 1-1 Gitlab-CE-13.3.4(单节点)
- 2. Git基础
- 3.3.2 Ansible
- 1. 服务部署
- 1-2 ansible-2.5(pip部署)
- 3. ansible-playbook
- 3-1 基于Roles的Playbook
- 3-3 循环语法
- 3.3.3 Jnekins
- 1. Jenkins部署
- 1-1 Jenkins-2.65部署
- 1-2 Jenkins-2.249部署
- 2. Jenkins项目初始化
- 3. Jenkins集成
- 3-1 Jenkins-2.65集成Sonar
- 3.4 LB/HA(负载均衡,反向代理)
- 3.4.1 LVS+Keepalive
- 1. LVS为MySQL读提供负载均衡
- 3.4.2 Pacemaker(HA)
- 1. 常用命令(转)
- 3.5 Runtime(代码运行环境)
- 3.5.1 Tomcat(Web中间件)
- 1. Tomcat部署手册
- 1-1 Tomcat-7.0.76部署
- 2. Tomcat常用脚本
- 3.6 NoSQL(非关系型数据库)
- 3.6.1 redis(非关系数据库)
- 1. Redis 基础
- 2. Redis 4.0变化
- 3. Codis实现Redis的集群
- 4. Redis故障处理
- 5. redis安全第一步
- 6. Redis集群搭建
- 7. CacheCloud部署
- 3.6.1 Redis挑战
- 3.6.2 MongoDB(文档数据库)
- 1. Mongodb基础
- 1-1 Mongodb4.0新特性
- 1-2 支持多大数据量
- 2. Mongodb安装
- 2-1 Mac OS安装Mongodb
- 2-2 Yum安装Mongodb
- 2-3 二进制安装Mongodb
- 2-4 docker容器安装Mongodb
- 2-5 Mongodb 配置文件详解
- 2-6 Mongodb 生产安全清单
- 2-7 用户身份认证和授权
- 3. Mongodb副本集
- 3-1 副本集搭建
- 3-2 用户身份认证与授权
- 4. 日常维护工作
- 4-1 Mongodb磁盘回收
- 4-2 Mongodb备份恢复到任意时间点
- 4-3 Mongodb慢查询分析
- 4-4 Mongodb版本升级
- 4-5 Mongodb副本集成员状态
- 4-6 Mongodb备份恢复工具使用
- 4-7 Mongodb服务启动和停止
- 4-8 修改副本集成员oplog大小
- 4-9 Mongodb 副本集Oplog
- 3.7 MQ(消息队列)
- 3.7.1 Zookeeper(分布式协调系统)
- 1. ZooKeeper基础
- 2. ZooKeeper集群搭建
- 2-1 ZK-3.4.10部署
- 3.2 RabbitMQ(消息队列)
- 1. 服务部署
- 1-1 RabbitMQ-3.8部署
- 2. 常用命令
- 3.8 Monitor(数据收集,监控)
- 3.8.1 Zabbix(运维监控)
- 1. 服务部署
- 1-1 服务端部署
- 1-2 客户端部署
- 2. 监控服务
- 2-1 监控Apache
- 2-2 监控IIS
- 2-3 监控Ningx
- 2-4 监控Tomcat(6/7/8)
- 2-5 监控WebSphere 7
- 2-6 监控MySQL
- 2-7 监控Oracle
- 2-8 监控SQL Servre
- 2-9 监控Weblogic
- 2-10 监控Windows
- 2-11 自定义监控项
- 3. 告警推送
- 3-1 邮件告警
- 3-2 短信告警
- 3-3 告警推到Syslog
- 4. 日常工作
- 4-1 数据库优化(TokuDB)
- 4-2 数据库优化(分区表)
- 4-3 前端定制(Grafana)
- 5. 与Grafana结合
- 3.8.2 ELKBstack(日志收集展示)
- 1. 服务部署
- 1-1 ELK 5.5部署及配置
- 1-1-1 ELKBstack介绍
- 1-1-2 Elasticsearch部署
- 1-1-3 Logstash部署
- 1-1-4 Kibana部署
- 1-1-5 X-pack部署
- 1-1-6 Filebeat部署
- 2. ELK高级配置
- 1. Elasticsearch实战
- 2. Logstash实战
- 3. Filebeat实战
- 5. 引入队列
- 3.9 Virtualization(虚拟化)
- 3.10 Basic(基础服务)
- 3.10.1 Piwik-Matomo(用户行为分析)
- 1. Piwik前期分析
- 2. Piwik介绍和部署
- 2-1 Piwik-3.x版本(早期)
- 3. Piwik 功能配置
- 4. Piwik 模拟数据和压测
- 5. Piwik运转原理
- 6. Piwik数据库模式(一)
- 6-1 第一部分
- 6-2 第二部分
- 3.10.2 Cobbler(系统自动部署)
- 1. Cobbler 可以干什么?
- 2. Cobbler 基础原理
- 3. Cobbler 安装
- 3-1 Cobbler-2.8部署
- 4. Cobbler 基础配置
- 5. Cobbler 配置文件
- 6. 一键优化脚本
- 3.10.3 Rsync(数据同步服务)
- 1. Rsync基础
- 2. 案例:页面部署(服务端拉取)
- 3.10.4 NFS(共享存储)
- 1. NFS部署手册
- 2. 客户端NFS备份脚本
- 3.10.5 Grafana(可视化)
- 1. 安装(8.2.x)
- 3.11 Tools(软件工具)
- 3.11.1 基准测试
- 1. 基准测试方法论
- 2. 压测工具 - Siege
- 3. 压测工具 - http_load
- 3.12 DB(关系型数据库)
- 3.12.1 MySQL(关系数据库)
- 1. MySQL部署
- 1-1 MySQL-5.7部署
- 1-2 Percona-5.7 + TokuDB 部署
- 2. MySQL复制
- 2-1 MySQL异步复制
- 3. MySQL备份恢复
- 3-1 xtrabackup 备份恢复
- 4. MySQL 高可用
- 4-1 MHA(HA)
- 4-1-1 MHA 架构介绍和原理
- 4-1-2 MHA日常管理
- 4-1-3 MHA 自动Failover
- 4-1-4 MHA常用参数
- 4-1-5 MHA 报错
- 4-1-6 MHA相关配置文件和脚本
- 4-2 MyCAT
- 4-2-1 MyCAT 介绍和部署
- 4-1-3 MyCAT读写分离案例解析
- 5. MySQL 常用脚本
- 5-1 MySQL常用统计语句
- 5-2 MySQL性能分析脚本
- 6. MySQL 日常及故障处理
- 6-1 MySQL死锁排查
- 6-2 复制故障
- 6-3 MySQL 升级注意事项
- 6-3 MySQL授权
- 3.12.2 Oracle(关系数据库)
- 1. Oracle部署
- 1-1 Oracle11g单实例部署
- 1-2 Oracle12c单实例部署
- 2. Oracle常用脚本
- 3. Oracle 知识点
- 六、Ansible开源项目
- 6.1 项目初始化手册
- 6.1.1 Ansible错误处理
- 6.1.2 一种预先判断是否操作的方法
- 6.2 System初始化
- 6.3 Nginx/Tnginx部署
- 6.4 Python部署
- 6.5 PHP部署
- 6.6 MySQL部署
- 6.7 Docker部署
- 6.8 Haproxy部署
- 6.9 Redis部署
- 1. 变量和tags信息
- 3. Redis主从部署
- 4. Redis集群部署
- 5. 清理数据
- 6.10 Software软件部署
- 6.11 Zabbix部署
- 6.12 Elastic部署
- 6.13 Tomcat
- 6.14 Kafka部署
- 6.15 Zookeeper部署
- 6.16 Etcd集群部署
- 6.17 M3DB部署
- 6.18 Pormetheus部署
- 七、学习资源推荐
- 八、从瞎搞到放弃
- 8.1 CodeQL(语义代码分析引擎)
- 8.1.1 背景及计划
- 8.1.2 CodeQL概述
- 8.1.3 简单部署和使用
- 8.1.4 后续
- 8.2 dbdeployer(轻松部署MySQL)
- 归档笔记
- 三、常用服务部署(迁移中)
- 3.4 Nginx & PHP(Web服务)
- 3.4.1 Nginx(Web)
- 1. Nginx基础和部署
- 2. Nginx 我的一些思考
- 3. Nginx(Web)配置
- 4. Nginx(Proxy)配置
- 5. Nginx日常管理
- 3.4.3 PHP
- 1. PHP 7.1 部署
- 2. PHP5.6 部署
- 4. PHP原理
- 5. PHP 常用模块
- 二、运维项目实战(迁移中)
- 2.1 标准化 & 工具化项目
- 2.1.1 系统部署和优化
- 2.1.5 全网日志收集展示平台项目
- 1. 项目需求
- 2. 整体方案规划
- 3. 日志收集配置
- 4. 消息缓冲队列
- 5. 日志处理转发
- 6. 日志数据展示(待补充)
- 7. ELK安全配置(上)
- 8. ELK安全配置(下)
- 9. 项目总结
- 2.2 高性能Web项目
- 2.2.1 网站需求(完善中)