AOF 持久化功能的实现可以分为命令追加(append)、文件写入、文件同步(sync)三个步骤。
## 命令追加
当 AOF 持久化功能处于打开状态时, 服务器在执行完一个写命令之后, 会以协议格式将被执行的写命令追加到服务器状态的 `aof_buf` 缓冲区的末尾:
~~~
struct redisServer {
// ...
// AOF 缓冲区
sds aof_buf;
// ...
};
~~~
举个例子, 如果客户端向服务器发送以下命令:
~~~
redis> SET KEY VALUE
OK
~~~
那么服务器在执行这个 SET 命令之后, 会将以下协议内容追加到 `aof_buf` 缓冲区的末尾:
~~~
*3\r\n$3\r\nSET\r\n$3\r\nKEY\r\n$5\r\nVALUE\r\n
~~~
又比如说, 如果客户端向服务器发送以下命令:
~~~
redis> RPUSH NUMBERS ONE TWO THREE
(integer) 3
~~~
那么服务器在执行这个 RPUSH 命令之后, 会将以下协议内容追加到 `aof_buf` 缓冲区的末尾:
~~~
*5\r\n$5\r\nRPUSH\r\n$7\r\nNUMBERS\r\n$3\r\nONE\r\n$3\r\nTWO\r\n$5\r\nTHREE\r\n
~~~
以上就是 AOF 持久化的命令追加步骤的实现原理。
## AOF 文件的写入与同步
Redis 的服务器进程就是一个事件循环(loop), 这个循环中的文件事件负责接收客户端的命令请求, 以及向客户端发送命令回复, 而时间事件则负责执行像 `serverCron` 函数这样需要定时运行的函数。
因为服务器在处理文件事件时可能会执行写命令, 使得一些内容被追加到 `aof_buf` 缓冲区里面, 所以在服务器每次结束一个事件循环之前, 它都会调用 `flushAppendOnlyFile` 函数, 考虑是否需要将 `aof_buf` 缓冲区中的内容写入和保存到 AOF 文件里面, 这个过程可以用以下伪代码表示:
~~~
def eventLoop():
while True:
# 处理文件事件,接收命令请求以及发送命令回复
# 处理命令请求时可能会有新内容被追加到 aof_buf 缓冲区中
processFileEvents()
# 处理时间事件
processTimeEvents()
# 考虑是否要将 aof_buf 中的内容写入和保存到 AOF 文件里面
flushAppendOnlyFile()
~~~
`flushAppendOnlyFile` 函数的行为由服务器配置的 `appendfsync` 选项的值来决定, 各个不同值产生的行为如表 TABLE_APPENDFSYNC 所示。
| `appendfsync` 选项的值 | `flushAppendOnlyFile` 函数的行为 |
| --- | --- |
| `always` | 将 `aof_buf` 缓冲区中的所有内容写入并同步到 AOF 文件。 |
| `everysec` | 将 `aof_buf` 缓冲区中的所有内容写入到 AOF 文件, 如果上次同步 AOF 文件的时间距离现在超过一秒钟, 那么再次对 AOF 文件进行同步, 并且这个同步操作是由一个线程专门负责执行的。 |
| `no` | 将 `aof_buf` 缓冲区中的所有内容写入到 AOF 文件, 但并不对 AOF 文件进行同步, 何时同步由操作系统来决定。 |
如果用户没有主动为 `appendfsync` 选项设置值, 那么 `appendfsync` 选项的默认值为 `everysec` , 关于 `appendfsync` 选项的更多信息, 请参考 Redis 项目附带的示例配置文件 `redis.conf` 。
文件的写入和同步
为了提高文件的写入效率, 在现代操作系统中, 当用户调用 `write` 函数, 将一些数据写入到文件的时候, 操作系统通常会将写入数据暂时保存在一个内存缓冲区里面, 等到缓冲区的空间被填满、或者超过了指定的时限之后, 才真正地将缓冲区中的数据写入到磁盘里面。
这种做法虽然提高了效率, 但也为写入数据带来了安全问题, 因为如果计算机发生停机, 那么保存在内存缓冲区里面的写入数据将会丢失。
为此, 系统提供了 `fsync` 和 `fdatasync` 两个同步函数, 它们可以强制让操作系统立即将缓冲区中的数据写入到硬盘里面, 从而确保写入数据的安全性。
举个例子, 假设服务器在处理文件事件期间, 执行了以下三个写入命令:
1. `SADD databases "Redis" "MongoDB" "MariaDB"`
2. `SET date "2013-9-5"`
3. `INCR click_counter 10086`
那么 `aof_buf` 缓冲区将包含这三个命令的协议内容:
~~~
*5\r\n$4\r\nSADD\r\n$9\r\ndatabases\r\n$5\r\nRedis\r\n$7\r\nMongoDB\r\n$7\r\nMariaDB\r\n
*3\r\n$3\r\nSET\r\n$4\r\ndate\r\n$8\r\n2013-9-5\r\n
*3\r\n$4\r\nINCR\r\n$13\r\nclick_counter\r\n$5\r\n10086\r\n
~~~
如果这时 `flushAppendOnlyFile` 函数被调用, 假设服务器当前 `appendfsync` 选项的值为 `everysec` , 并且根据 `server.aof_last_fsync` 属性显示, 距离上次同步 AOF 文件已经超过一秒钟, 那么服务器会先将 `aof_buf` 中的内容写入到 AOF 文件中, 然后再对 AOF 文件进行同步。
以上就是对 AOF 持久化功能的文件写入和文件同步这两个步骤的介绍。
AOF 持久化的效率和安全性
服务器配置 `appendfsync` 选项的值直接决定 AOF 持久化功能的效率和安全性。
当 `appendfsync` 的值为 `always` 时, 服务器在每个事件循环都要将 `aof_buf` 缓冲区中的所有内容写入到 AOF 文件, 并且同步 AOF 文件, 所以 `always` 的效率是 `appendfsync` 选项三个值当中最慢的一个, 但从安全性来说, `always` 也是最安全的, 因为即使出现故障停机, AOF 持久化也只会丢失一个事件循环中所产生的命令数据。
当 `appendfsync` 的值为 `everysec` 时, 服务器在每个事件循环都要将 `aof_buf` 缓冲区中的所有内容写入到 AOF 文件, 并且每隔超过一秒就要在子线程中对 AOF 文件进行一次同步: 从效率上来讲, `everysec` 模式足够快, 并且就算出现故障停机, 数据库也只丢失一秒钟的命令数据。
当 `appendfsync` 的值为 `no` 时, 服务器在每个事件循环都要将 `aof_buf` 缓冲区中的所有内容写入到 AOF 文件, 至于何时对 AOF 文件进行同步, 则由操作系统控制。
因为处于 `no` 模式下的 `flushAppendOnlyFile` 调用无须执行同步操作, 所以该模式下的 AOF 文件写入速度总是最快的, 不过因为这种模式会在系统缓存中积累一段时间的写入数据, 所以该模式的单次同步时长通常是三种模式中时间最长的: 从平摊操作的角度来看, `no`模式和 `everysec` 模式的效率类似, 当出现故障停机时, 使用 `no` 模式的服务器将丢失上次同步 AOF 文件之后的所有写命令数据。
- 介绍
- 前言
- 致谢
- 简介
- 第一部分:数据结构与对象
- 简单动态字符串
- SDS 的定义
- SDS 与 C 字符串的区别
- SDS API
- 重点回顾
- 参考资料
- 链表
- 链表和链表节点的实现
- 链表和链表节点的 API
- 重点回顾
- 字典
- 字典的实现
- 哈希算法
- 解决键冲突
- rehash
- 渐进式 rehash
- 字典 API
- 重点回顾
- 跳跃表
- 跳跃表的实现
- 跳跃表 API
- 重点回顾
- 整数集合
- 整数集合的实现
- 升级
- 升级的好处
- 降级
- 整数集合 API
- 重点回顾
- 压缩列表
- 压缩列表的构成
- 压缩列表节点的构成
- 连锁更新
- 压缩列表 API
- 重点回顾
- 对象
- 对象的类型与编码
- 字符串对象
- 列表对象
- 哈希对象
- 集合对象
- 有序集合对象
- 类型检查与命令多态
- 内存回收
- 对象共享
- 对象的空转时长
- 重点回顾
- 第二部分:单机数据库的实现
- 数据库
- 数据库键空间
- 重点回顾
- RDB 持久化
- RDB 文件结构
- 重点回顾
- AOF 持久化
- AOF 持久化的实现
- 重点回顾
- 事件
- 文件事件
- 重点回顾
- 参考资料
- 客户端
- 客户端属性
- 重点回顾
- 服务器
- 命令请求的执行过程
- 重点回顾
- 第三部分:多机数据库的实现
- 复制
- 旧版复制功能的实现
- 重点回顾
- Sentinel
- 启动并初始化 Sentinel
- 重点回顾
- 参考资料
- 集群
- 节点
- 重点回顾
- 第四部分:独立功能的实现
- 发布与订阅
- 频道的订阅与退订
- 重点回顾
- 参考资料
- 事务
- 事务的实现
- 重点回顾
- Lua 脚本
- 创建并修改 Lua 环境
- 重点回顾
- 排序
- SORT <key> 命令的实现
- 重点回顾
- 二进制位数组
- GETBIT 命令的实现
- 重点回顾
- 慢查询日志
- 慢查询记录的保存
- 慢查询日志的阅览和删除
- 添加新日志
- 重点回顾
- 监视器
- 成为监视器
- 向监视器发送命令信息
- 重点回顾
- 源码、相关资源和勘误