Redis 是一个内存数据库,数据保存在内存中,但是我们都知道内存的数据变化是很快的,也容易发生丢失。幸好Redis还为我们提供了持久化的机制,分别是RDB(Redis DataBase) 和 AOF(Append Only File)。
一、持久化流程
既然 Redis 的数据可以保存在磁盘上,那么这个流程是什么样的呢?
要有下面五个过程:
(1)客户端向服务端发送写操作(数据在客户端的内存中)。
(2)数据库服务端接收到写请求的数据(数据在服务端的内存中)。
(3)服务端调用write
这个系统调用,将数据往磁盘上写(数据在系统内存的缓冲区中)。
(4)操作系统将缓冲区中的数据转移到磁盘控制器上(数据在磁盘缓存中)。
(5)磁盘控制器将数据写到磁盘的物理介质中(数据真正落到磁盘上)。
这5个过程是在理想条件下一个正常的保存流程,但是在大多数情况下,我们的机器等等都会有各种各样的故障,这里划分了两种情况:
(1)Redis数据库发生故障,只要在上面的第三步执行完毕,那么就可以持久化保存,剩下的两步由操作系统替我们完成。
(2)操作系统发生故障,必须上面5步都完成才可以。
在这里只考虑了保存的过程可能发生的故障,其实保存的数据也有可能发生损坏,需要一定的恢复机制,不过在这里就不再延伸了。现在主要考虑的是 Redis 如何来实现上面5个保存磁盘的步骤。它提供了两种策略机制,也就是 RDB 和 AOF 。
二、RDB机制
RDB 持久化把当前进程数据生成快照(.rdb
)文件保存到硬盘的过程,有手动触发 和自动触发。
RDB 持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘。也是默认的持久化方式,这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb
。
手动触发有 save 和 bgsave 两命令
save 命令:
阻塞当前 Redis,直到 RDB 持久化过程完成为止,若内存实例比较大 会造成长时间阻塞,线上环境不建议用它
bgsave 命令:
Redis 进程执行fork
操作创建子线程,由子线程完成持久化,阻塞时间很短(微秒级),是 save 的优化,在执行redis-cli shutdown
关闭 Redis服务时,如果没有开 启 AOF 持久化,自动执行 bgsave;
显然 bgsave 是对 save 的优化
bgsave 运行流程:
RDB 文件的操作
- 命令:
config set dir /usr/local
//设置rdb
文件保存路径 - 备份:
bgsave
//将dump.rdb
保存到usr/local
下 - 恢复:将
dump.rdb
放到redis
安装目录与redis.conf
同级目录,重启redis
即可
RDB 优点:
- 压缩后的二进制文,适用于备份、全量复制,用于灾难恢复
- 加载 RDB 恢复数据远快于 AOF 方式
RDB 缺点:
- 无法做到实时持久化,每次都要创建子进程,频繁操作成本过高
- 保存后的二进制文件,存在老版本不兼容新版本 rdb 文件的问题
三、AOF机制
针对 RDB 不适合实时持久化,redis 提供了 AOF 持久化方式来解决 。全量备份总是耗时的,有时候我们提供一种更加高效的方式AOF,工作机制很简单,redis会将每一个收到的写命令都通过write函数追加到文件中。通俗的理解就是日志记录。
- 开启:
redis.conf
设置:appendonly yes
(默认不开启,为 no) - 默认文件名:
appendfilename "appendonly.aof"
流程说明:
1,所有的写入命令(set hset)
会 append
追加到 aof_buf
缓冲区中
2,AOF 缓冲区向硬盘做 sync
同步
3,随着 AOF 文件越来越大,需定期对 AOF 文件 rewrite
重写,达到压缩
4,当 redis 服务重启,可 load
加载 AOF 文件进行恢复
AOF持久化流程:命令写入( append ),文件同步( sync ),文件重写( rewrite ),重启加载( load )
redis 的 AOF 配置详解:
//启用 aof 持久化方式
appendonly yes
//每收到写命令就立即强制写入磁盘,最慢的,但是保证完全 的持久化,不推荐使用
# appendfsync always
//每秒强制写入磁盘一次,性能和持久化方面做了折中,推荐
appendfsync everysec
//完全依赖 os,性能最好,持久化没保证(操作系统自身的同步)
# appendfsync no
//正在导出 rdb 快照的过程中,要不要停止同步
no-appendfsync-on-rewrite yes
//aof 文件大小比起上次重写时的大小,增长率 100%时,重写
aof auto-aof-rewrite-percentage 100
//aof 文件,至少超过 64M 时,重写
auto-aof-rewrite-min-size 64mb
如何从 AOF 恢复?
- 设置
appendonly yes
; - 将
appendonly.aof
放到dir
参数指定的目录 - 启动 Redis,Redis 会自动加载
appendonly.aof
文件。
Redis重启时恢复加载 AOF 与 RDB 顺序及流程:
- 当 AOF 和 RDB 文件同时存在时,优先加载 AOF
- 若关闭了 AOF,加载 RDB 文件
- 加载 AOF/RDB 成功,redis 重启成功
- AOF/RDB 存在错误,redis 启动失败并打印错误信
AOF 优点
- AOF 可以更好的保护数据不丢失,一般 AOF 会每隔1秒,通过一个后台线程执行一次
sync
操作,最多丢失1秒钟的数据。 - AOF 日志文件没有任何磁盘寻址的开销,写入性能非常高,文件不容易破损。
- AOF 日志文件即使过大的时候,出现后台重写操作,也不会影响客户端的读写。
- AOF 日志文件的命令通过非常可读的方式进行记录,这个特性非常适合做灾难性的误删除的紧急恢复。比如某人不小心用
flushall
命令清空了所有数据,只要这个时候后台rewrite
还没有发生,那么就可以立即拷贝AOF文件,将最后一条flushall
命令给删了,然后再将该AOF文件放回去,就可以通过恢复机制,自动恢复所有数据
AOF 缺点
- 对于同一份数据来说,AOF 日志文件通常比 RDB 数据快照文件更大
write还没有发生,那么就可以立即拷贝AOF文件,将最后一条
flushall` 命令给删了,然后再将该AOF文件放回去,就可以通过恢复机制,自动恢复所有数据
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/68385.html