Redis入门5-RDB

2021-10-10 Redis Redis 0 Comments

为了防止数据丢失，Redis提供了两种持久化方案：RDB与AOF

RDB(Redis DataBase)：将当前数据库状态生成快照并保存到磁盘的过程

Redis 是一个键值对数据库服务器，服务器中通常包括含着任意个非空数据库，而每个非空数据库中又可以包含任意个键值对。将服务器中的非空数据库以及它们的键值对统称为数据库状态。下图展示包含三个非空数据库的Redis服务器。这三个数据库以及数据库中的键值对就是该服务器的数据库状态

Redis提供了RDB持久化功能，将某个时间点的数据库状态保存到一个RDB文件中。RDB文件是一个经过压缩的二进制文件，通过该文件可以还原生成RDB文件时的数据库状态

触发方式

Redis的触发方式分为两种，手动触发与自动触发

手动触发也有两种
- SAVE 命令会阻塞Redis服务器进程，直到RDB文件创建完毕为止，在服务器进程阻塞期间，服务器不处理任何命令请求
- BGSAVE 命令会派生出一个子进程，然后由子进程负责创建RDB文件，服务器进程(父进程)继续处理命令请求
自动触发，在下面4种情况下会自动触发
- redis.conf中配置save m n，即在m秒内有n次修改时，自动触发bgsave生成rdb文件；
- 主从复制时，从节点要从主节点进行全量复制时也会触发bgsave操作，生成当时的快照发送到从节点；
- 执行debug reload命令重新加载redis时也会触发bgsave操作；
- 默认情况下执行shutdown命令时，如果没有开启aof持久化，那么也会触发bgsave操作

具体流程如下：

redis客户端执行bgsave命令或者自动触发bgsave命令；
主进程判断当前是否已经存在正在执行的子进程，如果存在，那么主进程直接返回；
如果不存在正在执行的子进程，那么就fork一个新的子进程进行持久化数据，fork过程是阻塞的，fork操作完成后主进程即可执行其他操作；
子进程先将数据写入到临时的rdb文件中，待快照数据写入完成后再原子替换旧的rdb文件；
同时发送信号给主进程，通知主进程rdb持久化完成，主进程更新相关的统计信息(info Persitence下的rdb_*相关选项)

如果主线程要修改一块数据（例如图中的键值对 C），那么，这块数据就会被复制一份，生成该数据的副本。然后，bgsave 子进程会把这个副本数据写入 RDB 文件，而在这个过程中，主线程仍然可以直接修改原来的数据

注意事项：

同一时间只有一个子进程在执行rdb操作
生成成功新的rdb文件之后再替换旧的文件
fork完之后就通知主进程进行操作，那么这个时候新的数据怎么办?。这段时间的数据变化会存在在另一个区域，执行完之后才会同步到原来的内存区域

其他配置

# 文件名称
dbfilename dump.rdb

# 文件保存路径
dir /home/work/app/redis/data/

# 如果持久化出错，主进程是否停止写入(影响正常写入，主要方便运维人员)
stop-writes-on-bgsave-error yes

# 是否压缩(LZF)
rdbcompression yes

# 导入时是否检查
rdbchecksum yes

RDB保存与载入

创建RDB文件实际工作有 rdb.c/rdbSave 函数完成

int rdbSave(char *filename, rdbSaveInfo *rsi) {
    char tmpfile[256];
    char cwd[MAXPATHLEN]; /* Current working dir path for error messages. */
    FILE *fp = NULL;
    rio rdb;
    int error = 0;

    snprintf(tmpfile,256,"temp-%d.rdb", (int) getpid());
    fp = fopen(tmpfile,"w");
    if (!fp) {
        char *cwdp = getcwd(cwd,MAXPATHLEN);
        serverLog(LL_WARNING,
            "Failed opening the RDB file %s (in server root dir %s) "
            "for saving: %s",
            filename,
            cwdp ? cwdp : "unknown",
            strerror(errno));
        return C_ERR;
    }

    rioInitWithFile(&rdb,fp);
    startSaving(RDBFLAGS_NONE);

    if (server.rdb_save_incremental_fsync)
        rioSetAutoSync(&rdb,REDIS_AUTOSYNC_BYTES);

    if (rdbSaveRio(&rdb,&error,RDBFLAGS_NONE,rsi) == C_ERR) {
        errno = error;
        goto werr;
    }

    /* Make sure data will not remain on the OS's output buffers */
    if (fflush(fp)) goto werr;
    if (fsync(fileno(fp))) goto werr;
    if (fclose(fp)) { fp = NULL; goto werr; }
    fp = NULL;
    
    /* Use RENAME to make sure the DB file is changed atomically only
     * if the generate DB file is ok. */
    if (rename(tmpfile,filename) == -1) {
        char *cwdp = getcwd(cwd,MAXPATHLEN);
        serverLog(LL_WARNING,
            "Error moving temp DB file %s on the final "
            "destination %s (in server root dir %s): %s",
            tmpfile,
            filename,
            cwdp ? cwdp : "unknown",
            strerror(errno));
        unlink(tmpfile);
        stopSaving(0);
        return C_ERR;
    }

    serverLog(LL_NOTICE,"DB saved on disk");
    server.dirty = 0;
    server.lastsave = time(NULL);
    server.lastbgsave_status = C_OK;
    stopSaving(1);
    return C_OK;

werr:
    serverLog(LL_WARNING,"Write error saving DB on disk: %s", strerror(errno));
    if (fp) fclose(fp);
    unlink(tmpfile);
    stopSaving(0);
    return C_ERR;
}

RDB文件的载入工作是在服务器启动时自动执行的，只要Redis服务器在启动时检测到RDB文件存在，就会自动载入RDB文件

因为AOF文件的更新频率通常比RDB文件的更新频率高，所以：

如果服务器开启了AOF持久化功能，那么服务器会优先使用AOF文件来还原数据库状态
只有在AOF持久性功能处于关闭状态时，服务器才会使用RDB文件来还原数据库状态

载入RDB文件实际工作由 rdb.c/rdbLoad函数完成

由于使用BGSAVE命令是由子进程执行的，Redis服务器仍然可以继续处理客户端的命令请求。但在BGSAVE命令执行期间，服务器处理SAVE、BGSAVE、GBREWRITEAOF 三个命令的方式会和平时有所不同

在 BGSAVE 期间，客户端发送的 SAVE 和 BGSAVE 命令会被服务器拒绝，避免父进程(服务器进程)和子进程同时执行两个rdbSave调用，防止发生竞争条件
BGREWRITEAOF 和 BGSAVE 两个命令不能同时执行：
- 如果BGSAVE 命令正在执行，那么客户端发送的 BGREWRITEAOF 命令会被延迟到 BGSAVE 命令执行完毕之后执行
- 如果 BGREWIRTEAOF 命令正在执行，那么客户端发送的 BGSAVE 命令会被服务器拒绝

虽然 BGREWRITEAOF 和 BGSAVE 两个命令的实际工作都是由子进程执行，不让同时执行考虑到都同时执行大量的磁盘写入操作

RDB文件载入时的服务器会一致处于阻塞状态，直到载入工作完成为止

自动间隔性保存

saveparams 属性是一个数组，数组中的每个元素都是一个saveparam结构。通过配置save选项，让服务器每隔一段时间自动执行一次 BGSAVE 命令

除了 saveparams 数组之外，服务器状态还维持着一个dirty计数器，以及一个lastsave属性

dirty 计数器记录距离上一次成功执行 SAVE 命令或者 BGSAVE 命令之后，服务器对数据库状态(服务器中的所有数据库) 进行了多少次修改(包括写入、删除、更新操作)
lastsave 属性 是一个 UNIX 时间戳，记录了服务器上一次成功执行 SAVE 命令或 BGSAVE 命令的时间

//向服务器提供以下配置，只要满足以下三个任意条件， BGSAVE 命令就会被执行
// 以下也是save 的默认条件
save 900 1		
save 300 10
save 60 10000
/*
1. 服务器在900秒之内，对数据库进行了至少1次修改
2. 服务器在300秒之内，对数据库进行了至少10次修改
3. 服务器在60秒之内，对数据库进行了至少10000次修改
*/

Redis的服务器周期性操作函数 serverCron 默认每隔 100ms 就会执行一次，其中一项工作就是检查 save 选洗那个锁设置的保存条件是否满足，满足则执行 BGSAVE 命令

当时间来到1378271101(1378270800 + 300 = 1378271100)，服务器将自动执行一次 BGSAVE 命令，假设BGSAVE 在执行5s之后完成，那么服务器状态将更新，其中 dirty 计数器已经被重置为0，而 lastsave 属性也被更新为 1378271106

以上就是Redis 服务器根据 save 选项锁设置的保存条件，自动执行 BGSAVE 命令，进行剑歌行数据保存的实现原理

RDB文件结构

一个完整的RDB文件所包含的各个部分

RDB文件最开头是REDIS 部分，这个部分的长度是5字节，保存着 “REDIS” 五个字符，通过这五个字符，在载入文件时快速判断是否是RDB文件
db_version 长度为4字节，它的值是一个字符串表示的整数，这个整数记录了RDB文件的版本号，比如"0006"表示RDB文件的版本为第六版本
database 部分包含着0个或任意多个数据库，以及各个数据库中的键值对数据

如果服务器的数据库状态为空(所有数据库都是空的)，那么这个部分也为空，长度为0字节
EOF 常量长度为1字节，标志着RDB文件的正文内容的结束，当读入程序遇到这个值的时候，它直到所有数据库的所有键值载入完毕
check_sum 是一个8字节长的无符号整数，保存着一个校验和，这个校验和是通过对 REDIS、db_version、databases、EOF四个部分计算出来的

一个RDB文件的databases部分可以保存任意多个非空数据库

每个非空数据在RDB文件中都保存为 SELECTDB、db_number、key_value_pairs三个部分

SELECTDB 常量长度为1字节，当读入程序遇到这个值，直到接下来要读入的是一个数据库号码
db_number 保存着一个数据库号码，根据号码大量的不同，这个部分的长度可以是1字节、2字节或者5字节。当程序读入db_number部分之后，服务器会调用SELECT命令，根据读入的数据库号码进行数据库切换

db_number 长度不固定，怎么判断db_number已经读完了？
key_value_pairs 部分保存了数据库中的所有键值对数(如果键值对带有过期时间，那么过期时间也会和键值对保存在一起)
- 不带过期时间的键值对在RDB文件中由 TYPE、key、value 三部分组成，TYPE 记录了value的类型，长度为1字节
- Key 总是一个字符串常量，长度不固定
- 根据 TYPE 类型不同，保存的内容长度不同，value 的结构和长度也会有所不同
- 带有过期时间的RDB文件结构
- EXPIRETIME_MS: 常量的长度为1字节，告知接下来要读入的将是一个以毫秒为单位的过期时间
- ms 是一个8字节长的带符号整数，记录一个以毫秒为单位的 UNIX 时间戳，即键值对的过期时间

总结

RDB文件用于保存和还原Redis服务器所有数据库中的所有键值对数据
SAVE 命令由服务器进程执行会阻塞服务器，BGSAVE 由子进程执行保存操作，不会阻塞服务器
RDB文件是一个经过压缩的二进制文件，由多个部分组成
对于不同类型的键值对，RDB文件会使用不同的方式保存它们

优点
- RDB文件是某个时间节点的快照，默认使用LZF算法进行压缩，压缩后的文件体积远远小于内存大小，适用于备份、全量复制等场景；
- Redis加载RDB文件恢复数据要远远快于AOF方式；
缺点
- RDB方式实时性不够，无法做到秒级的持久化；
- 每次调用bgsave都需要fork子进程，fork子进程属于重量级操作，频繁执行成本较高；
- RDB文件是二进制的，没有可读性，AOF文件在了解其结构的情况下可以手动修改或者补全；
- 版本兼容RDB文件问题；

参考文献

《Redis 设计与实现》

Yuan Kang

Learn and live