哨兵实现原理1、三个定时监控任务1.1、获取集群信息1.2、获取Sentinel信息1.3、发送心跳2、主观下线和客观下线2.1、主管下线2.2、客观下线3、领导者Sentinel节点选举4、故障转移1、三个定时监控任务一套合理的监控机制是Sentinel节点判定节点不可达的重要保证Redis Sentinel通过三个定时监控任务完成对各个节点发现和监控1.1、获取集群信息每隔10秒每个Sentinel节点会向主节点和从节点发送info命令获取最新的拓扑结构如图所示。例如下面就是在一个主节点上执行info replication的结果片段# Replicationrole:master connected_slaves:2 slave0:ip127.0.0.1,port6380,stateonline,offset4917,lag1slave1:ip127.0.0.1,port6381,stateonline,offset4917,lag1Sentinel节点通过对上述结果进行解析就可以找到相应的从节点。这个定时任务的作用具体可以表现在三个方面通过向主节点执行info命令获取从节点的信息这也是为什么Sentinel节点不需要显式配置监控从节点。当有新的从节点加入时都可以立刻感知出来。节点不可达或者故障转移后可以通过info命令实时更新节点拓扑信息。1.2、获取Sentinel信息每隔2秒每个Sentinel节点会向Redis数据节点的__sentinel__hello频道上发送该Sentinel节点对于主节点的判断以及当前Sentinel节点的信息如图所示​同时每个Sentinel节点也会订阅该频道来了解其他Sentinel节点以及它们对主节点的判断所以这个定时任务可以完成以下两个工作发现新的Sentinel节点通过订阅主节点的__sentinel__hello了解其他的Sentinel节点信息如果是新加入的Sentinel节点将该Sentinel节点信息保存起来并与该Sentinel节点创建连接。Sentinel节点之间交换主节点的状态作为后面客观下线以及领导者选举的依据。Sentinel节点publish的消息格式如下Sentinel节点IPSentinel节点端口Sentinel节点runIdSentinel节点配置版本主节点名字主节点Ip主节点端口主节点配置版本1.3、发送心跳每隔1秒每个Sentinel节点会向主节点、从节点、其余Sentinel节点发送一条ping命令做一次心跳检测来确认这些节点当前是否可达。如图所示。通过上面的定时任务Sentinel节点对主节点、从节点、其余Sentinel节点都建立起连接实现了对每个节点的监控这个定时任务是节点失败判定的重要依据。2、主观下线和客观下线2.1、主管下线每个Sentinel节点会每隔1秒对主节点、从节点、其他Sentinel节点发送ping命令做心跳检测当这些节点超过down-after-milliseconds没有进行有效回复Sentinel节点就会对该节点做失败判定这个行为叫做主观下线。从字面意思也可以很容易看出主观下线是当前Sentinel节点的一家之言存在误判的可能如图所示。2.2、客观下线当Sentinel主观下线的节点是主节点时该Sentinel节点会通过sentinel is-master-down-by-addr命令向其他Sentinel节点询问对主节点的判断当超过quorum个数Sentinel节点认为主节点确实有问题这时该Sentinel节点会做出客观下线的决定这样客观下线的含义是比较明显了也就是大部分Sentinel节点都对主节点的下线做了同意的判定那么这个判定就是客观的如图所示。从节点、Sentinel节点在主观下线后没有后续的故障转移操作。从节点、Sentinel节点在主观下线后没有后续的故障转移操作。这里有必要对sentinel is-master-down-by-addr命令做一个介绍它的使用方法如下sentinel is-master-down-by-addripportcurrent_epochrunidip主节点IP。port主节点端口。current_epoch当前配置纪元。runid此参数有两种类型不同类型决定了此API作用的不同。当runid等于“*”时作用是Sentinel节点直接交换对主节点下线的判定。当runid等于当前Sentinel节点的runid时作用是当前Sentinel节点希望目标Sentinel节点同意自己成为领导者的请求.。例如sentinel-1节点对主节点做主观下线后会向其余Sentinel节点假设sentinel-2和sentinel-3节点发送该命令sentinel is-master-down-by-addr127.0.0.163790*返回结果包含三个参数如下所示down_state目标Sentinel节点对于主节点的下线判断1是下线0是在线。leader_runid当leader_runid等于“*”时代表返回结果是用来做主节点是否不可达当leader_runid等于具体的runid代表目标节点同意runid成为领导者。leader_epoch领导者纪元。3、领导者Sentinel节点选举假如Sentinel节点对于主节点已经做了客观下线那么是不是就可以立即进行故障转移了当然不是实际上故障转移的工作只需要一个Sentinel节点来完成即可所以Sentinel节点之间会做一个领导者选举的工作选出一个Sentinel节点作为领导者进行故障转移的工作。Redis使用了Raft算法实现领导者选举因为Raft算法相对比较抽象和复杂以及篇幅所限所以这里给出一个RedisSentinel进行领导者选举的大致思路1)每个在线的Sentinel节点都有资格成为领导者当它确认主节点主观下线时候会向其他Sentinel节点发送sentinel is-master-down-by-addr命令要求将自己设置为领导者。2)收到命令的Sentinel节点如果没有同意过其他 Sentinel节点的sentinel is-master-down-by-addr命令将同意该请求否则拒绝。3)如果该Sentinel节点发现自己的票数已经大于等于max(quorumnum(sentinels)/21)那么它将成为领导者。4)如果此过程没有选举出领导者将进入下一次选举。下图展示了一次领导者选举的大致过程1)s1(sentinel-1)最先完成了客观下线它会向s2(sentinel-2)和s3(sentinel-3)发送sentinel is-master-down-by-addr命令s2和s3同意选其为领导者。2)s1此时已经拿到2张投票满足了大于等于max(quorumnum(sentinels)/21)2的条件所以此时s1成为领导者。由于每个Sentinel节点只有一票所以当s2向s1和s3索要投票时只能获取一票而s3由于最后完成主观下线当s3向s1和s2索要投票时一票都得不到整个过程如图所示。实际上Redis Sentinel实现会更简单一些因为一旦有一个Sentinel节点获得了max(quorumnum(sentinels)/21)的票数其他Sentinel节点再去确认已经没有意义了因为每个Sentinel节点只有一票如果读者有兴趣的话可以修改sentinel.c源码在Sentinel的执行命令列表中添加monitor命令structredisCommandsentinelcmds[]{{monitor,monitorCommand,1,,0,NULL,0,0,0,0,0},{ping,pingCommand,1,,0,NULL,0,0,0,0,0},{sentinel,sentinelCommand,-2,,0,NULL,0,0,0,0,0},…}重新编译部署Redis Sentinel测试环境在3个Sentinel节点上执行monitor命令1)可以看到sentinel is-master-down-by-addr命令此命令的执行过程并没有在Redis的日志中有所体现monitor监控类似如下命令// 因为最后参数是*所以此时是Sentinel节点之间交换对主节点的失败判定[0127.0.0.1:38440]SENTINELis-master-down-by-addr127.0.0.163790*// 因为最后参数是具体的runid所以此时代表runid2f4430bb62c039fb125c5771d7cde2571a7 a5ab4的节点希望目标Sentinel节点同意自己成为领导者。[0127.0.0.1:38440]SENTINELis-master-down-by-addr127.0.0.1637912f4430bb62c039fb125c5771d7cde2571a7a5ab42)选举的过程非常快基本上谁先完成客观下线谁就是领导者。3)一旦Sentinel得到足够的票数不存在图9-32和图9-33的过程。有关Raft算法可以参考其GitHub主页https://raft.github.io/。4、故障转移领导者选举出的Sentinel节点负责故障转移具体步骤如下1)在从节点列表中选出一个节点作为新的主节点选择方法如下a)过滤​“不健康”​主观下线、断线​、5秒内没有回复过Sentinel节点ping响应、与主节点失联超过down-after-milliseconds*10秒。b)选择slave-priority从节点优先级最高的从节点列表如果存在则返回不存在则继续。c)选择复制偏移量最大的从节点复制的最完整​如果存在则返回不存在则继续。d)选择runid最小的从节点。整个过程如图所示。2)Sentinel领导者节点会对第一步选出来的从节点执行slaveof no one命令让其成为主节点。3)Sentinel领导者节点会向剩余的从节点发送命令让它们成为新主节点的从节点复制规则和parallel-syncs参数有关。4)Sentinel节点集合会将原来的主节点更新为从节点并保持着对其关注当其恢复后命令它去复制新的主节点。