1. 为什么双写一致性是个难题第一次在线上环境遇到缓存与数据库不一致的问题时我正盯着监控面板上诡异的业务指标百思不得其解。订单系统的成功交易数在数据库和Redis里竟然有3%的偏差——这个数字在促销期间足以让财务对账时抓狂。这就是典型的双写一致性问题当MySQL和Redis这两个存储系统需要同时维护同一份数据时稍有不慎就会埋下数据分裂的隐患。现代系统架构中Redis作为缓存的引入本质上是对CAP定理的实践妥协。我们牺牲强一致性Consistency换取可用性Availability和分区容错性Partition tolerance但这种妥协必须控制在业务可接受的范围内。根据我的实战经验电商库存系统允许0.1%以内的短暂不一致而金融交易系统则要求强一致性保证。2. 常见方案与致命陷阱2.1 先更新数据库还是先删缓存这个看似简单的顺序选择背后藏着魔鬼细节。早期项目我采用先更新MySQL再删除Redis的策略直到某天凌晨收到报警——某个核心接口的缓存击穿导致数据库连接池耗尽。问题出在并发场景下线程A更新MySQL数据线程B查询缓存未命中读取到A更新前的旧数据线程B将旧数据写入Redis线程A删除缓存此时Redis里残留的是脏数据。更可怕的是如果写操作是增量更新比如余额扣减这种不一致会持续累积。后来我们通过给缓存删除操作增加重试机制解决了部分问题但这不是银弹。2.2 延迟双删的魔法与代价在电商秒杀系统中我们引入了改进版的延迟双删策略def update_data(key, new_value): # 第一次删除 redis.delete(key) # 更新数据库 db.update(new_value) # 异步延迟二次删除 threading.Timer(1.0, lambda: redis.delete(key)).start()这个1秒的延迟窗口是个经验值需要根据业务QPS调整。实测中我们发现延迟小于500ms时仍有约0.3%的不一致概率超过2秒会导致缓存命中率下降15%必须配合消息队列的重试机制处理删除失败的情况3. 终极武器binlog监听方案经过多次踩坑后我们最终落地了基于MySQL binlog的最终一致性方案。这是目前大厂普遍采用的成熟架构核心组件包括Canal服务伪装成MySQL从库解析binlog事件消息队列我们选用Kafka缓冲数据变更事件消费者服务处理消息并更新Redis具体实现时要注意几个关键点3.1 消息顺序性保障订单状态的变更必须严格有序处理。我们通过Kafka的partition key保证相同订单ID的消息总是路由到同一分区// 使用订单ID作为分区键 producer.send(new ProducerRecord(order_update, orderId, message));3.2 幂等性设计网络抖动可能导致消息重复投递。我们的消费者实现了版本号校验UPDATE inventory SET stock new_stock, version version 1 WHERE item_id ? AND version ?3.3 压测数据对比在百万级QPS的压力测试中不同方案的性能表现方案平均延迟不一致概率吞吐量先DB后缓存删除28ms0.15%12k/s延迟双删35ms0.02%9k/sbinlog监听42ms0.0001%7k/s4. 特殊场景处理经验4.1 热点key的冷启动大促期间突然爆红的商品会导致缓存穿透。我们的解决方案是提前预热Top 1000商品数据采用本地缓存Redis的多级缓存实现空值缓存缓存NULL对象4.2 分布式锁的注意事项使用Redis分布式锁协调双写时务必注意SET lock_key unique_value NX PX 30000解锁时要验证value防止误删if redis.call(get,KEYS[1]) ARGV[1] then return redis.call(del,KEYS[1]) else return 0 end5. 监控体系搭建完善的监控是最后的安全网我们部署了定时对账任务每小时扫描关键表与缓存差异实时差值报警设置不一致阈值触发企业微信通知数据修复工具人工确认后执行订正脚本有一次对账系统发现某商品库存缓存比数据库多200件排查发现是消息堆积导致。我们立即扩容消费者组并修复数据避免了超卖事故。经过这些年的实践我的体会是没有完美的方案只有适合业务现状的权衡。对于初创公司简单的延迟双删可能就够了而金融级系统可能需要引入TCC事务。关键是要理解每种方案的局限并准备好应对最坏情况。 Redis与MySQL双写一致性解决方案与实践
1. 为什么双写一致性是个难题第一次在线上环境遇到缓存与数据库不一致的问题时我正盯着监控面板上诡异的业务指标百思不得其解。订单系统的成功交易数在数据库和Redis里竟然有3%的偏差——这个数字在促销期间足以让财务对账时抓狂。这就是典型的双写一致性问题当MySQL和Redis这两个存储系统需要同时维护同一份数据时稍有不慎就会埋下数据分裂的隐患。现代系统架构中Redis作为缓存的引入本质上是对CAP定理的实践妥协。我们牺牲强一致性Consistency换取可用性Availability和分区容错性Partition tolerance但这种妥协必须控制在业务可接受的范围内。根据我的实战经验电商库存系统允许0.1%以内的短暂不一致而金融交易系统则要求强一致性保证。2. 常见方案与致命陷阱2.1 先更新数据库还是先删缓存这个看似简单的顺序选择背后藏着魔鬼细节。早期项目我采用先更新MySQL再删除Redis的策略直到某天凌晨收到报警——某个核心接口的缓存击穿导致数据库连接池耗尽。问题出在并发场景下线程A更新MySQL数据线程B查询缓存未命中读取到A更新前的旧数据线程B将旧数据写入Redis线程A删除缓存此时Redis里残留的是脏数据。更可怕的是如果写操作是增量更新比如余额扣减这种不一致会持续累积。后来我们通过给缓存删除操作增加重试机制解决了部分问题但这不是银弹。2.2 延迟双删的魔法与代价在电商秒杀系统中我们引入了改进版的延迟双删策略def update_data(key, new_value): # 第一次删除 redis.delete(key) # 更新数据库 db.update(new_value) # 异步延迟二次删除 threading.Timer(1.0, lambda: redis.delete(key)).start()这个1秒的延迟窗口是个经验值需要根据业务QPS调整。实测中我们发现延迟小于500ms时仍有约0.3%的不一致概率超过2秒会导致缓存命中率下降15%必须配合消息队列的重试机制处理删除失败的情况3. 终极武器binlog监听方案经过多次踩坑后我们最终落地了基于MySQL binlog的最终一致性方案。这是目前大厂普遍采用的成熟架构核心组件包括Canal服务伪装成MySQL从库解析binlog事件消息队列我们选用Kafka缓冲数据变更事件消费者服务处理消息并更新Redis具体实现时要注意几个关键点3.1 消息顺序性保障订单状态的变更必须严格有序处理。我们通过Kafka的partition key保证相同订单ID的消息总是路由到同一分区// 使用订单ID作为分区键 producer.send(new ProducerRecord(order_update, orderId, message));3.2 幂等性设计网络抖动可能导致消息重复投递。我们的消费者实现了版本号校验UPDATE inventory SET stock new_stock, version version 1 WHERE item_id ? AND version ?3.3 压测数据对比在百万级QPS的压力测试中不同方案的性能表现方案平均延迟不一致概率吞吐量先DB后缓存删除28ms0.15%12k/s延迟双删35ms0.02%9k/sbinlog监听42ms0.0001%7k/s4. 特殊场景处理经验4.1 热点key的冷启动大促期间突然爆红的商品会导致缓存穿透。我们的解决方案是提前预热Top 1000商品数据采用本地缓存Redis的多级缓存实现空值缓存缓存NULL对象4.2 分布式锁的注意事项使用Redis分布式锁协调双写时务必注意SET lock_key unique_value NX PX 30000解锁时要验证value防止误删if redis.call(get,KEYS[1]) ARGV[1] then return redis.call(del,KEYS[1]) else return 0 end5. 监控体系搭建完善的监控是最后的安全网我们部署了定时对账任务每小时扫描关键表与缓存差异实时差值报警设置不一致阈值触发企业微信通知数据修复工具人工确认后执行订正脚本有一次对账系统发现某商品库存缓存比数据库多200件排查发现是消息堆积导致。我们立即扩容消费者组并修复数据避免了超卖事故。经过这些年的实践我的体会是没有完美的方案只有适合业务现状的权衡。对于初创公司简单的延迟双删可能就够了而金融级系统可能需要引入TCC事务。关键是要理解每种方案的局限并准备好应对最坏情况。