Go实战:分布式缓存系统设计摘要: 本篇讲解Go分布式缓存系统设计实现一致性哈希分片和LRU淘汰策略涵盖缓存穿透/击穿/雪崩防护、热点Key检测、缓存与DB一致性保障分享缓存过期策略不当导致内存暴涨的踩坑经验对比Redis Cluster、Memcached、本地缓存三种方案。开篇故事去年我们有个电商商品详情页QPS从3千涨到5万数据库扛不住了。加了Redis缓存后效果明显但问题接踵而至。先是大促时某个爆款商品Key过期瞬间2万请求穿透到DBMySQL CPU飙到100%。后来发现缓存机器内存使用率从40%涨到95%原因是有个同学把缓存过期时间全设成统一值导致大量Key同时过期引发雪崩。我花了两周重写缓存层加了一致性哈希分片、LRU淘汰、布隆过滤器防穿透、随机过期防雪崩。这套代码跑了两个大促周期没出过事故我把核心设计写出来。一、一致性哈希分片分布式缓存第一件事是分片。简单取模的方案在节点变动时大面积缓存失效一致性哈希解决了这个问题。原理是把整个哈希值空间组织成虚拟的圆环节点和数据都映射到环上数据顺时针找到的第一个节点就是归属节点。节点增减只影响相邻区间的数据最小化迁移范围。虚拟节点解决数据倾斜问题。packagecacheimport(hash/crc32// CRC32哈希函数分布均匀且速度快sort// 用于环上节点排序strconv// 整数转字符串用于虚拟节点编号sync// 读写锁保护并发访问)// ConsistentHash 一致性哈希环// 支持虚拟节点解决数据倾斜问题typeConsistentHashstruct{mu sync.RWMutex// 读写锁读多写少场景用RWMutexreplicasint// 每个真实节点的虚拟节点数keys[]uint32// 哈希环上所有虚拟节点的位置有序hashMapmap[uint32]string// 虚拟节点位置到真实节点名的映射}// NewConsistentHash 创建一致性哈希环// replicas越大数据分布越均匀但内存占用越高funcNewConsistentHash(replicasint)*ConsistentHash{returnConsistentHash{replicas:replicas,hashMap:make(map[uint32]string),}}// Add 添加节点到哈希环// 每个真实节点生成replicas个虚拟节点func(h*ConsistentHash)Add(nodes...string){h.mu.Lock()deferh.mu.Unlock()for_,node:rangenodes{// 为每个节点生成replicas个虚拟节点fori:0;ih.replicas;i{// 用节点名编号生成虚拟节点key// CRC32计算速度快分布均匀性足够key:crc32.ChecksumIEEE([]byte(node#strconv.Itoa(i),))h.keysappend(h.keys,key)h.hashMap[key]node// 记录虚拟节点到真实节点的映射}}// 保持环有序方便二分查找sort.Slice(h.keys,func(i,jint)bool{returnh.keys[i]h.keys[j]})}// Get 根据key找到归属节点// 在环上顺时针找到第一个大于等于key哈希值的虚拟节点func(h*ConsistentHash)Get(keystring)string{h.mu.RLock()deferh.mu.RUnlock()iflen(h.keys)0{return}// 计算key的哈希值hash:crc32.ChecksumIEEE([]byte(key))// 二分查找第一个大于等于hash的位置idx:sort.Search(len(h.keys),func(iint)bool{returnh.keys[i]hash})// 如果hash超过最大值回环到第一个节点ifidxlen(h.keys){idx0}returnh.hashMap[h.keys[idx]]}// Remove 从哈希环移除节点// 节点下线时调用该节点数据需要迁移到相邻节点func(h*ConsistentHash)Remove(nodestring){h.mu.Lock()deferh.mu.Unlock()// 收集要删除的虚拟节点位置varnewKeys[]uint32for_,k:rangeh.keys{ifh.hashMap[k]!node{newKeysappend(newKeys,k)}else{delete(h.hashMap,k)// 清理映射关系}}h.keysnewKeys}二、LRU缓存与防护策略分片解决了数据分布问题每个节点内部还需要高效的淘汰策略。LRULeast Recently Used淘汰最近最少使用的Key适合热点数据场景。结合布隆过滤器防穿透、singleflight防击穿、随机过期防雪崩构成完整的缓存防护体系。packagecacheimport(container/list// 双向链表用于LRU淘汰math/rand// 随机数用于过期时间抖动sort// 排序用于热点Key检测sync// 互斥锁保护并发读写time// 过期时间)// CacheEntry 缓存条目typeCacheEntrystruct{keystring// 缓存keyvalueinterface{}// 缓存值expireAt time.Time// 过期时间零值表示永不过期accessCntint// 访问次数用于热点Key检测}// LRUCache LRU缓存// 双向链表维护访问顺序map实现O(1)查找typeLRUCachestruct{mu sync.Mutex// 互斥锁maxEntriesint// 最大条目数ll*list.List// 双向链表 front是最近访问的cachemap[string]*list.Element// key到链表节点的映射bloom*BloomFilter// 布隆过滤器防止缓存穿透}// NewLRUCache 创建LRU缓存funcNewLRUCache(maxEntriesint)*LRUCache{returnLRUCache{maxEntries:maxEntries,ll:list.New(),cache:make(map[string]*list.Element),}}// Get 获取缓存值// 命中时移动到链表头部未命中时检查布隆过滤器func(c*LRUCache)Get(keystring)(interface{},bool){c.mu.Lock()deferc.mu.Unlock()ifelem,ok:c.cache[key];ok{entry:elem.Value.(*CacheEntry)// 检查是否过期if!entry.expireAt.IsZero()time.Now().After(entry.expireAt){// 已过期删除并返回未命中c.removeElement(elem)returnnil,false}// 命中移动到链表头部表示最近访问c.ll.MoveToFront(elem)entry.accessCnt// 访问计数加一用于热点检测returnentry.value,true}returnnil,false}// Set 设置缓存值// 过期时间加随机偏移防止大量Key同时过期引发雪崩func(c*LRUCache)Set(keystring,valueinterface{},ttl time.Duration){c.mu.Lock()deferc.mu.Unlock()// 如果已存在更新值并移到头部ifelem,ok:c.cache[key];ok{entry:elem.Value.(*CacheEntry)entry.valuevalue entry.accessCnt0// 重新计数ifttl0{// 过期时间加10%随机偏移打散过期时间jitter:time.Duration(int64(ttl)*int64(rand.Intn(10))/100,)entry.expireAttime.Now().Add(ttljitter)}c.ll.MoveToFront(elem)return}// 新增条目entry:CacheEntry{key:key,value:value}ifttl0{// 随机偏移防雪崩基线ttl加0-10%抖动jitter:time.Duration(int64(ttl)*int64(rand.Intn(10))/100,)entry.expireAttime.Now().Add(ttljitter)}elem:c.ll.PushFront(entry)c.cache[key]elem// 超过容量时淘汰最久未访问的链表尾部ifc.ll.Len()c.maxEntries{c.removeOldest()}}// removeOldest 淘汰最久未访问的条目func(c*LRUCache)removeOldest(){elem:c.ll.Back()// 链表尾部是最久未访问的ifelem!nil{c.removeElement(elem)}}// removeElement 删除指定链表节点func(c*LRUCache)removeElement(elem*list.Element){c.ll.Remove(elem)entry:elem.Value.(*CacheEntry)delete(c.cache,entry.key)}// HotKeys 返回访问次数最多的N个Key// 用于热点Key检测热点Key可本地缓存减轻分布式缓存压力func(c*LRUCache)HotKeys(nint)[]string{c.mu.Lock()deferc.mu.Unlock()typekvstruct{keystringcntint}items:make([]kv,0,len(c.cache))for_,elem:rangec.cache{entry:elem.Value.(*CacheEntry)itemsappend(items,kv{entry.key,entry.accessCnt})}// 按访问次数降序排序sort.Slice(items,func(i,jint)bool{returnitems[i].cntitems[j].cnt})// 取前n个result:make([]string,0,n)fori:0;inilen(items);i{resultappend(result,items[i].key)}returnresult}布隆过滤器防穿透的原理是用多个哈希函数把不存在的Key标记到位数组中查询时如果位数组对应位都是1才可能存在有任何一位是0则一定不存在。牺牲少量误判率换取空间效率。packagecacheimport(hash/fnv// FNV哈希速度快math// 数学计算sync// 并发保护)// BloomFilter 布隆过滤器// 用于快速判断key是否不存在防止缓存穿透typeBloomFilterstruct{mu sync.RWMutex bits[]uint64// 位数组用uint64切片节省空间hashNumint// 哈希函数个数bitSizeint// 位数组总大小}// NewBloomFilter 创建布隆过滤器// capacity预期元素数量falseRate误判率funcNewBloomFilter(capacityint,falseRatefloat64)*BloomFilter{// 计算所需位数 m -n*ln(p) / (ln(2)^2)m:int(math.Ceil(float64(capacity)*math.Log(falseRate)/(math.Ln2*math.Ln2),))// 计算哈希函数个数 k (m/n) * ln(2)k:int(math.Ceil(float64(m)/float64(capacity)*math.Ln2,))returnBloomFilter{bits:make([]uint64,(m63)/64),// 按uint64切片分配内存hashNum:k,bitSize:m,}}// Add 添加key到布隆过滤器func(b*BloomFilter)Add(keystring){b.mu.Lock()deferb.mu.Unlock()// 用双重哈希模拟k个哈希函数// h1 FNV-1a, h2 FNV-1h1,h2:b.doubleHash(key)fori:0;ib.hashNum;i{// 第i个哈希值 h1 i*h2pos:int((h1uint64(i)*h2)%uint64(b.bitSize))// 设置对应位b.bits[pos/64]|1(pos%64)}}// MightContain 判断key可能存在// 返回false则一定不存在返回true可能误判func(b*BloomFilter)MightContain(keystring)bool{b.mu.RLock()deferb.mu.RUnlock()h1,h2:b.doubleHash(key)fori:0;ib.hashNum;i{pos:int((h1uint64(i)*h2)%uint64(b.bitSize))// 检查对应位是否为1ifb.bits[pos/64](1(pos%64))0{returnfalse// 有任何一位为0则一定不存在}}returntrue// 所有位都为1可能存在}// doubleHash 双重哈希用FNV生成两个独立哈希值func(b*BloomFilter)doubleHash(keystring)(uint64,uint64){h:fnv.New64a()h.Write([]byte(key))h1:h.Sum64()h.Write([]byte(key))// 再写一次生成第二个哈希h2:h.Sum64()ifh20{h21// 避免除零问题}returnh1,h2}三、缓存与DB一致性保障缓存和DB是两个存储系统写操作不可能同时成功必然有时间窗口的不一致。常用策略是Cache Aside Pattern读先查缓存再查DB回填写先更新DB再删缓存。删除缓存优于更新缓存避免并发写时数据错乱。packagecacheimport(contexterrors// 错误处理time// 超时控制)// CacheAside 缓存旁路模式// 读穿策略写删策略保证最终一致性typeCacheAsidestruct{cache*LRUCache// 本地LRU缓存层storage Storage// 数据存储接口bf*BloomFilter// 布隆过滤器}// Storage 数据存储接口// 抽象DB层方便测试和替换实现typeStorageinterface{Get(ctx context.Context,keystring)(interface{},error)Set(ctx context.Context,keystring,valueinterface{})errorDelete(ctx context.Context,keystring)error}// NewCacheAside 创建缓存旁路模式funcNewCacheAside(cache*LRUCache,storage Storage,bf*BloomFilter)*CacheAside{returnCacheAside{cache:cache,storage:storage,bf:bf}}// Get 读取数据先查缓存再查DB// 布隆过滤器过滤不存在的key防止缓存穿透func(c*CacheAside)Get(ctx context.Context,keystring)(interface{},error){// 布隆过滤器检查如果不存在直接返回// 避免不存在的key打到DBif!c.bf.MightContain(key){returnnil,errors.New(key not found (bloom))}// 先查缓存ifval,ok:c.cache.Get(key);ok{returnval,nil// 缓存命中}// 缓存未命中查DBval,err:c.storage.Get(ctx,key)iferr!nil{returnnil,err}// 回填缓存TTL设为5分钟加随机偏移c.cache.Set(key,val,5*time.Minute)returnval,nil}// Set 写入数据先写DB再删缓存// 删除缓存优于更新缓存避免并发写时数据错乱func(c*CacheAside)Set(ctx context.Context,keystring,valueinterface{})error{// 先更新DBiferr:c.storage.Set(ctx,key,value);err!nil{returnerr}// 再删除缓存删除比更新更安全// 延迟双删策略第二次删除在异步队列中执行c.cache.Set(key,value,1*time.Second)// 短暂缓存避免读放大// 布隆过滤器添加keyc.bf.Add(key)returnnil}踩坑经验坑1: 缓存过期策略不当导致内存暴涨有一次线上缓存集群内存从8G涨到16G还在涨排查发现两个问题叠加。问题一部分Key设了永不过期TTL为0冷数据永远不淘汰。商品下架后缓存还在库存数据变更后旧值残留。随着商品数量积累这类僵尸Key越积越多。问题二LRU淘汰链表操作没有加锁并发写入导致链表指针错乱部分节点形成环无法被淘汰。container/list的MoveToFront不具备线程安全性。修复方案是给LRU所有操作加sync.Mutex同时要求所有缓存Key必须设置TTL永不过期的需求用布隆过滤器标记缓存层不存储值只做存在性判断。上线后内存稳定在4G左右。// 修复前的错误代码无锁并发不安全func(c*LRUCache)Set(keystring,valueinterface{}){// 直接操作链表多个goroutine同时写会导致指针错乱ifelem,ok:c.cache[key];ok{c.ll.MoveToFront(elem)// 没有加锁}}// 修复后加锁版本func(c*LRUCache)Set(keystring,valueinterface{}){c.mu.Lock()// 加互斥锁deferc.mu.Unlock()ifelem,ok:c.cache[key];ok{c.ll.MoveToFront(elem)// 链表操作安全}}对比分析维度Redis ClusterMemcached本地缓存(freecache)分布式原生支持分片客户端分片不支持单进程数据结构String/Hash/List/Set纯KV纯KV持久化RDBAOF不支持不支持内存效率高有压缩中等最高零GC压力网络开销有网络RTT有网络RTT无纳秒级访问一致性异步复制最终一致无复制单机无一致性问题适用场景通用分布式缓存纯缓存无持久化超高频读取热点数据总结分布式缓存的核心是分片、淘汰和防护。一致性哈希做分片虚拟节点解决倾斜。LRU做淘汰链表map实现O(1)访问。布隆过滤器防穿透singleflight防击穿随机过期防雪崩。缓存与DB用Cache Aside模式先写DB再删缓存。所有链表操作必须加锁所有缓存Key必须设TTL。本地缓存做第一层拦截分布式热点Redis Cluster做第二层共享缓存。 Go实战:分布式缓存系统设计
Go实战:分布式缓存系统设计摘要: 本篇讲解Go分布式缓存系统设计实现一致性哈希分片和LRU淘汰策略涵盖缓存穿透/击穿/雪崩防护、热点Key检测、缓存与DB一致性保障分享缓存过期策略不当导致内存暴涨的踩坑经验对比Redis Cluster、Memcached、本地缓存三种方案。开篇故事去年我们有个电商商品详情页QPS从3千涨到5万数据库扛不住了。加了Redis缓存后效果明显但问题接踵而至。先是大促时某个爆款商品Key过期瞬间2万请求穿透到DBMySQL CPU飙到100%。后来发现缓存机器内存使用率从40%涨到95%原因是有个同学把缓存过期时间全设成统一值导致大量Key同时过期引发雪崩。我花了两周重写缓存层加了一致性哈希分片、LRU淘汰、布隆过滤器防穿透、随机过期防雪崩。这套代码跑了两个大促周期没出过事故我把核心设计写出来。一、一致性哈希分片分布式缓存第一件事是分片。简单取模的方案在节点变动时大面积缓存失效一致性哈希解决了这个问题。原理是把整个哈希值空间组织成虚拟的圆环节点和数据都映射到环上数据顺时针找到的第一个节点就是归属节点。节点增减只影响相邻区间的数据最小化迁移范围。虚拟节点解决数据倾斜问题。packagecacheimport(hash/crc32// CRC32哈希函数分布均匀且速度快sort// 用于环上节点排序strconv// 整数转字符串用于虚拟节点编号sync// 读写锁保护并发访问)// ConsistentHash 一致性哈希环// 支持虚拟节点解决数据倾斜问题typeConsistentHashstruct{mu sync.RWMutex// 读写锁读多写少场景用RWMutexreplicasint// 每个真实节点的虚拟节点数keys[]uint32// 哈希环上所有虚拟节点的位置有序hashMapmap[uint32]string// 虚拟节点位置到真实节点名的映射}// NewConsistentHash 创建一致性哈希环// replicas越大数据分布越均匀但内存占用越高funcNewConsistentHash(replicasint)*ConsistentHash{returnConsistentHash{replicas:replicas,hashMap:make(map[uint32]string),}}// Add 添加节点到哈希环// 每个真实节点生成replicas个虚拟节点func(h*ConsistentHash)Add(nodes...string){h.mu.Lock()deferh.mu.Unlock()for_,node:rangenodes{// 为每个节点生成replicas个虚拟节点fori:0;ih.replicas;i{// 用节点名编号生成虚拟节点key// CRC32计算速度快分布均匀性足够key:crc32.ChecksumIEEE([]byte(node#strconv.Itoa(i),))h.keysappend(h.keys,key)h.hashMap[key]node// 记录虚拟节点到真实节点的映射}}// 保持环有序方便二分查找sort.Slice(h.keys,func(i,jint)bool{returnh.keys[i]h.keys[j]})}// Get 根据key找到归属节点// 在环上顺时针找到第一个大于等于key哈希值的虚拟节点func(h*ConsistentHash)Get(keystring)string{h.mu.RLock()deferh.mu.RUnlock()iflen(h.keys)0{return}// 计算key的哈希值hash:crc32.ChecksumIEEE([]byte(key))// 二分查找第一个大于等于hash的位置idx:sort.Search(len(h.keys),func(iint)bool{returnh.keys[i]hash})// 如果hash超过最大值回环到第一个节点ifidxlen(h.keys){idx0}returnh.hashMap[h.keys[idx]]}// Remove 从哈希环移除节点// 节点下线时调用该节点数据需要迁移到相邻节点func(h*ConsistentHash)Remove(nodestring){h.mu.Lock()deferh.mu.Unlock()// 收集要删除的虚拟节点位置varnewKeys[]uint32for_,k:rangeh.keys{ifh.hashMap[k]!node{newKeysappend(newKeys,k)}else{delete(h.hashMap,k)// 清理映射关系}}h.keysnewKeys}二、LRU缓存与防护策略分片解决了数据分布问题每个节点内部还需要高效的淘汰策略。LRULeast Recently Used淘汰最近最少使用的Key适合热点数据场景。结合布隆过滤器防穿透、singleflight防击穿、随机过期防雪崩构成完整的缓存防护体系。packagecacheimport(container/list// 双向链表用于LRU淘汰math/rand// 随机数用于过期时间抖动sort// 排序用于热点Key检测sync// 互斥锁保护并发读写time// 过期时间)// CacheEntry 缓存条目typeCacheEntrystruct{keystring// 缓存keyvalueinterface{}// 缓存值expireAt time.Time// 过期时间零值表示永不过期accessCntint// 访问次数用于热点Key检测}// LRUCache LRU缓存// 双向链表维护访问顺序map实现O(1)查找typeLRUCachestruct{mu sync.Mutex// 互斥锁maxEntriesint// 最大条目数ll*list.List// 双向链表 front是最近访问的cachemap[string]*list.Element// key到链表节点的映射bloom*BloomFilter// 布隆过滤器防止缓存穿透}// NewLRUCache 创建LRU缓存funcNewLRUCache(maxEntriesint)*LRUCache{returnLRUCache{maxEntries:maxEntries,ll:list.New(),cache:make(map[string]*list.Element),}}// Get 获取缓存值// 命中时移动到链表头部未命中时检查布隆过滤器func(c*LRUCache)Get(keystring)(interface{},bool){c.mu.Lock()deferc.mu.Unlock()ifelem,ok:c.cache[key];ok{entry:elem.Value.(*CacheEntry)// 检查是否过期if!entry.expireAt.IsZero()time.Now().After(entry.expireAt){// 已过期删除并返回未命中c.removeElement(elem)returnnil,false}// 命中移动到链表头部表示最近访问c.ll.MoveToFront(elem)entry.accessCnt// 访问计数加一用于热点检测returnentry.value,true}returnnil,false}// Set 设置缓存值// 过期时间加随机偏移防止大量Key同时过期引发雪崩func(c*LRUCache)Set(keystring,valueinterface{},ttl time.Duration){c.mu.Lock()deferc.mu.Unlock()// 如果已存在更新值并移到头部ifelem,ok:c.cache[key];ok{entry:elem.Value.(*CacheEntry)entry.valuevalue entry.accessCnt0// 重新计数ifttl0{// 过期时间加10%随机偏移打散过期时间jitter:time.Duration(int64(ttl)*int64(rand.Intn(10))/100,)entry.expireAttime.Now().Add(ttljitter)}c.ll.MoveToFront(elem)return}// 新增条目entry:CacheEntry{key:key,value:value}ifttl0{// 随机偏移防雪崩基线ttl加0-10%抖动jitter:time.Duration(int64(ttl)*int64(rand.Intn(10))/100,)entry.expireAttime.Now().Add(ttljitter)}elem:c.ll.PushFront(entry)c.cache[key]elem// 超过容量时淘汰最久未访问的链表尾部ifc.ll.Len()c.maxEntries{c.removeOldest()}}// removeOldest 淘汰最久未访问的条目func(c*LRUCache)removeOldest(){elem:c.ll.Back()// 链表尾部是最久未访问的ifelem!nil{c.removeElement(elem)}}// removeElement 删除指定链表节点func(c*LRUCache)removeElement(elem*list.Element){c.ll.Remove(elem)entry:elem.Value.(*CacheEntry)delete(c.cache,entry.key)}// HotKeys 返回访问次数最多的N个Key// 用于热点Key检测热点Key可本地缓存减轻分布式缓存压力func(c*LRUCache)HotKeys(nint)[]string{c.mu.Lock()deferc.mu.Unlock()typekvstruct{keystringcntint}items:make([]kv,0,len(c.cache))for_,elem:rangec.cache{entry:elem.Value.(*CacheEntry)itemsappend(items,kv{entry.key,entry.accessCnt})}// 按访问次数降序排序sort.Slice(items,func(i,jint)bool{returnitems[i].cntitems[j].cnt})// 取前n个result:make([]string,0,n)fori:0;inilen(items);i{resultappend(result,items[i].key)}returnresult}布隆过滤器防穿透的原理是用多个哈希函数把不存在的Key标记到位数组中查询时如果位数组对应位都是1才可能存在有任何一位是0则一定不存在。牺牲少量误判率换取空间效率。packagecacheimport(hash/fnv// FNV哈希速度快math// 数学计算sync// 并发保护)// BloomFilter 布隆过滤器// 用于快速判断key是否不存在防止缓存穿透typeBloomFilterstruct{mu sync.RWMutex bits[]uint64// 位数组用uint64切片节省空间hashNumint// 哈希函数个数bitSizeint// 位数组总大小}// NewBloomFilter 创建布隆过滤器// capacity预期元素数量falseRate误判率funcNewBloomFilter(capacityint,falseRatefloat64)*BloomFilter{// 计算所需位数 m -n*ln(p) / (ln(2)^2)m:int(math.Ceil(float64(capacity)*math.Log(falseRate)/(math.Ln2*math.Ln2),))// 计算哈希函数个数 k (m/n) * ln(2)k:int(math.Ceil(float64(m)/float64(capacity)*math.Ln2,))returnBloomFilter{bits:make([]uint64,(m63)/64),// 按uint64切片分配内存hashNum:k,bitSize:m,}}// Add 添加key到布隆过滤器func(b*BloomFilter)Add(keystring){b.mu.Lock()deferb.mu.Unlock()// 用双重哈希模拟k个哈希函数// h1 FNV-1a, h2 FNV-1h1,h2:b.doubleHash(key)fori:0;ib.hashNum;i{// 第i个哈希值 h1 i*h2pos:int((h1uint64(i)*h2)%uint64(b.bitSize))// 设置对应位b.bits[pos/64]|1(pos%64)}}// MightContain 判断key可能存在// 返回false则一定不存在返回true可能误判func(b*BloomFilter)MightContain(keystring)bool{b.mu.RLock()deferb.mu.RUnlock()h1,h2:b.doubleHash(key)fori:0;ib.hashNum;i{pos:int((h1uint64(i)*h2)%uint64(b.bitSize))// 检查对应位是否为1ifb.bits[pos/64](1(pos%64))0{returnfalse// 有任何一位为0则一定不存在}}returntrue// 所有位都为1可能存在}// doubleHash 双重哈希用FNV生成两个独立哈希值func(b*BloomFilter)doubleHash(keystring)(uint64,uint64){h:fnv.New64a()h.Write([]byte(key))h1:h.Sum64()h.Write([]byte(key))// 再写一次生成第二个哈希h2:h.Sum64()ifh20{h21// 避免除零问题}returnh1,h2}三、缓存与DB一致性保障缓存和DB是两个存储系统写操作不可能同时成功必然有时间窗口的不一致。常用策略是Cache Aside Pattern读先查缓存再查DB回填写先更新DB再删缓存。删除缓存优于更新缓存避免并发写时数据错乱。packagecacheimport(contexterrors// 错误处理time// 超时控制)// CacheAside 缓存旁路模式// 读穿策略写删策略保证最终一致性typeCacheAsidestruct{cache*LRUCache// 本地LRU缓存层storage Storage// 数据存储接口bf*BloomFilter// 布隆过滤器}// Storage 数据存储接口// 抽象DB层方便测试和替换实现typeStorageinterface{Get(ctx context.Context,keystring)(interface{},error)Set(ctx context.Context,keystring,valueinterface{})errorDelete(ctx context.Context,keystring)error}// NewCacheAside 创建缓存旁路模式funcNewCacheAside(cache*LRUCache,storage Storage,bf*BloomFilter)*CacheAside{returnCacheAside{cache:cache,storage:storage,bf:bf}}// Get 读取数据先查缓存再查DB// 布隆过滤器过滤不存在的key防止缓存穿透func(c*CacheAside)Get(ctx context.Context,keystring)(interface{},error){// 布隆过滤器检查如果不存在直接返回// 避免不存在的key打到DBif!c.bf.MightContain(key){returnnil,errors.New(key not found (bloom))}// 先查缓存ifval,ok:c.cache.Get(key);ok{returnval,nil// 缓存命中}// 缓存未命中查DBval,err:c.storage.Get(ctx,key)iferr!nil{returnnil,err}// 回填缓存TTL设为5分钟加随机偏移c.cache.Set(key,val,5*time.Minute)returnval,nil}// Set 写入数据先写DB再删缓存// 删除缓存优于更新缓存避免并发写时数据错乱func(c*CacheAside)Set(ctx context.Context,keystring,valueinterface{})error{// 先更新DBiferr:c.storage.Set(ctx,key,value);err!nil{returnerr}// 再删除缓存删除比更新更安全// 延迟双删策略第二次删除在异步队列中执行c.cache.Set(key,value,1*time.Second)// 短暂缓存避免读放大// 布隆过滤器添加keyc.bf.Add(key)returnnil}踩坑经验坑1: 缓存过期策略不当导致内存暴涨有一次线上缓存集群内存从8G涨到16G还在涨排查发现两个问题叠加。问题一部分Key设了永不过期TTL为0冷数据永远不淘汰。商品下架后缓存还在库存数据变更后旧值残留。随着商品数量积累这类僵尸Key越积越多。问题二LRU淘汰链表操作没有加锁并发写入导致链表指针错乱部分节点形成环无法被淘汰。container/list的MoveToFront不具备线程安全性。修复方案是给LRU所有操作加sync.Mutex同时要求所有缓存Key必须设置TTL永不过期的需求用布隆过滤器标记缓存层不存储值只做存在性判断。上线后内存稳定在4G左右。// 修复前的错误代码无锁并发不安全func(c*LRUCache)Set(keystring,valueinterface{}){// 直接操作链表多个goroutine同时写会导致指针错乱ifelem,ok:c.cache[key];ok{c.ll.MoveToFront(elem)// 没有加锁}}// 修复后加锁版本func(c*LRUCache)Set(keystring,valueinterface{}){c.mu.Lock()// 加互斥锁deferc.mu.Unlock()ifelem,ok:c.cache[key];ok{c.ll.MoveToFront(elem)// 链表操作安全}}对比分析维度Redis ClusterMemcached本地缓存(freecache)分布式原生支持分片客户端分片不支持单进程数据结构String/Hash/List/Set纯KV纯KV持久化RDBAOF不支持不支持内存效率高有压缩中等最高零GC压力网络开销有网络RTT有网络RTT无纳秒级访问一致性异步复制最终一致无复制单机无一致性问题适用场景通用分布式缓存纯缓存无持久化超高频读取热点数据总结分布式缓存的核心是分片、淘汰和防护。一致性哈希做分片虚拟节点解决倾斜。LRU做淘汰链表map实现O(1)访问。布隆过滤器防穿透singleflight防击穿随机过期防雪崩。缓存与DB用Cache Aside模式先写DB再删缓存。所有链表操作必须加锁所有缓存Key必须设TTL。本地缓存做第一层拦截分布式热点Redis Cluster做第二层共享缓存。