针对那些规模达万人的高校、产业园区以及大型企业食堂来讲, 午晚高峰时段在 1 小时之内要承受数千甚至上万人同时集中就餐的情况, 这是每天都必须直面的刚性考验。结算系统出现卡顿现象, 服务器发生宕机状况, 网络出现中断致使全线停摆, 这不但会引发排队拥堵问题, 导致就餐秩序变得混乱, 还会直接造成账实不符情况显现, 食安管控出现断层情节, 甚至会引发群体性投诉事件。而智慧食堂的核心价值, 向来都不只是“结算速度快”, 更是“高峰时段运行稳定、故障发生频率少且断网时也能够使用”。据行业调研呈现, 超八成的大型食堂曾历经高峰期系统出现故障, 其中六成故障来源于服务器单点出现宕机以及网络发生中断, 传统智慧食堂系统通常采用 “云端服务器 前端终端” 的中心化架构, 不但没有冗余容错机制, 还高度依靠网络, 一旦核心节点产生问题, 全场业务便会直接停止运转真正能够承接万人级高并发的系统, 必定要在架构层面构建双重兜底情形: 双机热备来保障服务不会中断, 断网结算去打破网络依赖。乐牛身为智慧食堂领域中的领军品牌, 凭借全栈自我研发的技术根基, 构建起了“服务器双机组进行热备份加上终端属于边缘计算” 这样一种双层具备高度可用性架构其具备多项独特设计工艺为此而在行业中独享, 并且已经是在属于全国范围内好多个人数多达万人规模程度而设立出的食堂应用场景里获得稳稳当当有效的验证了。一、万人级食堂的稳定性困局三重不可承受的故障风险业务特性属于万人级食堂, 这就决定了它对系统稳定性的要求, 要远远高于中小食堂, 任何微小的技术方面的缺陷, 在高峰流量的情况下, 都会被指数级放大。在流量洪峰的冲击之下, 万人食堂面临着并发承载能力的极限考验, 其问题在于就餐时间高度集中, 单小时峰值并发能够达到数千笔交易, 这达到了普通食堂的5至10倍。通常情况下, 普通架构的系统在低并发情境下运行并无何异常, 然而一旦迎来高峰, 就会致使响应延迟出现, 识别产生卡顿, 扣费出现超时状况, 甚至直接走向崩溃, 究其本质乃是算力与架构根本不足以承接流量洪峰。那单点故障连锁的情况就是, 一处出现宕机结果全场就会停摆, 在传统单服务器架构的情况下, 核心服务器是单点, 数据库是单点, 网络出口同样是单点一旦出现硬件故障, 或者系统崩溃, 又或者机房断电, 所有结算业务全部中断, 留样业务全部中断, 晨检业务也全部中断, 食堂由此只能退回人工打饭的模式, 只能采用手工记账的模式, 效率出现倒退, 效率倒退到十年前, 并且账实不符的风险极高。网络深度依赖情况是这样, 若是断网就等同于停业, 绝大多数云端架构的智慧食堂系统, 其所有的计算依赖云端服务器, 所有的校验也依赖云端服务器, 所有的存储同样依赖云端服务器, 一旦网络中断了, 刷脸识别会失效, 余额扣费会失效, 数据上传也会失效, 终端就直接成为“摆设”了、园区的网络故障并不罕见, 校园的网络故障也并不罕见, 光纤被挖断会导致全场停摆, 机房进行检修会导致全场停摆, 运营商出现波动也会导致全场停摆。要打破这三大困境局面, 仅仅依靠提高硬件配置, 那是远远不够的情形, 一定要从底层的架构着手出发, 去搭建构建冗余容错的一种机制, 以及具备能够进行离线运行的能力才行的呀。二、架构核心一双机热备体系毫秒级切换实现服务零中断关键业务系统的标准高可用方案是双机热备, 它借助主备节点实时同步, 以及出现故障时自动切换, 如此来防止因单点故障致使服务中断。然而呢, 在行业范围之内, 多数智慧食堂所采用的“双机热备”仅仅局限于服务器的层面, 并且, 存在切换延迟高、数据一致性差的状况, 所以很难去适配食堂高峰场景所具有的严苛要求。传统双机热备有着较为普遍的短板, 乐牛全链路双机热备架构, 这是行业独家设计的。凭借着全栈自主研发的技术体系, 乐牛把双机热备从服务器层面拓展到整全业务链路范围, 构建起“核心层 接入层 终端层”三级冗余模式, 切实达成故障无感知切换、数据没丢失的效果。核心服务器存在主从热备的情况, 数据呈现实时双向同步态势, , 核心业务服务器以及数据库皆采用双机热备架构, 依靠专用心跳链路每秒去检测主节点状态, 数据库运用半同步复制机制, 以保证每笔交易写入主库之后同步至备库随后返回成功, 主节点出现宕机、断电、网络中断等故障之际, 备机在100毫秒内自动接管业务, VIP进行无缝漂移, 前端终端没有感知, 全程不需要人工干预。不同于行业通常采用的异步同步办法, 乐牛所拥有的强一致同步机制, 能保证在故障切换之际, 数据毫无丢失, 不会产生错账以及漏账情形, 财务数据完整且可以追溯追寻, 所有链路节点具备冗余特性, 消除了单点所存在的隐患, 不单单是服务器, 乐牛的方案针对网络网关、核心交换机以及接入交换机等关键的节点, 全都进行了冗余备份的配置, 当单条链路、单台设备出现故障的时候, 流量会自动切换到备用链路, 整个过程不会对终端运行造成影响, 从终端一直到服务器的整个链路都不存在单点情况, 把故障发生的概率降低到行业平均水平的二十分之一。管理平台针对所有在线终端, 开展终端心跳监测, 进行毫秒级监测, 以此实现实时掌握设备运行状态, 同时设有自动修复机制, 一旦出现进程异常以及网络波动情况, 终端便会自动触发自修复机制, 该机制会重置网络, 还会重启服务进程, 能让80%以上处于轻微程度的故障实现自动恢复, 无需人工到达现场进行处置, 对于那些无法自动修复的故障, 系统会自动生成工单并推送至本地运维人员处, 以确保能够得到最快响应。经过实际测量, 乐牛双机热备这一架构能够达成百分之九十九点九九的系统可用比率, 一整年之中计划之外的处于停机状态的时间不会超出五分钟, 完全能够满足那种拥有上万人规模的食堂, 一周七天、一天十二个小时稳定运转的需求。三、架构核心二断网结算能力边缘计算打破网络依赖假如要说双机热备是服务器出现故障时的一种兜底措施, 那么断网结算就是网络发生故障时的关键保障。行业里面多数方案所具备的“离线模式”仅仅只是能够支持刷卡支付, 刷脸识别、称重计价、食安留样等这些核心功能全部都失去有效性, 其本质实际上乃是“半离线”状态, 根本没有办法保障完整的业务能够正常运转。传统离线方案存在局限性, 乐牛边缘计算具备全功能离线架构, 这是行业独家拥有的能力。乐牛运用 “云 - 边 - 端” 三级架构, 把核心计算能力下沉到终端跟边缘节点, 每一台智能设备都拥有独立的本地算力以及存储, 断网之际完整承载全部业务功能, 着实达到 “断网不停业、功能不打折” 之情况。全业务离线运行由终端本地算力承载, 每台结算终端皆内置工业级边缘计算模块, 留样秤也内置该模块, 晨检机同样如此, 人脸识别算法在本地运行, 称重计价引擎于本地运行, 身份校验逻辑也在本地运行, 都无需上传至云端计算, 在断网状态时, 刷脸识别功能可正常使用, 不受任何影响, 称重计费功能正常使用, 不受任何影响, 余额扣减功能正常使用, 不受任何影响, 食品留样功能正常使用, 不受任何影响, 人员晨检功能正常使用, 不受任何影响, 并非仅支持刷卡支付。拿称重结算终端当作例子来说, C3级传感器的数据采集工作完成, 重量换算作业完成, 价格计算整个流程在本地达成, 零点二秒就能输出结算结果, 断网之际精度跟速度与联网状态保持完全相同, 本地进行加密存储, 风控规则完整产生效力, 终端在本地加密存储人员白名单、账户余额、挂失列表、价格模板等核心数据, 离线交易的时候完整执行消费限额、黑名单拦截、补贴规则等风控逻辑, 不会因为断网而出现管理漏洞。每一台终端能够存储数量达到数十万条的交易记录, 它支持持续超过 7 天的全然离线状态下运行, 能够将常规网络故障的修复周期, 完全地覆盖住。具备断点续传以及幂等校验, 使得数据可以达到零差错同步, 在网络恢复之后, 系统会自动地在静默状态下, 同步断网期间的全部交易数据, 运用幂等校验机制, 以此来保证数据不会出现重复, 也不会出现遗漏, 在同步完成之后能够自动与云端进行对账, 确保账实保持一致。整个同步过程并不需要人工去进行干预, 后台管理人员不会为此有任何感知, 数据的一致性能够达到 100%。市政光纤被挖断出现了突发, 这突发发生在阳江一中等好些校园项目中, 机房网络也进行了检修, 同样是突发状况, 在这些突发的状况里头, 乐牛系统全程处于离线状态, 运行却正常, 就餐秩序没有受到任何的影响, 网络恢复之后, 数据自动同步, 对账完成得零差错。四、万人级并发的底层支撑分布式架构 全栈自研调优双机热备通过措施解决了“故障不宕机”问题, 断网结算借此也解决了“故障不宕机”问题, 然而要平稳承接万人级别的高峰流量, 架构层面的并发承载能力是还需要具备的。乐牛方案从分布式设计着手, 在全链路进行优化, 在高并发状况下全方位提升稳定性以及效率。分布式的负载均衡, 能够做到平滑地承接流量洪峰。后端运用分布式服务架构, 结算业务模块独立部署, 身份识别业务模块独立部署, 数据查询业务模块独立部署, 凭借负载均衡器把高峰流量均匀地分摊到多台服务器节点, 以此避免单点出现过载情况。单集群能够稳定承载单餐 20000 人次的结算请求, 当并发量提升之际可以横向扩展节点, 实现弹性扩容且不存在瓶颈。全然自主研发并作出深度优化, 其性能远远超越通用的解决办法, 和业界广泛采用的那种“公模性质的硬件与开源性质的系统”组合拼接的模式不一样, 乐牛的核心软件以及硬件都是百分之百完成全栈式的自主研发, 自传感器推动、识别方面的算法、业务的逻辑一直到系统的内核, 均全程实施深度条理优化, 在同样的硬件配置情形之下单个终端进行结算处理的效率比通用方案要高处五成, 资源所占到的比率降低三层, 在承受高并发的情景之中更具稳定性、更为流畅。经过两万次极其严苛的压力测试, 乐牛结算终端在处于满负荷并发的情况下, 读盘成功率达到了 100%, 人脸识别响应始终稳稳地维持在 0.2 秒以内, 不会因为并发量升高而出现延迟急剧飙升, 有着分级流量管控, 在高峰时期会自动优先保障核心业务, 系统内部设置了智能流量管控的策略, 在高峰期自动去优先保障结算、扣费等核心交易业务, 非核心的报表查询、统计分析等业务会自动降低级别, 以此确保核心就餐链路畅通没有阻碍, 避免非核心业务去挤占算力资源。结语: 稳定是智慧食堂的底线, 架构是稳定的根基。对于那种有着上万人规模的大规模食堂来讲, 智慧食堂之间的竞争早就不是在功能数量方面的比拼了, 而是在底层架构以及稳定性上展开的较量。双机热备这项功能能够解决服务器单点故障问题, 断网结算可以打破对网络的依赖状况, 分布式架构能够承接高峰时期的用户流量, 这三者一起共同构建起了高可用系统那核心的骨架。乐牛能够在数十个有着万人规模的场景中稳定实现落地, 其关键核心之处在于并未在通用架构之上进行表层的修补工作, 而是从全栈自行研发的技术根基出发, 针对团餐出现高峰的场景做出了专属的架构设计, 这其中包括全链路双机热备, 全功能离线运行, 全链路性能调优等, 多项独有的设计填补了所在行业的空白之处, 同时也对大规模智慧食堂的稳定性标准进行了重新的定义。挑选乐牛智慧食堂, 并非仅仅挑选一套具备高效性的结算系统, 而是挑选一套历经万人规模场景验证的拥有高可用性的架构, 全然抛却高峰期时系统出现宕机、断网致使停业的那些后顾之忧, 使得万人食堂的每一回就餐高峰都能够平稳且有序。