文档定位基于 azloc-2606 官方运维文档manage/monitor-cluster、manage/update-cluster、manage/add-server、manage/repair-server、concepts/security、concepts/network-atc-overview、deploy/rack-aware-cluster-post-deployment、concepts/physical-network-requirements。适用版本Azure Local 2510 及以后。配套本文是连载 ①《规划篇》、②《部署篇》的运营章节。1. Rack Aware Cluster 运维关注的三个重点rack aware cluster 的运维跟普通 Azure Local 没本质区别但有 3 个领域会被 rack aware 形态影响跨机柜故障域racking / power / TOR 维护RDMA 跨房间链路额外一跳 跨房间光纤可用区zone均衡VM 安置策略本章按日常 / 监控 / 容量 / 固件与 OS / 容灾演练五条线展开。2. 日常巡检建议每日 / 每周2.1 每日必看# Cluster 健康 Get-Cluster | Select Name, State # 节点状态 Get-ClusterNode | Select Name, State, NodeWeight # 存储池 Get-StoragePool | Get-PhysicalDisk | Group-Object OperationalStatus, HealthStatus # CSV 健康 Get-ClusterSharedVolume | Select Name, State, Health # SMB Direct 健康微软官方排查 RDMA 第一批命令 Get-SmbClientNetworkInterface # 客户端视角可用 NIC RDMA 能力 Get-SmbServerNetworkInterface # 服务器视角 Get-SmbMultichannelConnection # 当前 RDMA 会话 # 跨房间 RDMA 实时延迟PowerShell 远程测 $roomA Node1 # room A 节点 $roomB Node3 # room B 节点 Invoke-Command -ComputerName $roomA -ScriptBlock { Test-NetConnection -ComputerName $roomB -Port 445 } # 重点看 PingReplyDetails.RTT 1msazloc-2606 官方未给 PowerShell 实时跨房间 RTT 命令上面是基于 Test-NetConnection 的常见做法——但 Test-NetConnection 测的是TCP 端口连通与 ICMP RTT不是 RDMA latency。如需测 RDMA 路径延迟请用ntttcp / VMFleet等微软推荐的 RDMA 基准工具。生产中可配定时任务每小时一次 TCP RTT 取趋势RDMA 路径按需压测。2.2 每周必看azloc-2606 monitor-cluster 路径通过 Windows Admin Center仪表盘CPU / 内存 / 存储 IOPS / 延迟节点 CPUazloc-2606 monitor-cluster 原文No server in the cluster should use more than 85 percent of its CPU for longer than 10 minutes——这是微软 Health Service 建议观察值不是硬阈值建议调查持续超过 85% 且持续 10 分钟以上的情况必要时再进行容量规划节点内存单节点剩余 100MB 持续 10 分钟 考虑加内存azloc-2606 monitor-cluster 原文通过 Azure portalAzure Local Insights每个节点的存储性能计数器跨节点 VM 分布2.3 每月必做跨房间 RTT 趋势分析TOR / spine 端口错包率azloc-2606 physical-network-requirements 要求 PFC/ETS 健康备份演练恢复一个测试 VMCapacityrebalance 状态Witness 健康3. 监控工具链azloc-2606 monitor-cluster 原文3.1 Windows Admin Centerazloc-2606 原文The top of the Windows Admin Center dashboard prominently displays critical alerts as soon as you sign in. The bottom of the dashboard displays cluster performance information, such as input/output operations/second (IOPS) and latency by hour, day, week, month, or year.安装方式azloc-2606 原文Desktop mode装在管理 PC 上简单Service mode装在服务器上适合 Azure AD 认证桌面模式够用服务模式用于大规模/多 cluster 统一管理。3.2 监控对象azloc-2606 monitor-cluster 原文维度关键指标阈值 / 备注VMCPU、内存压力、心跳、ASR 状态心跳 3 次/5 分钟 告警ServerCPU、内存、Health ServiceCPU 85% 持续 10min 告警VolumeSize、Usage、IOPS、Latency、Resiliency关注 ReFS dedup/compression 副作用DriveHealth、Model、Size、Type、Usage、Pool15 分钟丢通信 Storage Spaces Health Service 默认行为自动 retireazloc-2606 原文Virtual Switch关联 NIC、IP、Link speed、MAC关注 25G 链路是否降速Performance Monitor实时计数器保存 workspace 复用3.3 Health Serviceazloc-2606 monitor-cluster 原文azloc-2606 原文Any Health Service fault on the cluster should be investigated。# Health Service 报告azloc-2606 monitor-cluster 原文推荐 Get-StorageSubSystem Cluster | Get-StorageFaultDomain -Type StoragePool Get-HealthFault # Health Service fault 报告主要 # SSD / NVMe SMART 计数器与 Health Service 报告不同职责 Get-StorageReliabilityCounter # 可靠性计数器硬件层 SMART 数据3.4 Azure Local Insightsazloc-2606 monitor-cluster 路径azloc-2606 原文You can Monitor Azure Stack HCI clusters from Azure portal and use Azure Stack HCI Insights to monitor cluster health, performance, and usage.通过 Azure portal → Azure Local 资源 → Insights 启用默认包含Capacity usageNode healthVM healthStorage performance网络适配器性能历史3.5 性能历史azloc-2606 monitor-cluster 原文azloc-2606 原文You can also monitor Azure Stack HCI clusters using PowerShell cmdlets that return information about the cluster and its components. See Performance history for Storage Spaces Direct。Get-ClusterPerf -ClusterName YourCluster3.6 Storage QoSazloc-2606 monitor-cluster 原文azloc-2606 原文Storage Quality of Service (QoS) provides a way to centrally monitor and manage storage I/O for VMs to mitigate noisy neighbor issues and provide consistent performance. See Storage Quality of Service。# 创建 QoS 策略 New-StorageQosPolicy -Name GoldPolicy -MaximumIoOperationsPerSecond 10000 # 绑到 VM Get-VM VM1 | Set-VM -QoSPolicy GoldPolicy4. 容量管理4.1 扩容azloc-2606 add-server 原文 rack-aware 约束Rack aware 的扩容规则azloc-2606 rack-aware-cluster-overview 原文22 → 33 → 44不允许 23 / 24 等非对称上限 44azloc-2606 add-server 文档说一次加一个是通用 cluster 规则rack-aware-cluster-overview 明确说成对加。以 rack aware 文档为准。详细命令见部署篇 7.2。4.2 缩容azloc-2606 add-server 原文It isnt possible to permanently remove a node from a system。翻译不能永久移除节点。这是 azloc-2606 明文约束。Azure Local 当前不支持缩减集群Cluster Downsize。repair-server 仅用于节点重装或修复不属于容量缩减操作。对于 Rack Aware Cluster目前仅支持按官方定义的扩容路径22 → 33 → 44不支持从较大规模回退到较小规模。4.3 卷扩容# 横向扩多挂盘 Add-PhysicalDisk -StoragePoolFriendlyName SU1_Pool -PhysicalDisks $newDisks # 纵向扩卷大小 Resize-Volume -DriveLetter C -Size (500GB) # CSV 在底层也是 Volume统一用 Resize-VolumeResize-Volume 操作后 CSV 会自动完成对应扩展注意扩卷前确认 storage pool 是健康的Get-StoragePool | Get-Health并且没有 rebalance 在跑Get-StorageJob返空即可——azloc-2606 推荐直接调用Get-StorageJob不需要Get-VirtualDisk | Get-StorageJobpipeline。4.4 性能基线azloc-2606 推荐工具azloc-2606 性能测试章节不在 rack aware 专章但适用推荐用DiskSpd单点和VMFleet机群—— 这是 WAF Performance Efficiency 章节点名的工具。DiskSpd单节点单卷吞吐/IOPS/延迟VMFleet多 VM 同时压模拟真实业务每次重大变更前后扩节点、改 TOR 拓扑、换 firmware都应重跑基线并对比。5. 固件与 OS 更新azloc-2606 system-requirements-23h2 update-cluster 原文5.1 更新通道azloc-2606 system-requirements-23h2 原文节点类型通道Premier solutions integrated systems自动通过 Azure Update ManagerIntegrated systems validated nodes手动用 OEM SBE 包重要提醒azloc-2606 原文Windows Admin Center extensions are no longer supported for installing drivers and firmware针对 23H2仍可用 WAC 在 Windows Server S2D 节点上节点 OS image 必须是同 solution versionazloc-2606 add-server / repair-server 原文明示5.2 OS 更新azloc-2606 update-cluster 路径azloc-2606 原文Azure Local 用Azure Update Manager更新不用 CAU不用 WAC Updates 工具22H2 时代的工具azure local 已转向 Arc Update ManagerUpdate Manager 工作流Portal → Update Manager → 选 cluster检查更新 → 选 quality update / feature update触发安装逐节点 pause → drain → 安装 → resumerack aware 提醒在 room A 跑更新时room B 节点要保持 quorum22 任何时刻要保证 ≥ 2 节点在线。Update Manager 不会自动识别 zone按节点走。5.3 维护模式Maintenance Modeazloc-2606 推荐的官方维护模式是PauseSuspend Drain → 更新 → Resume的逐节点流程不论 BIOS / Firmware / Driver 还是 OS 更新都建议遵循。# 1. 进入维护模式azloc-2606 推荐 Get-ClusterNode -Name Node01 | Suspend-ClusterNode -Drain # 2. 维护完成后恢复 Resume-ClusterNode -Name Node01流程要点Drain把节点上托管的 VM 自动迁出Live Migration 到其他节点Suspend将节点置于暂停Paused维护状态不再承载新的 Cluster 工作负载Suspend-ClusterNode不会直接改变 Node Vote只阻止资源调度到该节点更新BIOS / Firmware / Driver / OS 任一环节Resume更新后 Resume-ClusterNode 重新加入rack aware 提醒逐节点维护时确保 Cluster 始终保持 QuorumDynamic Quorum / Dynamic Witness 机制会自动调整投票权重但仍需节点数满足法定要求。5.4 固件更新azloc-2606 system-requirements-23h2 原文Premier自动Integrated / Validated手动按 OEM 提供的 SBE 包update 前查 OEM compatibility matrix5.5 Cluster-Aware UpdatingCAUazloc-2606 update-cluster 文档主要面向 22H2对 Azure Local 2510 已不是主推。但若 OEM 工具仍用 CAU关键 cmdlet 保留Invoke-CauRun -ClusterName YourCluster -CauPluginName Microsoft.RollingUpgradePlugin5.6 注意事项azloc-2606 原文不要同时在 WAC wizard Update Manager CAU 三处启动更新azloc-2606 原文警告状态机会冲突更新前确保 storage pool 健康重启时如果出现storage isnt complete or up-to-date提示azloc-2606 原文不要拔盘——它在同步5.7 更新后验证Post Update Validation更新完成后建议验证以下项目azloc-2606 配套Microsoft Support 工程师常用闭环# 1. 所有节点 Up Get-ClusterNode # 2. Storage Job 已结束 Get-StorageJob # 3. Health Service 无新 Fault Get-HealthFault # 4. Network ATC 无 Drift Get-NetIntentStatus # 5. CSV Online Get-ClusterSharedVolume确认项所有节点 UpStorage Job 已结束Health Service 无新 FaultNetwork ATC 无 DriftCSV Online形成更新 → 验证 → 恢复业务的完整闭环。6. 安全运维azloc-2606 security 原文 Rack Aware Cluster 注意事项6.1 基线azloc-2606 security 原文azloc-2606 security 文档分三部分Part 1基础安全Secure Boot、UEFI、TPM、Credential Guard、BitLocker、SMB 加密Part 2Microsoft Defender for CloudPart 3高级加固Security Baselines、SDN 微分段、vTPM6.2 Rack aware 特有的安全考量6.2.1 物理安全跨房间机柜 双重物理访问控制每个机柜有独立 BMS 监控rack aware 不是 DR不替代异地灾备但机柜级物理隔离能挡单机房灾难如水患、火灾6.2.2 网络分段management compute intent 跨两房间L2 域 任意房间的 admin 可触及另一房间的 NIC建议用 NSG / ACL 把 management 网段限制到跳板机 IP 段storage intent 走 L2 不上 IP但 MSTP / DCB 配置错了任一房间可被另一房间嗅探 RDMA→ 强 SPN/SMB 加密6.2.3 凭据部署账户DEPLOYMENT、AzureStackLCMUser的密码不能只放在一个机柜的 jumpboxLAPS 必须打开azloc-2606 security 原文域控不要单点放在一个机柜至少跨机柜的 2 副本6.2.4 审计把 cluster 节点 TOR 的 syslog 集中到 SIEMBMC / iLO 自身的安全日志也要收跨房间的 ARP / MAC 学习异常 物理层嗅探迹象6.2.5 BitLockerOS 盘boot volume 数据卷CSV建议全开azloc-2606 security 原文Key Vault 必须是同一 cluster 可达的rack aware 默认 OK但机房之间 KV 网络要通6.2.6 Secure Core Serverazloc-2606 security 原文 趋势azloc-2606 security 文档越来越强调Secure Core Server体系建议启用 Secure Core Server 推荐配置包括 Secure Boot、TPM 2.0、DMA Protection 等这与 BitLocker / Credential Guard / WDAC 共同构成硬件信任根 → OS → 应用三层防护rack aware 场景所有节点必须一致启用避免 fault domain 发生故障切换后安全策略不一致6.2.7 SMB 加密azloc-2606 security 原文smbClusterEncryption在 ARM 模板里默认开iWARP BitLocker on CSV smbClusterEncryption 三重加密性能损耗叠加实际性能影响依赖 CPU、NIC、SMB Direct 配置和工作负载特征azloc-2606 未提供统一性能损耗数字性能敏感场景要 benchmark 后再决定6.3 Defender for Cloudazloc-2606 security 原文azloc-2606 原文After registering, access MDC in Windows Admin Center: On the All Connections page, select a server or VM, under Tools, select Microsoft Defender for Cloud, and then select Sign into Azure。racker aware 注意点Log Analytics agent 装在每个节点workspace 设计上考虑分两个机柜的 agent 向同一个 workspace 上报告警阈值要按 zone 区分一个机柜掉线和整个 cluster 掉线意义不同6.4 Credential Guard / Device Guardazloc-2606 security 原文Device Guard and Credential Guard ... uses virtualization-based security to isolate secrets。rack aware 节点全部打开# 启用 Credential Guard需要重启 $reg HKLM:\SYSTEM\CurrentControlSet\Control\DeviceGuard New-ItemProperty -Path $reg -Name LsaCfgFlags -Value 1 -PropertyType DWord -Force6.5 抓诊断包 Support Bundle重大变更前后必做azloc-2606 推荐的官方诊断包抓取命令Get-AzStackHciDiagnosticInfo # 抓诊断包azloc-2606 monitor-cluster 路径 Send-DiagnosticData # 上传至 Microsoft建议时机重大升级 / 扩节点 / firmware 更新前后各抓一份故障复现后立即抓季度基线抓一份存档6.4 Credential Guard / Device Guardazloc-2606 security 原文Device Guard and Credential Guard ... uses virtualization-based security to isolate secrets。rack aware 节点全部打开# 启用 Credential Guard需要重启 $reg HKLM:\SYSTEM\CurrentControlSet\Control\DeviceGuard New-ItemProperty -Path $reg -Name LsaCfgFlags -Value 1 -PropertyType DWord -Force7. Network ATC 运维azloc-2606 network-atc-overview 原文7.1 查 intent 状态Get-NetIntentStatus -ClusterName YourCluster输出字段intent 名、是否在所有节点一致、配置漂移告警。7.2 漂移drift检测azloc-2606 network-atc-overview 原文核心卖点Eliminate configuration drift。# 手工重应用 Get-NetIntent | Update-NetIntent7.3 加 / 删 intent# 加 Add-NetIntent -Name NewStorage -Storage -AdapterName Ethernet5 # 删会还原成 manual 状态 Remove-NetIntent -Name OldIntent7.4 Live Migration 设置azloc-2606 原文azloc-2606 原文Network ATC keeps you up to date with the recommended guidelines for Live Migration based on the operating system version。例如同时 LM 数默认 OS 推荐值LM 网络自动选 storage intentLM 传输SMB如果 ≥ 5 Gbps RDMARDMA 带宽限制用Set-SMBBandwidthLimit -Category LiveMigration -BytesPerSecond 750MBazloc-2606 host-network-requirements 原文≈ 6 Gbps7.5 vPC / vSphere-Equivalent 跨房间 TOR 配置azloc-2606 reference-architecture 原文给出 vPC 拓扑 B 完整命令模板。运维上要保持 hash 算法一致——TOR firmware 升级会改 hash会导致 SMB session 重连。建议固化 firmware 版本升级前看 release notes。8. 备份与恢复8.1 备份对象系统状态azloc-2606 system-requirements-23h2 推荐用 OEM 提供的 backup tool工作负载 VMworkload volume 数据8.2 备份拓扑注意Rack aware 备份不能只把备份目标放一个机柜否则这个机柜掉了就备份都没了。三个选项跨机柜目标备份 target 是另一个机柜里的 SMB share推荐Azure Backup通过 Arc → Azure Backupazloc-2606 间接支持异地复制再叠一层异地 DRrack aware 不替代异地8.3 恢复演练azloc-2606 repair-server 原文特别强调Make sure that you always have backups for your workloads and dont rely on the system resiliency only. This precaution is especially critical in single-node scenarios。Rack Aware Cluster 注意事项不依赖 RLNM 4-way mirror 就高枕无忧——RLNM 只能挡单盘/单节点故障备份要单独定期演练模拟拔一个机柜的网线 → 验证另一机柜业务连续 → 插回 → 验证 storage rebalance 自动完成9. 容灾演练azloc-2606 rack-aware-cluster-overview 原文azloc-2606 原文We recommend that you conduct live migration and failover testing of your VM workloads within a rack aware cluster。9.1 计划内故障切换planned failoverpause drain 一台节点验证 VM 自动 live migration 到另一机柜的节点业务不中断azloc-2606 推荐每月一次9.2 非计划故障切换unplanned failover模拟节点掉电azloc-2606 配套azloc-2606 文档未给具体步骤用 Hyper-V Manager / Failover Cluster Manager 模拟验证VM 30 秒内重启到另一节点验证CSV 自动转移到 coordinator node9.3 整柜故障切换rack-level failover核心 rack aware 测试关一个机柜的 TOR / 断一个机柜的 PDU预期该机柜的 VM 在另一机柜启动集群保持 quorum22 变 12 失去 quorum需要 witness 在线22 默认 cloud witness业务恢复时间取决于工作负载规模、内存容量、启动顺序及应用恢复流程微软未规定统一 RTO恢复后 storage rebalance 自动跑几天重要22 整柜掉 节点只剩 2 失去 quorum4 节点系统 quorum 是 3。witness 必须在第三方cloud witness 是默认且最安全local witness 必须放在第三地点不能在 2 个机柜任一个里。9.4 演练文档每次演练记录 RTO / RPO / 操作步骤 / 异常季度汇总给业务方不演练不证明容量10. 性能监控与基线azloc-2606 WAF 路径10.1 必看计数器计数器来源阈值azloc-2606 原文CPU %\Processor(_Total)\% Processor Time 85% 持续 10min可用内存\Memory\Available Mbytes 100 MB磁盘读 IOPS\PhysicalDisk(_Total)\Disk Reads/sec业务相关磁盘写 IOPS\PhysicalDisk(_Total)\Disk Writes/sec业务相关SMB session 数Get-SmbSession关注每节点分布RDMA 活动Get-NetAdapterRdmaactive 流量CSV 延迟Get-ClusterSharedVolume统计业务相关跨房间 RTTTest-NetConnection 1ms10.2 Azure Local Insights 工作簿azloc-2606 monitor-cluster 路径默认开Cluster HealthCapacityPerformanceReFS VolumeNode Healthrack aware 注意点默认 Insights 工作簿未必按 availability zone 拆。要么写自定义工作簿要么在 Azure Resource Graph 里where properties.clusterType RackAware过滤。11. 操作审计11.1 操作日志Azure Local Operations 全部走 Arc 审计关键操作节点加/删/修、firmware 更新、Network ATC 改 intent都进 Azure Activity Log推荐把 Activity Log 推送到 Log Analytics → SIEM11.2 变更控制Network ATC intent 变更 网络层变更 走变更审批Storage pool 改 resiliency 业务影响面大 走变更审批固件升级 双人复核12. 运维阶段交付物日常 / 周 / 月巡检 SOP监控工具配置Windows Admin Center Azure Insights 第三方备份策略含跨机柜目标容灾演练计划含 rack-level 演练性能基线 阈值更新策略OS firmware 驱动安全基线BitLocker / Credential Guard / SMB 加密 / Defender for CloudNetwork ATC intent 列表 漂移检测告警分级zone 级 / 节点级 / 卷级 / 端口级操作审计 变更控制流程