1. 问题现象与背景分析上周在客户现场遇到一个典型的Flex ASM环境故障Grid InfrastructureGI启动失败检查发现crsd进程无法正常启动。这个案例很有代表性今天把完整的排查过程和解决方案整理出来。Flex ASM是Oracle 12c引入的新特性它解除了ASM实例与数据库实例之间的一对一绑定关系。在这种架构下ASM实例可以独立运行数据库实例可以动态注册到任意ASM实例上。这种灵活性带来了管理便利但也增加了故障排查的复杂度。具体到这次故障当尝试启动GI时crsd.log中反复出现以下关键报错CRS-4124: Oracle High Availability Services startup failed. CRS-4000: Command Start failed, or completed with errors.2. 关键进程与依赖关系2.1 GI启动流程解析理解GI启动流程对排查问题至关重要。标准启动顺序如下ohasdOracle High Availability Services Daemon最先启动ohasd派生agent进程oraagent、orarootagent等agent进程启动crsdCluster Ready Services Daemoncrsd协调其他集群资源包括ASM实例的启动2.2 Flex ASM的特殊性与传统ASM相比Flex ASM有三点关键差异ASM实例可以少于数据库实例数量ASM客户端会自动故障转移ASM磁盘组挂载策略更动态这些特性导致crsd在Flex ASM环境中需要处理更多状态同步工作这也是为什么crsd启动失败在Flex ASM环境中影响更大。3. 问题排查全记录3.1 日志收集与分析首先收集关键日志时间点很重要建议保留故障时间前后各30分钟日志cd $GRID_HOME/log/$HOSTNAME grep -i error\|fail\|critical crsd/crsd.log /tmp/crsd_errors.log典型错误模式分析2023-08-15 14:23:01.543 [CRSD(11012)]CRS-2765: Resource ora.asm has failed on server node1. 2023-08-15 14:23:01.678 [CRSD(11012)]CRS-5017: The resource action ora.asm start encountered the following error: ORA-03113: end-of-file on communication channel3.2 关键检查点按照以下顺序进行系统检查网络连通性验证# 检查私网通信 cluvfy comp nodecon -n all -verboseASM磁盘组状态检查-- 通过剩余的ASM实例查询 SELECT name, state, total_mb, free_mb FROM v$asm_diskgroup;OCR和Voting Disk健康状态ocrcheck -local crsctl query css votedisk3.3 根因定位通过交叉分析日志和检查结果发现根本原因是一个ASM实例异常终止导致磁盘组头信息不一致crsd尝试挂载磁盘组时遇到元数据冲突重试机制耗尽后进程自行终止4. 解决方案与实施步骤4.1 应急恢复方案对于生产环境建议按以下顺序操作停止所有依赖资源crsctl stop res -all手动清理ASM实例状态-- 在存活的ASM实例上执行 ALTER DISKGROUP DATA MOUNT FORCE;重置集群状态crsctl stop crs crsctl start crs4.2 彻底修复方案重建ASM实例的spfileCREATE PFILE/tmp/asm_pfile.ora FROM SPFILE; -- 手动编辑后重建 CREATE SPFILE FROM PFILE/tmp/asm_pfile.ora;修复磁盘组元数据asmcmd afd_edit --metadataDATA --repair验证集群完整性cluvfy stage -post crsinst -n all5. 预防措施与最佳实践5.1 监控策略优化建议在Flex ASM环境中增加以下监控项ASM实例负载均衡检查SELECT instance_name, db_name, status FROM v$asm_client;磁盘组冗余状态监控asmcmd lsdg --suppressheader DATA | awk {print $8}5.2 配置调优建议在Flex ASM环境中这些参数需要特别注意-- 增加客户端重试次数 ALTER SYSTEM SET _asm_client_connect_retry20 SCOPESPFILE; -- 调整心跳超时时间 ALTER SYSTEM SET _asm_hbeatiowait200 SCOPESPFILE;5.3 备份策略调整针对OCR和ASM元数据增加OCR自动备份保留天数ocrconfig -autobackup_retention_days 15定期导出ASM元数据asmcmd md_backup /backup/asm_metadata_$(date %Y%m%d).xml6. 深度技术解析6.1 crsd启动机制详解crsd进程启动时会执行以下关键操作加载OCROracle Cluster Registry内容验证Voting Disk可用性建立与其他节点的通信通道初始化资源管理子系统在Flex ASM环境中额外增加了ASM实例健康状态检查客户端注册表同步动态负载均衡评估6.2 Getis-Ord GI*统计量的应用Getis-Ord GI*是一种空间统计方法在集群故障分析中可以识别异常节点热点分析评估故障传播模式预测潜在风险点具体实现方法# 示例伪代码 def calculate_gi_star(nodes): # 计算每个节点的权重矩阵 weights build_spatial_weights(nodes) # 计算GI*统计量 for node in nodes: gi (sum(weights[node] * node.metrics) - mean(node.metrics)) / std(node.metrics) # 显著性检验 if abs(gi) 2.58: # 99%置信度 mark_as_hotspot(node)7. 典型错误场景汇编7.1 权限类问题症状CRS-2674: Start of ora.asm on node1 failed ORA-01031: insufficient privileges解决方案chown grid:oinstall /dev/asm* chmod 660 /dev/asm*7.2 网络类问题症状CRS-4000: Command Start failed, or completed with errors. Network communication error诊断命令oifcfg getif -global ping -c 3 -s 8972 $NODE2_VIP # 测试MTU问题7.3 存储类问题症状ORA-15032: not all alterations performed ORA-15017: diskgroup DATA cannot be mounted修复步骤dd if/dev/zero of/dev/asm_disk1 bs1M count100 asmcmd afd_scrub DATA8. 高级调试技巧8.1 诊断模式启动当常规方法无法定位问题时crsctl start crs -excl -nocrs -debug关键调试参数CRS_DEBUG1 CRS_TRACE18.2 核心转储分析获取crsd进程的core dumpgdb $GRID_HOME/bin/crsd core.12345 bt full info threads8.3 跟踪文件解析生成详细跟踪信息ALTER SYSTEM SET _trace_eventsksfd:1024 SCOPEMEMORY;分析工具tkprof crsd_ora_12345.trc output.txt sysno sortprsela9. 性能优化建议9.1 内存参数调整对于大型Flex ASM集群-- 增加ASM实例内存 ALTER SYSTEM SET memory_target4G SCOPESPFILE; -- 调整共享池大小 ALTER SYSTEM SET shared_pool_size1G SCOPESPFILE;9.2 I/O调度优化修改磁盘调度算法echo deadline /sys/block/sdb/queue/scheduler9.3 网络缓冲区调整优化集群通信sysctl -w net.core.rmem_max4194304 sysctl -w net.core.wmem_max419430410. 恢复演练方案建议每季度执行以下演练模拟ASM实例崩溃kill -9 $(pgrep -u grid asm_pmon)验证自动恢复流程crsctl check cluster -all测量恢复时间指标start_time$(date %s) crsctl start res ora.asm -n node1 end_time$(date %s) echo Recovery time: $((end_time-start_time)) seconds在Flex ASM环境中crsd进程的健康状态直接影响整个集群的可用性。通过这次故障排查我总结了三点重要经验第一必须建立ASM元数据的定期备份机制第二Flex ASM环境需要更精细化的监控策略第三对于关键业务集群建议配置至少3个ASM实例来确保冗余度。 Oracle Flex ASM环境下crsd启动失败故障排查与修复
1. 问题现象与背景分析上周在客户现场遇到一个典型的Flex ASM环境故障Grid InfrastructureGI启动失败检查发现crsd进程无法正常启动。这个案例很有代表性今天把完整的排查过程和解决方案整理出来。Flex ASM是Oracle 12c引入的新特性它解除了ASM实例与数据库实例之间的一对一绑定关系。在这种架构下ASM实例可以独立运行数据库实例可以动态注册到任意ASM实例上。这种灵活性带来了管理便利但也增加了故障排查的复杂度。具体到这次故障当尝试启动GI时crsd.log中反复出现以下关键报错CRS-4124: Oracle High Availability Services startup failed. CRS-4000: Command Start failed, or completed with errors.2. 关键进程与依赖关系2.1 GI启动流程解析理解GI启动流程对排查问题至关重要。标准启动顺序如下ohasdOracle High Availability Services Daemon最先启动ohasd派生agent进程oraagent、orarootagent等agent进程启动crsdCluster Ready Services Daemoncrsd协调其他集群资源包括ASM实例的启动2.2 Flex ASM的特殊性与传统ASM相比Flex ASM有三点关键差异ASM实例可以少于数据库实例数量ASM客户端会自动故障转移ASM磁盘组挂载策略更动态这些特性导致crsd在Flex ASM环境中需要处理更多状态同步工作这也是为什么crsd启动失败在Flex ASM环境中影响更大。3. 问题排查全记录3.1 日志收集与分析首先收集关键日志时间点很重要建议保留故障时间前后各30分钟日志cd $GRID_HOME/log/$HOSTNAME grep -i error\|fail\|critical crsd/crsd.log /tmp/crsd_errors.log典型错误模式分析2023-08-15 14:23:01.543 [CRSD(11012)]CRS-2765: Resource ora.asm has failed on server node1. 2023-08-15 14:23:01.678 [CRSD(11012)]CRS-5017: The resource action ora.asm start encountered the following error: ORA-03113: end-of-file on communication channel3.2 关键检查点按照以下顺序进行系统检查网络连通性验证# 检查私网通信 cluvfy comp nodecon -n all -verboseASM磁盘组状态检查-- 通过剩余的ASM实例查询 SELECT name, state, total_mb, free_mb FROM v$asm_diskgroup;OCR和Voting Disk健康状态ocrcheck -local crsctl query css votedisk3.3 根因定位通过交叉分析日志和检查结果发现根本原因是一个ASM实例异常终止导致磁盘组头信息不一致crsd尝试挂载磁盘组时遇到元数据冲突重试机制耗尽后进程自行终止4. 解决方案与实施步骤4.1 应急恢复方案对于生产环境建议按以下顺序操作停止所有依赖资源crsctl stop res -all手动清理ASM实例状态-- 在存活的ASM实例上执行 ALTER DISKGROUP DATA MOUNT FORCE;重置集群状态crsctl stop crs crsctl start crs4.2 彻底修复方案重建ASM实例的spfileCREATE PFILE/tmp/asm_pfile.ora FROM SPFILE; -- 手动编辑后重建 CREATE SPFILE FROM PFILE/tmp/asm_pfile.ora;修复磁盘组元数据asmcmd afd_edit --metadataDATA --repair验证集群完整性cluvfy stage -post crsinst -n all5. 预防措施与最佳实践5.1 监控策略优化建议在Flex ASM环境中增加以下监控项ASM实例负载均衡检查SELECT instance_name, db_name, status FROM v$asm_client;磁盘组冗余状态监控asmcmd lsdg --suppressheader DATA | awk {print $8}5.2 配置调优建议在Flex ASM环境中这些参数需要特别注意-- 增加客户端重试次数 ALTER SYSTEM SET _asm_client_connect_retry20 SCOPESPFILE; -- 调整心跳超时时间 ALTER SYSTEM SET _asm_hbeatiowait200 SCOPESPFILE;5.3 备份策略调整针对OCR和ASM元数据增加OCR自动备份保留天数ocrconfig -autobackup_retention_days 15定期导出ASM元数据asmcmd md_backup /backup/asm_metadata_$(date %Y%m%d).xml6. 深度技术解析6.1 crsd启动机制详解crsd进程启动时会执行以下关键操作加载OCROracle Cluster Registry内容验证Voting Disk可用性建立与其他节点的通信通道初始化资源管理子系统在Flex ASM环境中额外增加了ASM实例健康状态检查客户端注册表同步动态负载均衡评估6.2 Getis-Ord GI*统计量的应用Getis-Ord GI*是一种空间统计方法在集群故障分析中可以识别异常节点热点分析评估故障传播模式预测潜在风险点具体实现方法# 示例伪代码 def calculate_gi_star(nodes): # 计算每个节点的权重矩阵 weights build_spatial_weights(nodes) # 计算GI*统计量 for node in nodes: gi (sum(weights[node] * node.metrics) - mean(node.metrics)) / std(node.metrics) # 显著性检验 if abs(gi) 2.58: # 99%置信度 mark_as_hotspot(node)7. 典型错误场景汇编7.1 权限类问题症状CRS-2674: Start of ora.asm on node1 failed ORA-01031: insufficient privileges解决方案chown grid:oinstall /dev/asm* chmod 660 /dev/asm*7.2 网络类问题症状CRS-4000: Command Start failed, or completed with errors. Network communication error诊断命令oifcfg getif -global ping -c 3 -s 8972 $NODE2_VIP # 测试MTU问题7.3 存储类问题症状ORA-15032: not all alterations performed ORA-15017: diskgroup DATA cannot be mounted修复步骤dd if/dev/zero of/dev/asm_disk1 bs1M count100 asmcmd afd_scrub DATA8. 高级调试技巧8.1 诊断模式启动当常规方法无法定位问题时crsctl start crs -excl -nocrs -debug关键调试参数CRS_DEBUG1 CRS_TRACE18.2 核心转储分析获取crsd进程的core dumpgdb $GRID_HOME/bin/crsd core.12345 bt full info threads8.3 跟踪文件解析生成详细跟踪信息ALTER SYSTEM SET _trace_eventsksfd:1024 SCOPEMEMORY;分析工具tkprof crsd_ora_12345.trc output.txt sysno sortprsela9. 性能优化建议9.1 内存参数调整对于大型Flex ASM集群-- 增加ASM实例内存 ALTER SYSTEM SET memory_target4G SCOPESPFILE; -- 调整共享池大小 ALTER SYSTEM SET shared_pool_size1G SCOPESPFILE;9.2 I/O调度优化修改磁盘调度算法echo deadline /sys/block/sdb/queue/scheduler9.3 网络缓冲区调整优化集群通信sysctl -w net.core.rmem_max4194304 sysctl -w net.core.wmem_max419430410. 恢复演练方案建议每季度执行以下演练模拟ASM实例崩溃kill -9 $(pgrep -u grid asm_pmon)验证自动恢复流程crsctl check cluster -all测量恢复时间指标start_time$(date %s) crsctl start res ora.asm -n node1 end_time$(date %s) echo Recovery time: $((end_time-start_time)) seconds在Flex ASM环境中crsd进程的健康状态直接影响整个集群的可用性。通过这次故障排查我总结了三点重要经验第一必须建立ASM元数据的定期备份机制第二Flex ASM环境需要更精细化的监控策略第三对于关键业务集群建议配置至少3个ASM实例来确保冗余度。