1. 阿里云ECS与Hadoop集群基础认知第一次接触Hadoop集群部署的朋友可能会觉得这是个复杂的大工程但实际就像搭积木一样有章可循。我在阿里云上部署过二十多个Hadoop集群发现只要掌握几个关键点小白也能快速搭建出稳定可用的生产环境。为什么选择阿里云ECS相比自建物理机房云服务器有三大优势一是弹性扩展数据量暴增时随时升级配置二是内置VPC网络让集群通信更安全三是按量付费模式能节省60%以上的成本。我去年帮一家电商公司迁移到阿里云Hadoop集群后他们的月度运维成本直接从3万元降到了8000元。Hadoop高可用集群的核心在于解决单点故障问题。传统部署中NameNode和ResourceManager一旦宕机就会导致整个集群瘫痪。通过HA方案我们可以在主节点故障时10秒内自动切换到备用节点。这就像给系统上了双保险——去年双11大促期间某物流公司的Hadoop集群主节点突然崩溃正是HA机制避免了2000万订单数据的丢失。2. 环境准备与资源配置2.1 ECS实例选型技巧选择ECS实例不能只看价格需要根据数据处理需求匹配。对于中型数据处理集群日处理100GB以下我推荐以下配置组合节点类型实例规格CPU/内存系统盘数据盘数量Master节点ecs.g6e.xlarge4核16G100GB500GB SSD2Worker节点ecs.d1ne.2xlarge8核32G40GB4TB HDD3-5Zookeeper节点ecs.g6.large2核8G40GB无3特别注意NameNode需要大量内存缓存文件元数据建议每100万文件块预留1GB内存。曾经有个客户用4核8G配置跑2000万小文件结果NameNode频繁OOM崩溃后来升级到16核64G才稳定。2.2 网络规划实战在阿里云控制台创建专有网络VPC时建议采用192.168.0.0/16网段并划分三个子网# 查看实例私网IP aliyun ecs DescribeInstances --InstanceIds your_instance_id安全组配置是新手最容易踩坑的地方。除了开放22、80等常用端口Hadoop集群需要特别注意这些端口9000HDFS文件系统通信端口8088YARN资源管理器Web UI2181Zookeeper服务端口9870HDFS NameNode Web UIHadoop 3.x建议使用以下命令批量放行端口# 创建安全组规则 aliyun ecs AuthorizeSecurityGroup --SecurityGroupId sg-xxx --IpProtocol tcp --PortRange 9000/9000 --SourceCidrIp 192.168.1.0/243. Hadoop高可用架构部署3.1 NameNode HA配置详解Zookeeper是HA架构的中枢神经系统需要先部署3节点集群。这里分享一个快速部署脚本#!/bin/bash # Zookeeper自动安装脚本 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz tar -xzf apache-zookeeper-3.6.3-bin.tar.gz -C /opt/ echo tickTime2000 dataDir/var/lib/zookeeper clientPort2181 initLimit5 syncLimit2 server.1zk1:2888:3888 server.2zk2:2888:3888 server.3zk3:2888:3888 /opt/apache-zookeeper-3.6.3-bin/conf/zoo.cfg配置NameNode HA需要修改hdfs-site.xml重点注意这些参数property namedfs.nameservices/name valuemycluster/value /property property namedfs.ha.namenodes.mycluster/name valuenn1,nn2/value /property property namedfs.namenode.rpc-address.mycluster.nn1/name valuemaster1:8020/value /property property namedfs.namenode.shared.edits.dir/name valueqjournal://journal1:8485;journal2:8485;journal3:8485/mycluster/value /property3.2 ResourceManager HA配置YARN的HA配置相对简单主要在yarn-site.xml中添加property nameyarn.resourcemanager.ha.enabled/name valuetrue/value /property property nameyarn.resourcemanager.cluster-id/name valuecluster1/value /property property nameyarn.resourcemanager.ha.rm-ids/name valuerm1,rm2/value /property启动顺序有讲究先启动Zookeeper然后是JournalNode接着是HDFS最后启动YARN。我整理了一个自动化启动脚本#!/bin/bash # 集群启动脚本 zkServer.sh start hadoop-daemon.sh start journalnode hdfs zkfc -formatZK start-dfs.sh start-yarn.sh4. 集群调优与故障排查4.1 性能优化参数经过50集群的调优实践这些参数最能提升性能hdfs-site.xmlproperty namedfs.datanode.max.transfer.threads/name value4096/value !-- 提升数据传输并发数 -- /propertyyarn-site.xmlproperty nameyarn.nodemanager.resource.memory-mb/name value24576/value !-- 不要超过物理内存的90% -- /propertymapred-site.xmlproperty namemapreduce.map.memory.mb/name value2048/value !-- 根据任务复杂度调整 -- /property4.2 常见故障解决方案问题1DataNode无法连接NameNode检查9000端口连通性telnet namenode 9000查看NameNode日志tail -100f /opt/hadoop/logs/hadoop-root-namenode-*.log问题2YARN任务卡住检查资源使用yarn node -list调整容器内存yarn.scheduler.maximum-allocation-mb问题3Zookeeper选举失败检查节点时间同步ntpdate -u ntp.aliyun.com验证zk节点状态echo stat | nc localhost 2181记得定期执行hdfs dfsadmin -report查看集群健康状态。去年我们通过这个命令提前发现了一个磁盘故障避免了数据丢失事故。