1. 项目概述为什么选择k3d部署K3s高可用集群在云原生技术快速发展的今天轻量级Kubernetes发行版K3s凭借其精简的二进制和低资源消耗成为边缘计算和开发测试环境的热门选择。而k3d作为官方推荐的Docker化部署工具能够让我们在单机环境下快速构建多节点K3s集群特别适合以下场景本地开发环境快速搭建CI/CD流水线测试教学演示环境构建生产环境的高可用方案验证传统的高可用K3s部署需要至少3台物理机或虚拟机而通过k3d我们可以在单台机器上用Docker容器模拟出完整的HA环境大幅降低学习和测试成本。实测下来在一台16G内存的开发机上完整的高可用集群启动时间不超过2分钟。2. 环境准备与工具安装2.1 基础环境要求操作系统Linux/macOS/Windows WSL2推荐Ubuntu 20.04Docker版本20.10.0磁盘空间至少10GB可用内存建议8GB运行3个server节点需要约4GB注意Windows用户建议使用WSL2后端Docker Desktop的Hyper-V模式可能存在网络兼容性问题2.2 核心组件安装首先确保Docker已正确安装并运行# Ubuntu安装示例 sudo apt-get update sudo apt-get install -y docker.io sudo systemctl enable --now docker安装k3d命令行工具建议版本v5.4.6# 使用官方安装脚本 curl -s https://raw.githubusercontent.com/k3d-io/k3d/main/install.sh | bash # 验证安装 k3d --version3. 高可用集群部署实战3.1 集群创建命令解析完整的HA集群创建命令如下k3d cluster create my-ha-cluster \ --servers 3 \ --agents 2 \ --k3s-arg --disabletraefikserver:* \ --k3s-arg --disablemetrics-serverserver:* \ --port 80:80loadbalancer \ --port 443:443loadbalancer \ --api-port 6443 \ --volume /path/to/your/kubeconfig:/etc/rancher/k3s/k3s.yaml关键参数说明--servers 3创建3个server节点组成etcd集群--agents 2创建2个worker节点--k3s-arg传递给K3s的自定义参数--port端口映射规则--volume将kubeconfig文件挂载到容器内3.2 高可用架构详解通过k3d创建的HA集群包含以下核心组件负载均衡器自动创建的nginx容器负责API Server流量分发Server节点运行k3s server的容器默认使用嵌入式etcd存储Agent节点运行k3s agent的容器执行工作负载graph TD A[LoadBalancer] -- B[Server1] A -- C[Server2] A -- D[Server3] B -- E[Agent1] B -- F[Agent2] C -- E C -- F D -- E D -- F4. 集群验证与运维4.1 基础状态检查获取集群节点状态kubectl get nodes -o wide检查组件健康状态kubectl get pods -n kube-system4.2 高可用性测试随机停止一个server节点docker stop k3d-my-ha-cluster-server-0观察API Server自动切换kubectl get nodes -w恢复节点后验证数据一致性kubectl get all --all-namespaces4.3 证书管理K3s自动处理证书轮换但需要了解关键证书位置CA证书/var/lib/rancher/k3s/server/tls/client-ca.crtServer证书/var/lib/rancher/k3s/server/tls/serving-kube-apiserver.crt查看证书有效期sudo k3s kubectl get --raw /metrics | grep apiserver_certificate_expiration5. 常见问题排查指南5.1 节点启动失败现象节点状态为NotReady排查步骤查看容器日志docker logs k3d-my-ha-cluster-server-0检查网络连通性docker exec -it k3d-my-ha-cluster-server-0 ping 10.43.0.1常见原因端口冲突特别是6443内核参数未正确设置Docker存储驱动不兼容5.2 网络问题排查现象Pod间无法通信解决方案检查Flannel网络kubectl -n kube-system logs -l appflannel验证CNI配置docker exec k3d-my-ha-cluster-server-0 cat /var/lib/rancher/k3s/agent/etc/cni/net.d/10-flannel.conflist5.3 存储配置技巧默认使用local-path-provisioner如需持久化存储创建hostPath卷k3d cluster create mycluster --volume /mnt/data:/dataall在PVC中指定apiVersion: v1 kind: PersistentVolumeClaim metadata: name: local-path-pvc spec: storageClassName: local-path accessModes: - ReadWriteOnce resources: requests: storage: 2Gi6. 生产环境优化建议6.1 性能调优参数在创建集群时添加这些k3s参数--k3s-arg --kubelet-argeviction-hardmemory.available500Miagent:* \ --k3s-arg --kubelet-argmax-pods100agent:* \ --k3s-arg --kube-apiserver-argapi-audienceshttps://kubernetes.default.svcserver:*6.2 监控方案部署推荐使用轻量级监控组合安装Prometheus Operatorhelm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm install prometheus prometheus-community/kube-prometheus-stack配置资源限制# values.yaml示例 prometheus: prometheusSpec: resources: limits: memory: 1Gi6.3 备份与恢复定期备份etcd数据docker exec k3d-my-ha-cluster-server-0 etcdctl \ --endpointshttps://127.0.0.1:2379 \ --cacert/var/lib/rancher/k3s/server/tls/etcd/server-ca.crt \ --cert/var/lib/rancher/k3s/server/tls/etcd/client.crt \ --key/var/lib/rancher/k3s/server/tls/etcd/client.key \ snapshot save /tmp/etcd-snapshot.db恢复快照k3d cluster stop my-ha-cluster docker cp etcd-snapshot.db k3d-my-ha-cluster-server-0:/tmp/ # 在容器内执行恢复操作 k3d cluster start my-ha-cluster7. 进阶使用场景7.1 多集群管理使用k3d创建多个独立集群k3d cluster create dev --servers 1 --agents 2 k3d cluster create staging --servers 3 --agents 3通过kubectx快速切换kubectl config use-context k3d-dev7.2 自定义组件配置替换Traefik为Nginx Ingressk3d cluster create custom-cluster \ --k3s-arg --disabletraefikserver:* \ --volume ./nginx-ingress.yaml:/var/lib/rancher/k3s/server/manifests/nginx-ingress.yaml7.3 与CI/CD集成GitLab Runner示例配置test: stage: test image: docker:20.10 services: - docker:20.10-dind before_script: - apk add --no-cache curl - curl -s https://raw.githubusercontent.com/k3d-io/k3d/main/install.sh | bash script: - k3d cluster create pipeline-cluster - kubectl apply -f deployment.yaml - kubectl rollout status deployment/myapp在实际使用中发现k3d的快速重置特性特别适合CI环境。每次流水线执行后可以完全销毁集群确保测试环境绝对干净。对于有状态应用的测试可以配合前面提到的备份恢复方案实现持久化数据的保留。