搭建k8s集群服务器通用设置1.1 检查CPU/内存/网络设置1.2 设置固定IP地址1.3设置主机名1.4 设置hosts解析值1.5 关闭防火墙1.6 关闭swap和seliunx1.7 修改docker配合文件不存在请新增1.8 配置k8s镜像加速1.9 安装k8s并启动1.10 修改网络配置1.11 修改配置后重启kubelet服务1.13 安装NFS1.14 安装Dockerkubernters 集群之Master节点部署2.1 生成初始化文件2.2 修改生成的资源配置文件2.3 拉取镜像2.4 初始化Master主节点2.5 配置环境2.6 配置网络状态3. kubernters 集群之Node节点部署3.1 生成Token3.2 查看token3.3 查看sha256密码3.4 节点加入集群服务器通用设置kubernters 集群至少需要准备三台服务器或虚拟机。必须有一台服务器或虚拟机做Master服务器准备三台空的Centos7.6虚拟机内核要求3.10.0-1127及以上。并且都分别设置固定的IP地址。1.1 检查CPU/内存/网络设置对虚拟机的要求必须CPU最少2核内存master 4Gnode 3G网络NAT模式操作系统版本Docker 要求 CentOS 系统的内核版本必须高于 3.10。如果内核版本为3.10则发行编号最好能升级到1127即3.10.0-1127。我们可以通过uname -r 命令查看当前系统的内核版本[rootsq ~]# uname -r 3.10.0-1127.19.1.el7.x86_641.2 设置固定IP地址vi /etc/sysconfig/network-scripts修改为自己设置的IP。此处需将BOOTPROTO设置为“static”然后配置IP、网关掩码、默认路由、DNS等。之后1.4-1.14步骤是需要在所有节点上面操作的。1.3设置主机名vi /etc/hostname内容如下10.6.22.131 master10.6.22.132 node110.6.22.133 node21.4 设置hosts解析值vi /etc/hosts内容如下10.6.22.131 master10.6.22.132 node110.6.22.133 node2151.101.108.133 raw.githubusercontent.com设置后如图1.5 关闭防火墙检查防火墙的状态systemctl status firewalld临时关闭防火墙systemctl stop firewalld开机禁用防火墙systemctl disable firewalld1.6 关闭swap和seliunx关闭swap空间swapoff -a sed -i /swap/ s$^\(.*\)$#\1$g /etc/fstabkubelet 在 1.8 版本以后强制要求 swap 必须关闭。关闭seliunxsetenforce 0 sed -i s/^SELINUX.*/SELINUXdisabled/ /etc/selinux/config1.7 修改docker配合文件不存在请新增vi /etc/docker/daemon.json内容如下{ registry-mirrors:[https://v2c6fjn8.mirror.aliyuncs.com], exec-opts:[native.cgroupdriversystemd], log-driver: json-file, log-opts: { max-size: 100m }, storage-driver: overlay2 }保存的时候可能会提示“docker/daemon.json“ E212: 无法打开并写入文件”一般是没有权限此时在创建目录或者创建文件时如果提示权限不足记得在开头加上sudo关键字。解决办法进入etc创建docker在创建文件daemon.json第一步进入etc目录命令cd /etc第二步创建docker目录命令sudo mkdir docker第三步创建文件daemon.json命令sudo vi daemon.json1.8 配置k8s镜像加速安装kubernetes的时候需要安装kubelet, kubeadm等包但k8s官网给的yum源是packages.cloud.google.com国内访问不了因此我们可以使用阿里云的yum仓库镜像先查看下是否存在命令如下cat /etc/yum.repos.d/kubernetes.repo不存在则运行cat EOF /etc/yum.repos.d/kubernetes.repo [kubernetes] nameKubernetes baseurlhttps://mirrors.aliyun.com/kuber netes/yum/repos/kubernetes-el7-x86_64/ enabled1 gpgcheck1 excludekube* repo_gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/kubern etes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yu m/doc/rpm-package-key.gpg EOF参数说明enable 是否启用该仓库1表示启用gpgcheck 是否验证从该仓库获得程序包的合法性 1为验证repo_gpgcheck 是否验证元数据的合法性 元数据就是程序包列表 1为验证如果运行许失败可以把参数gpgcheck和repo_gpgcheck值改为0再次运行。1.9 安装k8s并启动安装kubelet、kubeadm、kubectl三大组件执行下面的命令yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0 --disableexcludeskubernetes参数说明disableexcludes选项禁掉除kubernetes这个之外的别的仓库运行成功结果如下运行以下代码设置kubelet开机启动同时启动kubeletsystemctl enable kubelet systemctl start kubelet1.10 修改网络配置设置iptables 网桥参数添加内核参数文件 vi /etc/sysctl.d/k8s.conf设置内容如下net.bridge.bridge-nf-call-ip6tables 1 net.bridge.bridge-nf-call-iptables 1 net.ipv4.ip_forward 1 vm.swappiness 0运行以下命令使上述设置生效sysctl -p /etc/sysctl.d/k8s.conf sysctl --system1.11 修改配置后重启kubelet服务systemctl restart kubelet1.13 安装NFSNFS(network file system)网络文件系统类似于Windows中的共享文件夹。在部署mysql数据库或者其他服务时可能需要在多台服务器之间共享数据因此这里需要安装nfs-utils工具。yum install nfs-common nfs-utils -y如果centos版本为8则不适用此命令。Centos版本8命令dnf install nfs-utils nfs4-acl-tools这里仅安装后面用到时再做设置。1.14 安装Dockercentos7下安装Docker的步骤主要有以下七步:1. yum install -y yum-utils device-mapper-persistent-data lvm2 2. yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 3. yum makecache fast 4. yum -y install docker-ce 5. systemctl start docker 6. systemctl enable docker 7. docker versionkubernters 集群之Master节点部署2.1 生成初始化文件生成一个 kubeadm-config.yaml初始化文件在root目录下创建sq目录mkdir -p /root/sq进入sq目录cd /root/sq执行命令kubeadm config print init-defaults kubeadm-config.yaml执行结果如图执行成功后可以看到一个文件2.2 修改生成的资源配置文件在sq目录下修改配置文件vi kubeadm-config.yaml修改内容如下两处注意advertiseAddress 集群地址的值请修改为自己的Master节点的ip地址。imageRepository 镜像仓库的值请修改为registry.cn-hangzhou.aliyuncs.com/google_containers2.3 拉取镜像为了使得Master节点初始化过程速度更快一些我们可以提前拉取所需要的镜像。拉取镜像之前可以先查看所需要的镜像kubeadm config images list --config kubeadm-config.yaml运行以下命令拉取初始化Master节点所需的镜像kubeadm config images pull --config kubeadm-config.yaml执行结果如下若执行失败可手动拉取镜像使用命令docker pull 镜像地址例如docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.72.4 初始化Master主节点运行以下命令进行Master主节点的初始化。值得注意执行此命令CPU核心数量必须大于1核否则无法执行成。kubeadm init --configkubeadm-config.yaml --upload-certs | tee kubeadm-init.log执行结果如下图所示2.5 配置环境根据上面的提示我们必须执行下列几个命令让当前用户可以执行kubectl命令等mkdir -p $HOME/.kube cp -i /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config现在我们可以开始执行kubectl 命令了。比如运行kubectl get node命令可以查看集群中有哪些节点。由于其他Node工作节点没有加入到集群所以暂时只有master一个节点。该master节点的状态是NotReady不是Runing的状态。原因是此时还没有安装网络插件等安装完网络插件后节点的状态会自动变成Runing。查看k8s的版本kubectl version2.6 配置网络状态kubernetes⽀持多种类型⽹络插件要求网络支持CNIContainer Network Interface插件即可要求kubernetes的中pod网络访问方式node和node之间网络互通pod和pod之间网络互通node和pod之间网络互通不同的CNI plugin⽀持的特性有所差别。kubernetes支持多种开源的网络CNI插件常见的有 calico、flannel、canal、weave等。安装calico插件很简单只需要执行以下命令即可kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml此时几分钟后再执行kubectl get node 查看到master节点的状态已经是Ready了。3. kubernters 集群之Node节点部署Node节点加入集群步骤很简单即运行master节点初始化后提示的命令即可。若忘记其中的Token或者证书密码请按照下来步骤来。特别注意如果已有有效的Token和证书密码请跳过3.1 至3.3 节直接阅读3.4节。3.1 生成Token在Master节点上执行以下命令创建Tokenkubeadm token create执行结果如图其中z0r4oy.tyvxqi2e7yhwfbs1 为生成的Token值。注意token值有效期为24小时。3.2 查看token查看token命令kubeadm token list执行结果如图所示其中第1列TOKEN为Token值第2列TTL为剩余有效期小时第3列EXPIRES为token的失效时间。3.3 查看sha256密码openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2/dev/null | openssl dgst -sha256 -hex | sed s/^.* //执行结果如图3.4 节点加入集群在node节点上运行命令:kubeadm join 10.6.22.131:6443 --token 1fat92.s74xxepa1qnilanu --discovery-token-ca-cert-hash sha256:feda74608fd70378db7b4f4e6b1f2a338e907b7f3bcbf0160eb22903e640d061执行结果如图执行完成后我们可以在master 主机上执行kubectl get node 查看加入的集群结果