redhat 7.4部署K8s · redhat 7.4部署K8s

# redhat 7.4部署K8s [TOC] ## 1、安装centos源 > 三台机器初始化环境，参照文档： [安装centos源](http://note.youdao.com/noteshare?id=87b2c1bd5c0c7321632ca9fbaa2d6823&sub=A2C6411F449D42F98A6EFEB5345AD89C) 最后验证结果： ``` [root@smart-bus-cloud yum.repos.d]# yum repolist enabled Loaded plugins: fastestmirror, product-id, search-disabled-repos, subscription-manager This system is not registered with an entitlement server. You can use subscription-manager to register. Loading mirror speeds from cached hostfile * elrepo: mirror.rackspace.com repo id repo name status base CentOS-7 - Base - 163.com 10,072 elrepo ELRepo.org Community Enterprise Linux Repository - el7 105 epel/x86_64 Extra Packages for Enterprise Linux 7 - x86_64 13,490 extras CentOS-7 - Extras - 163.com 448 rhel7 rhel7 4,986 updates CentOS-7 - Updates - 163.com 1,155 repolist: 30,256 ``` ## 2、使用kubeadm安装kubernetes_v1.19.x ### 2.1、配置要求 - 至少2台 2核4G 的服务器 - Cent OS 7.6 / 7.7 / 7.8 #### 安装后的软件版本为 - Kubernetes v1.19.x - calico 3.13.1 - nginx-ingress 1.5.5 - Docker 19.03.11 ### 2.2、检查 centos / hostname ``` # 在 master 节点和 worker 节点都要执行 cat /etc/redhat-release # 此处 hostname 的输出将会是该机器在 Kubernetes 集群中的节点名字 # 不能使用 localhost 作为节点的名字 hostname # 请使用 lscpu 命令，核对 CPU 信息 # Architecture: x86_64 本安装文档不支持 arm 架构 # CPU(s): 2 CPU 内核数量不能低于 2 lscpu ``` >修改 hostname 如果您需要修改 hostname，可执行如下指令： ``` # 修改 hostname hostnamectl set-hostname your-new-host-name # 查看修改结果 hostnamectl status # 设置 hostname 解析 echo "127.0.0.1 $(hostname)" >> /etc/hosts ``` ### 2.3、检查网络 >在所有节点执行命令 ``` [root@smart-bus-cloud ~]# ip route show default via 10.91.123.254 dev ens192 proto static metric 100 10.91.123.0/24 dev ens192 proto kernel scope link src 10.91.123.40 metric 100 [root@smart-bus-cloud ~]# ip address 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000 link/ether 00:50:56:99:38:fb brd ff:ff:ff:ff:ff:ff inet 10.91.123.40/24 brd 10.91.123.255 scope global ens192 valid_lft forever preferred_lft forever ``` > kubelet使用的IP地址 > - `ip route show` 命令中，可以知道机器的默认网卡，本机是 ` ens192` ，如 default via 10.91.123.254 dev ens192 > - ` ip address` 命令中，可显示默认网卡的 IP 地址，Kubernetes 将使用此 IP 地址与集群内的其他节点通信，如 ` 10.91.123.40` > - 所有节点上 Kubernetes 所使用的 IP 地址必须可以互通（无需 NAT 映射、无安全组或防火墙隔离） ### 2.4 安装docker及kubelet >使用 root 身份在所有节点执行如下代码，以安装软件： > - docker > - nfs-utils > - kubectl / kubeadm / kubelet **请将脚本最后的 1.19.2 替换成您需要的版本号，** 脚本中间的 v1.19.x 不要替换 #### 2.4.1快速安装 > docker hub 镜像请根据自己网络的情况任选一个 > - 第四行为腾讯云 docker hub 镜像 > - 第六行为DaoCloud docker hub 镜像 > - 第八行为华为云 docker hub 镜像 > - 第十行为阿里云 docker hub 镜像 ``` # 在 master 节点和 worker 节点都要执行 # 最后一个参数 1.19.5 用于指定 kubenetes 版本，支持所有 1.19.x 版本的安装 # 腾讯云 docker hub 镜像 # export REGISTRY_MIRROR="https://mirror.ccs.tencentyun.com" # DaoCloud 镜像 # export REGISTRY_MIRROR="http://f1361db2.m.daocloud.io" # 华为云镜像 # export REGISTRY_MIRROR="https://05f073ad3c0010ea0f4bc00b7105ec20.mirror.swr.myhuaweicloud.com" # 阿里云 docker hub 镜像 export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com curl -sSL https://kuboard.cn/install-script/v1.19.x/install_kubelet.sh | sh -s 1.19.2 ``` > 安装成功结果如下: ![image](http://manage.shuishangyou.cn/pearlrivercruise-file/files/read?id=df3b04ba64c44ca69591722c04f5ffb0) #### 2.4.2 手动安装 **手动执行以下代码，结果与快速安装相同。** 请将脚本）的 ${1} 替换成您需要的版本号，例如 1.19.2 > docker hub 镜像请根据自己网络的情况任选一个 > - 第四行为腾讯云 docker hub 镜像 > - 第六行为DaoCloud docker hub 镜像 > - 第八行为阿里云 docker hub 镜像 ``` # 在 master 节点和 worker 节点都要执行 # 最后一个参数 1.19.5 用于指定 kubenetes 版本，支持所有 1.19.x 版本的安装 # 腾讯云 docker hub 镜像 # export REGISTRY_MIRROR="https://mirror.ccs.tencentyun.com" # DaoCloud 镜像 # export REGISTRY_MIRROR="http://f1361db2.m.daocloud.io" # 阿里云 docker hub 镜像 export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com ``` ``` #!/bin/bash # 在 master 节点和 worker 节点都要执行 # 安装 docker # 参考文档如下 # https://docs.docker.com/install/linux/docker-ce/centos/ # https://docs.docker.com/install/linux/linux-postinstall/ # 卸载旧版本 yum remove -y docker \ docker-client \ docker-client-latest \ docker-ce-cli \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine # 设置 yum repository yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 安装并启动 docker yum install -y docker-ce-19.03.11 docker-ce-cli-19.03.11 containerd.io-1.2.13 mkdir /etc/docker || true cat > /etc/docker/daemon.json <<EOF { "registry-mirrors": ["${REGISTRY_MIRROR}"], "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ] } EOF mkdir -p /etc/systemd/system/docker.service.d # Restart Docker systemctl daemon-reload systemctl enable docker systemctl restart docker # 安装 nfs-utils # 必须先安装 nfs-utils 才能挂载 nfs 网络存储 yum install -y nfs-utils yum install -y wget # 关闭防火墙 systemctl stop firewalld systemctl disable firewalld # 关闭 SeLinux setenforce 0 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config # 关闭 swap swapoff -a yes | cp /etc/fstab /etc/fstab_bak cat /etc/fstab_bak |grep -v swap > /etc/fstab # 修改 /etc/sysctl.conf # 如果有配置，则修改 sed -i "s#^net.ipv4.ip_forward.*#net.ipv4.ip_forward=1#g" /etc/sysctl.conf sed -i "s#^net.bridge.bridge-nf-call-ip6tables.*#net.bridge.bridge-nf-call-ip6tables=1#g" /etc/sysctl.conf sed -i "s#^net.bridge.bridge-nf-call-iptables.*#net.bridge.bridge-nf-call-iptables=1#g" /etc/sysctl.conf sed -i "s#^net.ipv6.conf.all.disable_ipv6.*#net.ipv6.conf.all.disable_ipv6=1#g" /etc/sysctl.conf sed -i "s#^net.ipv6.conf.default.disable_ipv6.*#net.ipv6.conf.default.disable_ipv6=1#g" /etc/sysctl.conf sed -i "s#^net.ipv6.conf.lo.disable_ipv6.*#net.ipv6.conf.lo.disable_ipv6=1#g" /etc/sysctl.conf sed -i "s#^net.ipv6.conf.all.forwarding.*#net.ipv6.conf.all.forwarding=1#g" /etc/sysctl.conf # 可能没有，追加 echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf echo "net.bridge.bridge-nf-call-ip6tables = 1" >> /etc/sysctl.conf echo "net.bridge.bridge-nf-call-iptables = 1" >> /etc/sysctl.conf echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf echo "net.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.conf echo "net.ipv6.conf.lo.disable_ipv6 = 1" >> /etc/sysctl.conf echo "net.ipv6.conf.all.forwarding = 1" >> /etc/sysctl.conf # 执行命令以应用 sysctl -p # 配置K8S的yum源 cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF # 卸载旧版本 yum remove -y kubelet kubeadm kubectl # 安装kubelet、kubeadm、kubectl # 将 ${1} 替换为 kubernetes 版本号，例如 1.19.0 yum install -y kubelet-${1} kubeadm-${1} kubectl-${1} # 重启 docker，并启动 kubelet systemctl daemon-reload systemctl restart docker systemctl enable kubelet && systemctl start kubelet docker version ``` ### 2.5 初始化 master 节点 > **关于初始化时用到的环境变量** > - APISERVER_NAME 不能是 master 的 hostname > - APISERVER_NAME必须全为小写字母、数字、小数点，不能包含减号 > - POD_SUBNET 所使用的网段不能与 master节点/worker节点所在的网段重叠。该字段的取值为一个 CIDR 值，如果您对 CIDR 这个概念还不熟悉，请仍然执行 export POD_SUBNET=10.100.0.1/16 命令，不做修改 #### 2.5.1 快速初始化 > **请将脚本最后的 1.19.5 替换成您需要的版本号，** 脚本中间的 v1.19.2 不要替换 ``` # 只在 master 节点执行 # 替换 x.x.x.x 为 master 节点实际 IP（请使用内网 IP） # export 命令只在当前 shell 会话中有效，开启新的 shell 窗口后，如果要继续安装过程，请重新执行此处的 export 命令 export MASTER_IP=10.91.123.40 # 替换 smartbuscloud.demo 为您想要的 dnsName export APISERVER_NAME=smartbuscloud.demo # Kubernetes 容器组所在的网段，该网段安装完成后，由 kubernetes 创建，事先并不存在于您的物理网络中 export POD_SUBNET=10.100.1.1/16 echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts curl -sSL https://kuboard.cn/install-script/v1.19.x/init_master.sh | sh -s 1.19.2 ``` #### 2.5.2 手动初始化 #### 2.5.3 检查 master 初始化结果 ``` # 只在 master 节点执行 # 执行如下命令，等待 3-10 分钟，直到所有的容器组处于 Running 状态 watch kubectl get pod -n kube-system -o wide # 查看 master 节点初始化结果 kubectl get nodes -o wide ``` ### 2.6 初始化 worker节点 #### 2.6.1 获得 join命令参数 > 在 **master 节点上执行** ``` # 只在 master 节点执行 kubeadm token create --print-join-command ``` > 可获取kubeadm join 命令及参数，如下所示 ``` kubeadm join smartbuscloud.demo:6443 --token v86kcm.9c6a0jo71jqc2iso --discovery-token-ca-cert-hash sha256:b5257fd9f93fd03290781e85a65d0540306f8b6a9e06be96323ffb0062a67859 ``` > **有效时间** > 该 token 的有效时间为 2 个小时，2小时内，您可以使用此 token 初始化任意数量的 worker 节点。 #### 2.6.2 初始化worker > 针对所有的 worker 节点执行 ``` # 只在 worker 节点执行 # 替换 x.x.x.x 为 master 节点的内网 IP export MASTER_IP=10.91.123.40 # 替换 apiserver.demo 为初始化 master 节点时所使用的 APISERVER_NAME export APISERVER_NAME=smartbuscloud.demo echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts # 替换为 master 节点上 kubeadm token create 命令的输出 kubeadm join smartbuscloud.demo:6443 --token v86kcm.9c6a0jo71jqc2iso --discovery-token-ca-cert-hash sha256:b5257fd9f93fd03290781e85a65d0540306f8b6a9e06be96323ffb0062a67859 ``` 检查work节点安装情况 ``` [root@smart-bus-cloud-1 ~]# kubectl version Client Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.2", GitCommit:"f5743093fd1c663cb0cbc89748f730662345d44d", GitTreeState:"clean", BuildDate:"2020-09-16T13:41:02Z", GoVersion:"go1.15", Compiler:"gc", Platform:"linux/amd64"} The connection to the server localhost:8080 was refused - did you specify the right host or port? ``` > 碰到问题： ==**The** connection to the server localhost:8080 was refused - did you specify the right host or port?== ``` # 将主节点（master节点）中的【/etc/kubernetes/admin.conf】文件拷贝到从节点相同目录下: # 配置环境变量 export KUBECONFIG=/etc/kubernetes/admin.conf ``` ### 2.7 安装 Kuboard v2 #### 2.7.1 安装 ``` kubectl apply -f https://kuboard.cn/install-script/kuboard.yaml kubectl apply -f https://addons.kuboard.cn/metrics-server/0.3.7/metrics-server.yaml ``` > 查看 Kuboard 运行状态： ``` kubectl get pods -l k8s.kuboard.cn/name=kuboard -n kube-system ``` #### 2.7.2 获取Token > 拥有的权限 > - 此Token拥有 ClusterAdmin 的权限，可以执行所有操作 ``` [root@smart-bus-cloud ~]# echo $(kubectl -n kube-system get secret $(kubectl -n kube-system get secret | grep kuboard-user | awk '{print $1}') -o go-template='{{.data.token}}' | base64 -d) eyJhbGciOiJSUzI1NiIsImtpZCI6Ino0a0Y0a1VkUm44Z2dZUU5HVmZrRDlHNncxLW5DUGc4dFE4LS1EbmxSdEUifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJvYXJkLXVzZXItdG9rZW4tNnZsZ24iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoia3Vib2FyZC11c2VyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiNGQ1OGQ0YjctOTFhZi00YzhkLTk0ZWItOTRkOWNlMTE3NjQ2Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmt1Ym9hcmQtdXNlciJ9.umkDDtH4TYIaNakZJ7VVb28LllhufmZPA-ZN8U35iB7wAAC4a2ZelTuCws9xTCpqR1TudXg79dm0xsuAFqn9jsPXBP98zWeYE7T5nbAjSqt3SIfqI9WEIXrCHkygWSazfS_CO6YO2e4_XecIOysEVu6fkN-c5T1W_IlVPL6EKCkDhOaNFqvBdSzyf2GJLv6K6whRocwKOmjLhfBN-H-SnO_TT-PFacbwUT-ebkNKheCQvvMhBVfcGW-9CaSYHjLJYK7aQcaq6_IWCC0fRAmoSIVfvxIArske1XhpabNXOhAMSe5uaotj2YaPz0xu1OeKY-GrY0mXaZCUVqw-FKI_yQ ``` #### 2.7.3 访问Kuboard Kuboard Service 使用了 NodePort 的方式暴露服务，NodePort 为 32567；您可以按如下方式访问 Kuboard。 > http://任意一个Worker节点的IP地址:32567/ > 如：http://10.91.123.40:32567/ ### 问题 #### 工作节点不正常 ``` [root@smart-bus-cloud ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION smart-bus-cloud Ready master 111m v1.19.2 smart-bus-cloud-1 NotReady <none> 72m v1.19.2 smart-bus-cloud-2 Ready <none> 83m v1.19.2 ``` #### 重启所有节点docker，问题解决 ``` [root@smart-bus-cloud ~]# systemctl restart docker.service ``` 镜像私库地址：http://10.91.123.5/harbor/projects/3/repository

redhat 7.4部署K8s