【摘要】基于containerd部署的k8s集群。

一、前言

二、集群架构

三、基础环境搭建

在生产环境中，k8s的基础环境搭建是必不可少的步骤，若是基础环境搭建的不好，后期可能会存在各种各样的隐患，所以基础环境搭建尤为重要。

3.1 主机清单

版本说明

• contained version：1.6.8

• kubeadm version: 1.24.4

• kubectl version: 1.24.4

• kubelet version: 1.24.4

3.2 配置主机名

#在10.0.8.2上执行如下：
$ hostnamectl set-hostname ks-m1 && bash
#在10.0.8.7上执行如下：
$ hostnamectl set-hostname ks-n1 && bash

3.3 配置hosts文件

#修改ks-m1、ks-n1机器的/etc/hosts文件，增加如下四行：
10.0.8.2 ks-m1

10.0.8.7 ks-n1




或
cat >> /etc/hosts << EOF

10.0.8.2 ks-m1

10.0.8.7 ks-n1


EOF

3.4 关闭防火墙、selinux、关闭交换分区

##关闭防火墙
$ systemctl stop firewalld
##禁止防火墙开机启动
$ systemctl disable firewalld
##永久关闭selinux 注：重启机器后，selinux配置才能永久生效
$ sed -i 's/enforcing/disabled/' /etc/selinux/config
##临时关闭selinux   执行getenforce   显示Disabled说明selinux已经关闭
$ setenforce 0
##永久关闭交换分区swap 注：重启机器后，才能永久生效
$ sed -ri 's/.*swap.*/#&/' /etc/fstab
##临时关闭交换分区swap
$ swapoff -a

3.5 升级系统内核

在升级内核十分重要，低版本的内核下k8s集群不稳定，且对插件的兼容性不好，例如3.10版本的内核不支持网络插件Calico3.23版本等。

1）导入public key

$ rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

2）安装epel源

$ yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y

3）查看可用版本内核

$ yum --disablerepo="*" --enablerepo="elrepo-kernel" list available

4）选择安装lt最新版本

$ yum --enablerepo=elrepo-kernel install kernel-lt -y

5）查看系统上可以用的内核

bios模式下：

$ awk -F' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg

uefi模式下：

$ awk -F' '$1=="menuentry " {print i++ " : " $2}' /boot/efi/EFI/centos/grub.cfg

注:前面的0 1 2代表编号。

6）设置内核启动顺序

$ grub2-set-default 0

7）重新创建内核配置

bios模式下：

$ grub2-mkconfig -o /boot/grub2/grub.cfg

uefi模式下：

$ grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg

8）重启验证

$ reboot
$ uname -r

3.6 修改内核参数

##加载br_netfilter模块
modprobe br_netfilter
#验证模块是否加载成功
lsmod | grep br_netfilter
##修改内核参数
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

$ vm.swappiness = 0    # 禁止使用swap空间，只有当系统OOM时才允许使用它

##生效
$ sysctl --system   或 sysctl -p /etc/sysctl.d/k8s.conf

3.7 配置yum源（采用阿里云repo源）

##下载常用的软件
$ yum clean all && yum makecache  && yum repolist
$ yum install -y vim net-tools  bash-completion wget lrzsz     
##配置国内阿里云docker的repo源
$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

3.8 配置安装k8s组件需要的阿里云的repo源

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

3.9 配置时间同步

##安装ntpdate命令
$ yum install ntpdate -y
##跟网络源做同步
$ ntpdate cn.pool.ntp.org
##把时间同步做成计划任务
$ crontab -e
##填入一下内容
$ * */1 * * * /usr/sbin/ntpdate   cn.pool.ntp.org
##重启crond服务
$ service crond restart


或者利用chronyd

##安装chronyd
$ yum install -y chronyd
##启动chronyd及加入开机自启
$ systemctl start chronyd && systemctl enable chronyd 
#修改/etc/chrony.conf配置文件，同步服务器地址为阿里云，增加一行（server ntp1.aliyun.com iburst，其余服务地址注释了）
$ server ntp1.aliyun.com iburst

3.10 配置IPVS

$ yum install  -y ipvsadm ipset sysstat conntrack libseccomp  
$ cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack ip_tables ip_set xt_set ipt_set ipt_rpfilter ipt_REJECT ipip "
for kernel_module in ${ipvs_modules}; do
  /sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
  if [ $? -eq 0 ]; then
    /sbin/modprobe ${kernel_module}
  fi
done
EOF  
$ chmod 755 /etc/sysconfig/modules/ipvs.modules 
$ sh /etc/sysconfig/modules/ipvs.modules 
$ lsmod | grep ip_vs

dummy0网卡和kube-ipvs0网卡：在安装k8s集群时，启用了ipvs的话，就会有这两个网卡。（将service的IP绑定在kube-ipvs0网卡上）

3.11 安装Containerd(二进制)

1）下载二进制包

$ wget https://github.com/containerd/containerd/releases/download/v1.6.8/cri-containerd-1.6.8-linux-amd64.tar.gz
$ tar zxvf cri-containerd-1.6.8-linux-amd64.tar.gz
$ ls  -l
drwxr-xr-x  4 root root        51 4月  26 07:52 etc
drwxr-xr-x  4 root root        35 4月  26 07:51 opt
drwxr-xr-x  3 root root        19 4月  26 07:50 usr

etc目录：主要为containerd服务管理配置文件及cni虚拟网卡配置文件；

opt目录：主要为gce环境中使用containerd配置文件及cni插件；

usr目录：主要为containerd运行时的二进制文件，包含runc；

2）拷贝二进制可执行文件到$PATH中

$ ls usr/local/bin/
containerd  containerd-shim  containerd-shim-runc-v1  containerd-shim-runc-v2  containerd-stress  crictl  critest  ctd-decoder  ctr
$ cp usr/local/bin/*  /usr/local/bin/

containerd 的安装包中一共有五个文件，通过上面的命令它们被安装到了 /usr/local/bin 目录中：

containerd：即容器的运行时，以 gRPC 协议的形式提供满足 OCI 标准的 API

containerd-release：containerd 项目的发行版发布工具

containerd-stress：containerd压力测试工具

containerd-shim：这是每一个容器的运行时载体，我们在 docker 宿主机上看到的 shim 也正是代表着一个个通过调用 containerd 启动的 docker 容器。

ctr：它是一个简单的 CLI 接口，用作 containerd 本身的一些调试用途，投入生产使用时还是应该配合docker 或者 cri-containerd 部署。

3）创建初始配置文件

Containerd 的默认配置文件为 /etc/containerd/config.toml

$ mkdir -p /etc/containerd/
$ containerd config default > /etc/containerd/config.toml    #创建默认的配置文件

4）修改配置

• 替换镜像源

由于国内环境原因我们需要将 sandbox_image 镜像源设置为阿里云google_containers镜像源。

$ sed -i "s#k8s.gcr.io/pause#registry.cn-hangzhou.aliyuncs.com/google_containers/pause#g"  /etc/containerd/config.toml
#等同于：
$ vim /etc/containerd/config.toml
  [plugins."io.containerd.grpc.v1.cri"]
  sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6"

• 配置镜像加速

$ vim /etc/containerd/config.toml
  [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
      endpoint = ["https://cekcu3pt.mirror.aliyuncs.com"]

• 配置驱动器

Containerd 和 Kubernetes 默认使用旧版驱动程序来管理 cgroups，但建议在基于 systemd 的主机上使用该驱动程序，以符合 cgroup 的“单编写器”规则。

$ sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml
#等同于
$ vim /etc/containerd/config.toml
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
  SystemdCgroup = true

5）创建服务管理配置文件

拷贝服务管理配置文件到/usr/lib/systemd/system/目录

$ grep -v ^# etc/systemd/system/containerd.service
$ mv etc/systemd/system/containerd.service /usr/lib/systemd/system/containerd.service

6）启动 containerd 服务

$ systemctl daemon-reload
$ systemctl enable --now containerd.service
$ systemctl status containerd.service
$ containerd  --version    #查看版本
containerd github.com/containerd/containerd v1.6.3 f830866066ed06e71bad64871bccfd34daf6309c

7）安装runc（二进制）

Runc是真正运行容器的工具

$ chmod +x runc.amd64
$ mv runc.amd64 /usr/bin/runc
$ runc -version #出现以下说明安装没有问题
runc version 1.1.4
commit: v1.1.4-0-g5fd4c4d1
spec: 1.0.2-dev
go: go1.17.10
libseccomp: 2.5.4
##出现以下说明依赖确实或者版本不支持
runc: symbol lookup error: runc: undefined symbol: seccomp_notify_respond   

【报错原因】缺少依赖包libseccomp（2.4以上版本）安全计算模式。解决办法：

$ wget http://rpmfind.net/linux/centos/8-stream/BaseOS/x86_64/os/Packages/libseccomp-2.5.1-1.el8.x86_64.rpm
$ rpm -ivh libseccomp-2.5.1-1.el8.x86_64.rpm
$ rpm -qa |  grep libseccomp
libseccomp-2.5.1-1.el8.x86_64
$ runc  -version
runc version 1.1.2
commit: v1.1.2-0-ga916309f
spec: 1.0.2-dev
go: go1.17.11
libseccomp: 2.5.1

配置crictl客户端

$ mv etc/crictl.yaml  /etc/
$ cat  /etc/crictl.yaml 
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///var/run/containerd/containerd.sock
timeout: 10
debug: false

3.12 下载并安装kubeadm、kubectl、kubelet

$ yum install -y kubelet-1.24.4 kubeadm-1.24.4 kubectl-1.24.4
$ systemctl enable kubelet && systemctl start kubelet && systemctl status kubelet
#上面可以看到kubelet状态不是running状态，这个是正常的，不用管，等k8s组件起来这个kubelet就正常了。
##注：每个软件包的作用
Kubeadm:  kubeadm是一个工具，用来初始化k8s集群的
kubelet:   安装在集群所有节点上，用于启动Pod的
kubectl:   通过kubectl可以部署和管理应用，查看各种资源，创建、删除和更新各种组件

3.13 设置Table键补全

• Kubectl命令补全：

$ kubectl completion  bash >  /etc/bash_completion.d/kubelet

• Kubeadm命令补全：

$ kubeadm  completion  bash >  /etc/bash_completion.d/kubeadm

四、初始化master节点

4.1 检测安装环境

检测主机环境是否达到集群的要求，可根据结果提示进行逐一排除故障

$ kubeadm init --dry-run

4.2 镜像下载/导入

1）列出需要使用的镜像列表

$ kubeadm config images list

2）拉取镜像

$ kubeadm config images pull  
--image-repository  registry.aliyuncs.com/google_containers 
--kubernetes-version  v1.24.4

–image-repository: 从哪个地方下载镜像（默认”k8s.gcr.io”，但k8s.gcr.io国内无法访问）；

–kubernetes-version: 指定kubernetes集群的镜像版本；

4.3 创建配置文件

创建默认的配置文件

$ kubeadm config print init-defaults > kubeadm-init.yaml

修改配置文件

$ cat kubeadm-init.yaml
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 10.0.8.2  #修改为控制节点IP（VIP）
  bindPort: 6443
nodeRegistration:
  criSocket: /run/containerd/containerd.sock  #使用containerd为容器运行时
  imagePullPolicy: IfNotPresent
  name: ks-m1     #修改为控制节点主机名
  taints: null
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers  #修改为阿里镜像地址
kind: ClusterConfiguration
kubernetesVersion: 1.24.4  #版本
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16   #指定Pod网段
  serviceSubnet: 10.96.0.0/12  #指定Service网段
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind:  KubeProxyConfiguration
mode: ipvs
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd

4.4 初始化

$ kubeadm init --config kubeadm-init.yaml 

显示如下说明安装成功：

注：该token 有效期为24小时。参数  –control-plane 就是加入控制节点，不带该参数就是加入工作节点。

4.5 环境配置

根据初始化成功后的提示对集群进行基础的配置。

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config
$ export KUBECONFIG=/etc/kubernetes/admin.conf
$ echo "KUBECONFIG=/etc/kubernetes/admin.conf" >>  ~/.bashrc && source  ~/.bashrc
$ kubectl get nodes
NAME              STATUS     ROLES                  AGE    VERSION
ks-m1   NotReady   control-plane,master   3m3s   v1.22.12

查看集群状态：

4.6 集群重置（可选）

$ kubeadm reset

五、扩展node节点

扩展node节点比较简单，通过以下命令即可：

kubeadm join 10.0.8.2:6443 --token abcdef.0123456789abcdef 
 --discovery-token-ca-cert-hash sha256:1688c61dd7f6dfee929b94b154866d099a164eba4870d09c82b12425bdd09ba9

查看集群状态：

$ kubectl get nodes

  如下所示：

$ kubectl label node ks-n1 node-role.kubernetes.io/worker=worker

六、安装插件

6.1 下载Calico网络插件文件

下载地址：

$ curl https://projectcalico.docs.tigera.io/archive/v3.23/manifests/calico.yaml -O
##或者
$ wget https://docs.projectcalico.org/v3.23/manifests/calico.yaml --no-check-certificat

  调整calico.yaml如下：

#新增两行配置  直接配置通配符 ：value: "interface=eth.*"
- name: IP_AUTODETECTION_METHOD
  value: "interface=eth.*" 

注意：在安装calico网络时，默认安装是IPIP网络。calico.yaml文件中，将CALICO_IPV4POOL_IPIP的值修改成 “off”，就能够替换成BGP网络。eth.*是根据自己机器的网络来调整的。这样可以避很多calico网络错误。如下：

6.2 提前下载Calico镜像

$ grep image calico.yaml

##预先下载calico相关的镜像
$ ctr images pull  docker.io/calico/cni:v3.23.3
$ ctr images pull  docker.io/calico/node:v3.23.3
$ ctr images pull  docker.io/calico/kube-controllers:v3.23.3

6.3 安装Calico网络插件

##在其中一个master节点执行即可
$ kubectl apply -f calico.yaml 

如下：

$ kubectl get nodes
$ kubectl get pods -n kube-system

6.4 安装CoreDNS域名解析插件

6.5 安装Metrics数据采集插件

metrics-server 是一个集群范围内的资源数据集和工具，同样的，metrics-server 也只是显示数据，并不提供数据存储服务，主要关注的是资源度量 API 的实现，比如 CPU、文件描述符、内存、请求延时等指标，metric-server 收集数据给 k8s 集群内使用，如 kubectl,hpa,scheduler 等!

1）下载yaml文件

##下载最新版本的yaml文件
$ https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
##指定下载v0.4.1版本
$ https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.4.1/components.yaml

2）修改yaml文件

$ mv components.yaml metrics-server.yaml
$ vim metrics-server.yaml
...
containers:
      - args:
        - --cert-dir=/tmp
        - --secure-port=4443
        - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
        - --kubelet-use-node-status-port
        - --metric-resolution=15s
        - --kubelet-insecure-tls   #跳过验证SSL证书

3）提前下载镜像

$ grep image: metrics-server.yaml   #查看需要的镜像
   image: registry.aliyuncs.com/google_containers/metrics-server:v0.6.1
$ ctr images  pull registry.aliyuncs.com/google_containers/metrics-server:v0.6.1

4）调整apiserver的配置

##增加如下内容：
- --enable-aggregator-routing=true

5）更新apiserver的配置

$ kubectl apply -f  /etc/kubernetes/manifests/kube-apiserver.yaml
pod/kube-apiserver created
$ kubectl get pods -n kube-system

注：把CrashLoopBackOff状态的pod删除，删除后k8s会重新创建。

$ kubectl delete pods kube-apiserver -n kube-system
pod "kube-apiserver" deleted

6）安装metrics-server

$ kubectl apply -f metrics-server.yaml 
serviceaccount/metrics-server created
clusterrole.rbac.authorization.k8s.io/system:aggregated-metrics-reader created
clusterrole.rbac.authorization.k8s.io/system:metrics-server created
rolebinding.rbac.authorization.k8s.io/metrics-server-auth-reader created
clusterrolebinding.rbac.authorization.k8s.io/metrics-server:system:auth-delegator created
clusterrolebinding.rbac.authorization.k8s.io/system:metrics-server created
service/metrics-server created
deployment.apps/metrics-server created
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created

## 查看pod状态
$ kubectl get pods -n kube-system

7）查看节点资源

$ kubectl top nodes
NAME    CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
ks-m1   252m         6%     1787Mi          11%             
ks-n1   272m         1%     2722Mi          45%          

七、集群验证

通过以下命令进行集群验证：

$ kubectl get node