#在192.168.0.1上执行如下：
$ hostnamectl set-hostname ks-m1 && bash
#在192.168.0.2上执行如下：
$ hostnamectl set-hostname ks-m2 && bash
#在192.168.0.3上执行如下：
$ hostnamectl set-hostname ks-m3 && bash
#在192.168.0.4上执行如下：
$ hostnamectl set-hostname ks-n1 && bash
#在192.168.0.5上执行如下：
$ hostnamectl set-hostname ks-n2 && bash

#修改ks-m1、ks-m2、 ks-m3、ks-n1、ks-n1机器的/etc/hosts文件，增加如下四行：
192.168.0.1 ks-m1

192.168.0.2 ks-m2

192.168.0.3 ks-m3

192.168.0.4 ks-n1

192.168.0.5 ks-n2



或
cat >> /etc/hosts << EOF

192.168.0.1 ks-m1

192.168.0.2 ks-m2

192.168.0.3 ks-m3

192.168.0.4 ks-n1

192.168.0.5 ks-n2

EOF

##关闭防火墙
$ systemctl stop firewalld
##禁止防火墙开机启动
$ systemctl disable firewalld
##永久关闭selinux 注：重启机器后，selinux配置才能永久生效
$ sed -i 's/enforcing/disabled/' /etc/selinux/config
##临时关闭selinux   执行getenforce   显示Disabled说明selinux已经关闭
$ setenforce 0
##永久关闭交换分区swap 注：重启机器后，才能永久生效
$ sed -ri 's/.*swap.*/#&/' /etc/fstab
##临时关闭交换分区swap
$ swapoff -a

$ rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

$ yum install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm -y

$ yum --disablerepo="*" --enablerepo="elrepo-kernel" list available

$ yum --enablerepo=elrepo-kernel install kernel-lt -y

$ awk -F' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg

$ awk -F' '$1=="menuentry " {print i++ " : " $2}' /boot/efi/EFI/centos/grub.cfg

$ grub2-set-default 0

$ grub2-mkconfig -o /boot/grub2/grub.cfg

$ grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg

$ reboot
$ uname -r

##下载常用的软件
$ yum clean all && yum makecache  && yum repolist
$ yum install -y vim net-tools  bash-completion wget lrzsz     
##配置国内阿里云docker的repo源
$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

##安装ntpdate命令
$ yum install ntpdate -y
##跟网络源做同步
$ ntpdate cn.pool.ntp.org
##把时间同步做成计划任务
$ crontab -e
##填入一下内容
$ * */1 * * * /usr/sbin/ntpdate   cn.pool.ntp.org
##重启crond服务
$ service crond restart


或者利用chronyd

##安装chronyd
$ yum install -y chronyd
##启动chronyd及加入开机自启
$ systemctl start chronyd && systemctl enable chronyd 
#修改/etc/chrony.conf配置文件，同步服务器地址为阿里云，增加一行（server ntp1.aliyun.com iburst，其余服务地址注释了）
$ server ntp1.aliyun.com iburst

#安装docker
$ yum install docker-ce docker-ce-cli containerd.io -y  或指定版本  yum install docker-ce-20.10.8 docker-ce-cli-20.10.8 containerd.io  -y
#启动docker并设置开机自启
$ systemctl start docker && systemctl enable docker.service && systemctl status docker

$ cat > /etc/sysconfig/modules/ipvs.modules <<EOF
{
"data-root":"/data/docker/lib",
"log-driver": "json-file",
"registry-mirrors": ["https://***.mirror.aliyuncs.com"],
"bip": "10.128.10.1/24",
"exec-opts": ["native.cgroupdriver=systemd"],
"insecure-registries":["harbor的ip+port"]
}
EOF

$ yum install -y kubelet-1.22.12 kubeadm-1.22.12 kubectl-1.22.12
$ systemctl enable kubelet && systemctl start kubelet && systemctl status kubelet
#上面可以看到kubelet状态不是running状态，这个是正常的，不用管，等k8s组件起来这个kubelet就正常了。
##注：每个软件包的作用
Kubeadm:  kubeadm是一个工具，用来初始化k8s集群的
kubelet:   安装在集群所有节点上，用于启动Pod的
kubectl:   通过kubectl可以部署和管理应用，查看各种资源，创建、删除和更新各种组件

$ kubeadm config print init-defaults > kubeadm-init.yaml

$ cat kubeadm-init.yaml
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.0.1   #本机ks-m1的ip
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  imagePullPolicy: IfNotPresent
  name: ks-m1
  taints: 
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
  certSANs:
  - "172.17.0.252"
  extraArgs:
    authorization-mode: "Node,RBAC"
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
controlPlaneEndpoint: 172.17.0.252:6443  #此ip和端口是青云负载均衡器生成的内部负载ip+端口
clusterName: kubernetes
cgroupDriver: systemd
controllerManager: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.22.12
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.10.0.0/16
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs

$ kubeadm init --config kubeadm-init.yaml   --upload-certs
##upload-certs 标志用来将在所有控制平面实例之间的共享证书上传到集群，若是不加会报错.

在ks-m2、ks-m3节点上创建证书存放目录：
$ cd /root && mkdir -p /etc/kubernetes/pki/etcd &&mkdir -p ~/.kube/
##把ks-m1节点的证书拷贝到ks-m2上：
$ scp /etc/kubernetes/pki/ca.crt ks-m2:/etc/kubernetes/pki/
$ scp /etc/kubernetes/pki/ca.key ks-m2:/etc/kubernetes/pki/
$ scp /etc/kubernetes/pki/sa.key ks-m2:/etc/kubernetes/pki/
$ scp /etc/kubernetes/pki/sa.pub ks-m2:/etc/kubernetes/pki/
$ scp /etc/kubernetes/pki/front-proxy-ca.crt ks-m2:/etc/kubernetes/pki/
$ scp /etc/kubernetes/pki/front-proxy-ca.key ks-m2:/etc/kubernetes/pki/
$ scp /etc/kubernetes/pki/etcd/ca.crt ks-m2:/etc/kubernetes/pki/etcd/
$ scp /etc/kubernetes/pki/etcd/ca.key ks-m2:/etc/kubernetes/pki/etcd/

##ks-m3同上

#kubeadm join *****:6443 --token pa6691.w9a5ucih8p4e8y2g     --discovery-token-ca-cert-hash sha256:cac5dc7e6c559e129bed3aeff757e3ba6da35c4b2734c4833d978c4c1859d5d8  --control-plane 

$ kubeadm join *****:6443 --token pa6691.w9a5ucih8p4e8y2g     --discovery-token-ca-cert-hash sha256:cac5dc7e6c559e129bed3aeff757e3ba6da35c4b2734c4833d978c4c1859d5d8  

$ kubectl get nodes

$ curl https://projectcalico.docs.tigera.io/archive/v3.22/manifests/calico.yaml -O
##或者
$ wget https://docs.projectcalico.org/v3.22/manifests/calico.yaml --no-check-certificat

#新增两行配置  直接配置通配符 ：value: "interface=eth.*"
- name: IP_AUTODETECTION_METHOD
  value: "interface=eth.*" 

$ grep image calico.yaml

##预先下载calico相关的镜像
$ docker pull calico/kube-controllers:v3.22.4
$ docker pull calico/cni:v3.22.4
$ docker pull calico/pod2daemon-flexvol:v3.22.4
$ docker pull calico/node:v3.22.4

##在其中一个master节点执行即可
$ kubectl apply -f calico.yaml 

$ mv components.yaml metrics-server.yaml
$ vim metrics-server.yaml
...
containers:
      - args:
        - --cert-dir=/tmp
        - --secure-port=4443
        - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
        - --kubelet-use-node-status-port
        - --metric-resolution=15s
        - --kubelet-insecure-tls   #跳过验证SSL证书

$ grep image: metrics-server.yaml   #查看需要的镜像
   image: registry.aliyuncs.com/google_containers/metrics-server:v0.6.1
$ docker  pull registry.aliyuncs.com/google_containers/metrics-server:v0.6.1

##增加如下内容：
- --enable-aggregator-routing=true

$ kubectl apply -f  /etc/kubernetes/manifests/kube-apiserver.yaml
pod/kube-apiserver created
$ kubectl get pods -n kube-system

$ kubectl delete pods kube-apiserver -n kube-system
pod "kube-apiserver" deleted

## 查看pod状态
$ kubectl get pods -n kube-system

$ kubectl top nodes
NAME    CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
ks-m1   252m         6%     1787Mi          11%       
ks-m2   422m         10%    1604Mi          10%       
ks-m3   890m         11%    16004Mi         66%       
ks-n1   272m         1%     27226Mi         45%       
ks-n2   450m         2%     23817Mi         74%