kubeadm 在多网卡环境部署的绑定设置

介绍

kubeadm 可以非常便捷地利用 Static Pods 的方式来快速部署 Kubernetes 集群，也是 Kubernetes 官方自带的部署实施工具，包含了很多最佳实践的配置总结。
在大部分环境里，kubeadm 能够非常良好的完成部署，大体为 kubeadm init 和 kubeadm join 的流程。

但是在多网卡的环境里，需要注意 kubeadm 对 apiserver vip、etcd binding address、etcd peer address 等地址的绑定关系，尽量减少错误监听，也减少流量隔离的风险。
kubeadm 默认通过 net-host 网络将 apiserver 绑定默认路由绑定的网卡 IP 地址，并将此地址上传到 ConfigMap 中，后续 kubeadm join 的 master 会根据这个地址来配置 etcd 的 peerURL，从而加入 cluster 内。

可能因此错误配置而出现的问题：

暴露集群端口到公网。
preflight 阶段无法访问非预期的 IP，无法获取集群配置，部署受限。
kubelet、controller-manager、scheduler 使用了非控制面 vip 地址，影响集群高可用能力。
etcd 使用默认路由的网卡地址，不在信任 SAN 内，或者无法在内网访问此地址，导致 etcd 集群无法建立。

如果多网卡的主机配置，想让集群流量走内部网卡，而不绑定到连接默认路由的出局网卡，需要进行额外的配置。

部署操作

这里通过 Vagrant 创建 VM，网卡配置为出局访问外网的 DHCP 网卡 enp0s3 和内部网段的网卡 enp0s8 ，Kubernetes 流量只通过 enp0s8 转发。

创建 kubeadm 的配置文件，本机内网地址为 192.168.1.11：

---
apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
# init 部署的当前主机需要绑定的 IP
localAPIEndpoint:
  advertiseAddress: 192.168.1.11
  bindPort: 6443

---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.20.15
controlPlaneEndpoint: api.k8s.local:6443
networking:
  serviceSubnet: 192.255.0.0/16
  podSubnet: 192.0.0.0/16
etcd:
  local:
    imageRepository: registry.k8s.io
    imageTag: 3.4.13-0
    dataDir: /var/lib/etcd
    # etcd 成员的 SAN
    serverCertSANs:
      - 127.0.0.1
      - 192.168.1.11
      - master-1
      - 192.168.1.12
      - master-2
      - 192.168.1.13
      - master-3
    peerCertSANs:
      - 127.0.0.1
      - 192.168.1.11
      - master-1
      - 192.168.1.12
      - master-2
      - 192.168.1.13
      - master-3
apiServer:
  extraArgs:
    authorization-mode: "Node,RBAC"
  certSANs:
    # 本地回环地址
    - 127.0.0.1
    # apiserver vip 地址
    - api.k8s.vip
    # 控制面节点成员
    - 192.168.1.11
    - master-1
    - 192.168.1.12
    - master-2
    - 192.168.1.13
    - master-3
certificatesDir: /etc/kubernetes/pki
imageRepository: registry.k8s.io
clusterName: kubernetes

---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs

配置 kube-vip：

mkdir -p /etc/kubernetes/manifests/
export VIP=192.168.1.100
export INTERFACE=enp0s8

docker run --rm --network host ghcr.io/kube-vip/kube-vip:v0.6.2 manifest pod 
--interface ${INTERFACE} 
--vip ${VIP} 
--controlplane 
--services 
--arp 
--leaderElection | tee  /etc/kubernetes/manifests/kube-vip.yaml

通过上传证书的方式初始化：

kubeadm init --upload-certs --config /data/kubernetes/conf/kubeadm-config.yaml

后续节点加入，需要声明绑定的 IP，本机内网地址为 192.168.1.12:

kubeadm join api.k8s.local:6443 
  --apiserver-advertise-address 192.168.1.12 
  --token ${token} 
  --discovery-token-ca-cert-hash ${hash} 
  --control-plane --certificate-key ${key}