【摘要】Helm3部署Rancher2.6.3高可用集群，通过创建 Kubernetes Secret 使用自签证书。

一、前言

Helm是Kubernetes的一个包管理工具，用来简化Kubernetes应用的部署和管理。

其实我们公司使用Rancher已经有一两年的时间了，之前的版本是2.3，现在应该是升级到了2.5.8，当然了最新的版本应该已经到了2.6.8了，至于为什么没有升级到2.6版本里？主要是基于以下几点考虑的。

• 生产环境中那肯定是“稳”当头，新版本有很多不确定的因素。
• 据说Rancher2.6版本比较难用，界面有很大的改变。

二、部署说明

$ kubectl get nodes
NAME          STATUS   ROLES                  AGE   VERSION
k8s-master1   Ready    control-plane,master   9d    v1.20.7
k8s-master2   Ready    control-plane,master   9d    v1.20.7
k8s-node1     Ready    worker                 9d    v1.20.7
k8s-node2     Ready    worker                 8d    v1.20.7

注：我这是2个master节点，生产中至少需要3个节点的master节点。

三、安装Helm3

官方下载地址

helm下载地址:https://github.com/helm/helm/releases
helm中文文档:https://helm.sh/zh/docs/topics/version_skew/

 3.1 通过wget方式直接拉取

$ wget -c https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

注：安装helm要查看支持的k8s版本，提前查看Helm版本支持策略：https://helm.sh/zh/docs/topics/version_skew/

如下图所示：

 3.2 通过GitHub直接下载

helm下载地址:https://github.com/helm/helm/releases

$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

四、Helm3部署Rancher2.6.3集群

4.1 配置国内存放chart仓库的地址

推荐使用阿里云仓库（https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts）。

##添加阿里云的 chart 仓库
$ helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
##添加 bitnami 的 chart 仓库
$ helm repo add bitnami https://charts.bitnami.com/bitnami
##添加Rancher chart仓库地址
$ helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
##更新 chart 仓库 
$ helm repo update

注：Rancher chart仓库推荐stable。latest 最新：推荐用于试用最新功能stable  稳定：推荐用于生产环境 Alpha：即将发布的实验性预览

官网地址：https://rancher.com/docs/rancher/v2.6/en/installation/other-installation-methods/air-gap/install-rancher/

 4.2 选择 SSL 配置

Rancher Server 默认设计为安全的，需要 SSL/TLS 配置。当 Rancher 安装在 Kubernetes 集群上时，有两个推荐的证书来源选项。如下所示：

我们使用自己的证书文件，安装时通过ingress.tls.source=secret来标识。

4.3生成自签证书

$ bash  key.sh --ssl-domain=test.rancker.com --ssl-trusted-ip=192.168.0.152,192.168.0.154,192.168.0.156,192.168.0.201 --ssl-size=2048 --ssl-date=3650

test.rancker.com是自定义的测试域名。

key.sh内容如下：

#!/bin/bash -e

help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
    echo  ' --ssl-size: ssl加密位数，默认2048；'
    echo  ' --ssl-date: ssl有效期，默认10年；'
    echo  ' --ca-date: ca有效期，默认10年；'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com  '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == '' ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca

# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "33[32m ---------------------------- 33[0m"
echo -e "33[32m       | 生成 SSL Cert |       33[0m"
echo -e "33[32m ---------------------------- 33[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "33[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 33[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "33[32m ====> 1. 生成新的CA私钥 ${CA_KEY} 33[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "33[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 33[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "33[32m ====> 2. 生成新的CA证书 ${CA_CERT} 33[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "33[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} 33[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM

if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "33[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} 33[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "33[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} 33[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "33[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} 33[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} 
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} 
    -days ${SSL_DATE} -extensions v3_req 
    -extfile ${SSL_CONFIG}

echo -e "33[32m ====> 7. 证书制作完成 33[0m"
echo
echo -e "33[32m ====> 8. 以YAML格式输出结果 33[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "33[32m ====> 9. 附加CA证书到Cert文件 33[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "33[32m ====> 10. 重命名服务证书 33[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

域名就是默认的：www.rancher.local,我们采用test.rancker.com。

官方地址：https://docs.rancher.cn/docs/rancher2.5/installation/resources/advanced/self-signed-ssl/_index/#41-一键生成-ssl-自签名证书脚本

脚本说明：

• 复制以上代码另存为key.sh或者其他您喜欢的文件名
• 脚本参数

--ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；
--ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；
--ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（TRUSTED_DOMAIN）,多个TRUSTED_DOMAIN用逗号隔开；
--ssl-size: ssl加密位数，默认2048；
--ssl-cn: 国家代码(2个字母的代号),默认CN；
使用示例:
./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com 
--ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650

4.4 部署rancher

创建 rancher 的 namespace：

$ kubectl --kubeconfig=$KUBECONFIG     create namespace cattle-system

helm 渲染中 –set privateCA=true 用到的证书：

$ kubectl -n cattle-system create secret generic tls-ca --from-file=cacerts.pem

helm 渲染中 –set additionalTrustedCAs=true 用到的证书：

$ cp cacerts.pem ca-additional.pem
$ kubectl -n cattle-system create secret generic tls-ca-additional --from-file=ca-additional.pem

helm 渲染中 –set ingress.tls.source=secret 用到的证书和密钥：

$ kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=tls.crt --key=tls.key

通过Helm将部署模板下载到本地：

$ helm fetch rancher-stable/rancher

当前目录会多一个rancher-2.6.3.tgz

使用以下命令渲染模板：

$ helm template rancher ./rancher-2.6.3.tgz 
     --namespace cattle-system --output-dir . 
     --set privateCA=true 
     --set additionalTrustedCAs=true 
     --set ingress.tls.source=secret 
     --set hostname=test.rancker.com 
     --set useBundledSystemChart=true

在rancher目录中可以看到渲染好的模板文件：

使用kubectl安装rancher：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

注：可以事在所有的工作节点上将镜像拉取下来，避免拉取镜像时间较长。

如下所示：

$ docker pull rancher/rancher:v2.6.3
$ docker pull rancher/fleet:v0.3.8
$ docker pull rancher/fleet-agent:v0.3.8
$ docker pull rancher/rancher-webhook:v0.2.2
$ docker pull rancher/shell:v0.1.14

若是启动过程中有问题，可以删除pod,再创建一次

$ kubectl -n cattle-system delete -R -f ./rancher/templates/

有些pod需要手动删除

$ kubectl delete <pod名称> -n cattle-system

再次创建：

$ kubectl -n cattle-system apply -R -f ./rancher/templates/

查看安装进度：

$ kubectl -n cattle-system get all -o wide

注：通过上面可以看到rancher已经安装成功了。

 4.5 配置hosts

由于域名是自定义的，我们需要在自己的windows上配置hosts：

192.168.0.154 test.rancker.com
192.168.0.152 test.rancker.com
192.168.0.156 test.rancker.com
192.168.0.201 test.rancker.com

windows的hosts路径：C:WindowsSystem32driversetchosts

浏览器访问：test.rancker.com

五、密码设置

  Rancher2.6密码设置

1) 查看随机生成的密码

$ kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{"n"}}'  

查看密码如下：

2) 设置特定密码

六、访问验证

 6.1 Rancher2.6新特性面面观

首次进入如下：

 6.2 设置中文