【摘要】Helm3部署Rancher2.6.3高可用集群,通过创建 Kubernetes Secret 使用自签证书。
一、前言
Helm是Kubernetes的一个包管理工具,用来简化Kubernetes应用的部署和管理。
其实我们公司使用Rancher已经有一两年的时间了,之前的版本是2.3,现在应该是升级到了2.5.8,当然了最新的版本应该已经到了2.6.8了,至于为什么没有升级到2.6版本里?主要是基于以下几点考虑的。
-
生产环境中那肯定是“稳”当头,新版本有很多不确定的因素。 -
据说Rancher2.6版本比较难用,界面有很大的改变。
二、部署说明
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master1 Ready control-plane,master 9d v1.20.7
k8s-master2 Ready control-plane,master 9d v1.20.7
k8s-node1 Ready worker 9d v1.20.7
k8s-node2 Ready worker 8d v1.20.7
注:我这是2个master节点,生产中至少需要3个节点的master节点。
三、安装Helm3
官方下载地址
helm下载地址:https://github.com/helm/helm/releases
helm中文文档:https://helm.sh/zh/docs/topics/version_skew/
3.1 通过wget方式直接拉取
$ wget -c https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}
注:安装helm要查看支持的k8s版本,提前查看Helm版本支持策略:https://helm.sh/zh/docs/topics/version_skew/
如下图所示:

3.2 通过GitHub直接下载
helm下载地址:https://github.com/helm/helm/releases
$ tar zxvf helm-v3.7.2-linux-amd64.tar.gz
$ mv ./linux-amd64/helm /usr/bin/
$ helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}
四、Helm3部署Rancher2.6.3集群
4.1 配置国内存放chart仓库的地址
推荐使用阿里云仓库(https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts)。
##添加阿里云的 chart 仓库
$ helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
##添加 bitnami 的 chart 仓库
$ helm repo add bitnami https://charts.bitnami.com/bitnami
##添加Rancher chart仓库地址
$ helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
##更新 chart 仓库
$ helm repo update
注:Rancher chart仓库推荐stable。latest 最新:推荐用于试用最新功能stable 稳定:推荐用于生产环境 Alpha:即将发布的实验性预览
官网地址:https://rancher.com/docs/rancher/v2.6/en/installation/other-installation-methods/air-gap/install-rancher/
4.2 选择 SSL 配置
Rancher Server 默认设计为安全的,需要 SSL/TLS 配置。当 Rancher 安装在 Kubernetes 集群上时,有两个推荐的证书来源选项。如下所示:

我们使用自己的证书文件,安装时通过ingress.tls.source=secret来标识。
4.3生成自签证书
$ bash key.sh --ssl-domain=test.rancker.com --ssl-trusted-ip=192.168.0.152,192.168.0.154,192.168.0.156,192.168.0.201 --ssl-size=2048 --ssl-date=3650
test.rancker.com是自定义的测试域名。
key.sh内容如下:
#!/bin/bash -e
help ()
{
echo ' ================================================================ '
echo ' --ssl-domain: 生成ssl证书需要的主域名,如不指定则默认为www.rancher.local,如果是ip访问服务,则可忽略;'
echo ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求,有时候需要使用ip去访问server,那么需要给ssl证书添加扩展IP,多个IP用逗号隔开;'
echo ' --ssl-trusted-domain: 如果想多个域名访问,则添加扩展域名(SSL_TRUSTED_DOMAIN),多个扩展域名用逗号隔开;'
echo ' --ssl-size: ssl加密位数,默认2048;'
echo ' --ssl-date: ssl有效期,默认10年;'
echo ' --ca-date: ca有效期,默认10年;'
echo ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
echo ' 使用示例:'
echo ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com '
echo ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
echo ' ================================================================'
}
case "$1" in
-h|--help) help; exit;;
esac
if [[ $1 == '' ]];then
help;
exit;
fi
CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
case "$key" in
--ssl-domain) SSL_DOMAIN=$value ;;
--ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
--ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
--ssl-size) SSL_SIZE=$value ;;
--ssl-date) SSL_DATE=$value ;;
--ca-date) CA_DATE=$value ;;
--ssl-cn) CN=$value ;;
esac
done
# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca
# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}
## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}
SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt
echo -e "33[32m ---------------------------- 33[0m"
echo -e "33[32m | 生成 SSL Cert | 33[0m"
echo -e "33[32m ---------------------------- 33[0m"
if [[ -e ./${CA_KEY} ]]; then
echo -e "33[32m ====> 1. 发现已存在CA私钥,备份"${CA_KEY}"为"${CA_KEY}"-bak,然后重新创建 33[0m"
mv ${CA_KEY} "${CA_KEY}"-bak
openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
echo -e "33[32m ====> 1. 生成新的CA私钥 ${CA_KEY} 33[0m"
openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi
if [[ -e ./${CA_CERT} ]]; then
echo -e "33[32m ====> 2. 发现已存在CA证书,先备份"${CA_CERT}"为"${CA_CERT}"-bak,然后重新创建 33[0m"
mv ${CA_CERT} "${CA_CERT}"-bak
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
echo -e "33[32m ====> 2. 生成新的CA证书 ${CA_CERT} 33[0m"
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
echo -e "33[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} 33[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM
if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
IFS=","
dns=(${SSL_TRUSTED_DOMAIN})
dns+=(${SSL_DOMAIN})
for i in "${!dns[@]}"; do
echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
done
if [[ -n ${SSL_TRUSTED_IP} ]]; then
ip=(${SSL_TRUSTED_IP})
for i in "${!ip[@]}"; do
echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
done
fi
fi
echo -e "33[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} 33[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
echo -e "33[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} 33[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
echo -e "33[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} 33[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT}
-CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT}
-days ${SSL_DATE} -extensions v3_req
-extfile ${SSL_CONFIG}
echo -e "33[32m ====> 7. 证书制作完成 33[0m"
echo
echo -e "33[32m ====> 8. 以YAML格式输出结果 33[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/ /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/ /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/ /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/ /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/ /'
echo
echo -e "33[32m ====> 9. 附加CA证书到Cert文件 33[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/ /'
echo
echo -e "33[32m ====> 10. 重命名服务证书 33[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt
域名就是默认的:www.rancher.local,我们采用test.rancker.com。
官方地址:https://docs.rancher.cn/docs/rancher2.5/installation/resources/advanced/self-signed-ssl/_index/#41-一键生成-ssl-自签名证书脚本
脚本说明:
-
复制以上代码另存为key.sh或者其他您喜欢的文件名 -
脚本参数
--ssl-domain: 生成ssl证书需要的主域名,如不指定则默认为www.rancher.local,如果是ip访问服务,则可忽略;
--ssl-trusted-ip: 一般ssl证书只信任域名的访问请求,有时候需要使用ip去访问server,那么需要给ssl证书添加扩展IP,多个IP用逗号隔开;
--ssl-trusted-domain: 如果想多个域名访问,则添加扩展域名(TRUSTED_DOMAIN),多个TRUSTED_DOMAIN用逗号隔开;
--ssl-size: ssl加密位数,默认2048;
--ssl-cn: 国家代码(2个字母的代号),默认CN;
使用示例:
./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com
--ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650
4.4 部署rancher
创建 rancher 的 namespace:
$ kubectl --kubeconfig=$KUBECONFIG create namespace cattle-system
helm 渲染中 –set privateCA=true 用到的证书:
$ kubectl -n cattle-system create secret generic tls-ca --from-file=cacerts.pem
helm 渲染中 –set additionalTrustedCAs=true 用到的证书:
$ cp cacerts.pem ca-additional.pem
$ kubectl -n cattle-system create secret generic tls-ca-additional --from-file=ca-additional.pem
helm 渲染中 –set ingress.tls.source=secret 用到的证书和密钥:
$ kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=tls.crt --key=tls.key
通过Helm将部署模板下载到本地:
$ helm fetch rancher-stable/rancher
当前目录会多一个rancher-2.6.3.tgz
使用以下命令渲染模板:
$ helm template rancher ./rancher-2.6.3.tgz
--namespace cattle-system --output-dir .
--set privateCA=true
--set additionalTrustedCAs=true
--set ingress.tls.source=secret
--set hostname=test.rancker.com
--set useBundledSystemChart=true
在rancher目录中可以看到渲染好的模板文件:

使用kubectl安装rancher:
$ kubectl -n cattle-system apply -R -f ./rancher/templates/
注:可以事在所有的工作节点上将镜像拉取下来,避免拉取镜像时间较长。
如下所示:
$ docker pull rancher/rancher:v2.6.3
$ docker pull rancher/fleet:v0.3.8
$ docker pull rancher/fleet-agent:v0.3.8
$ docker pull rancher/rancher-webhook:v0.2.2
$ docker pull rancher/shell:v0.1.14
若是启动过程中有问题,可以删除pod,再创建一次
$ kubectl -n cattle-system delete -R -f ./rancher/templates/
有些pod需要手动删除
$ kubectl delete <pod名称> -n cattle-system
再次创建:
$ kubectl -n cattle-system apply -R -f ./rancher/templates/
查看安装进度:
$ kubectl -n cattle-system get all -o wide

注:通过上面可以看到rancher已经安装成功了。
4.5 配置hosts
由于域名是自定义的,我们需要在自己的windows上配置hosts:
192.168.0.154 test.rancker.com
192.168.0.152 test.rancker.com
192.168.0.156 test.rancker.com
192.168.0.201 test.rancker.com
windows的hosts路径:C:WindowsSystem32driversetchosts
浏览器访问:test.rancker.com

五、密码设置
Rancher2.6密码设置
1) 查看随机生成的密码
$ kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{"n"}}'
查看密码如下:

2) 设置特定密码

六、访问验证
6.1 Rancher2.6新特性面面观
首次进入如下:

6.2 设置中文

原文始发于微信公众号(架构至美):Helm3部署Rancher2.6.3高可用集群
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/42589.html