Неделю назад мне подкинули задачу - обновить сертификаты k8s кластере. С одной стороны задача казалась достаточно тривиальной, НО нетривиальности добавляло моя неуверенность с k8s: до этого момента я пользовался кубером как сервисом и больше чем посмотреть на поды, удалить их написать deployment по шаблону делать ничего не доводилось. Уверенности добавляло наличие инструкции, но как выяснилось она для версии v1.13 а у кластера для, которого требовалось реализовать эту задачу версия была 1.12.3. И тут началось
3-го числа задачу с обновлением решил и захотелось написать инструкцию. Слышал, что в новых версиях сейчас эта задача решается чуть ли не одной командой, но для тех у кого оказался такой же винтаж как и у меня делюсь своим опытом.
Дано k8s кластер:
-
3 master ноды
-
3 etcd ноды
-
5 worker нод
kubectl get nodesNAME STATUS ROLES AGE VERSIONproduct1-mvp-k8s-0001 Ready master 464d v1.12.3product1-mvp-k8s-0002 Ready master 464d v1.12.3product1-mvp-k8s-0003 Ready master 464d v1.12.3product1-mvp-k8s-0007 Ready node 464d v1.12.3product1-mvp-k8s-0008 Ready node 464d v1.12.3product1-mvp-k8s-0009 Ready node 464d v1.12.3product1-mvp-k8s-0010 Ready node 464d v1.12.3product1-mvp-k8s-0011 Ready node 464d v1.12.3
Срок действия сертификата
echo | openssl s_client -showcerts -connect product1-mvp-k8s-0001:6443 -servername api 2>/dev/null | openssl x509 -noout -enddatenotAfter=Mar 4 00:39:56 2021 GMT
Поехали:
-
на всех MASTER нодах бэкапируем /etc/kubernetes
sudo mkdir backup; sudo cp -R /etc/kubernetes backup/ ; sudo tar -cvzf backup/pki_backup_`hostname`-`date +%Y%m%d`.tar.gz backup/kubernetes/
-
Смотрим в структуру /etc/Kubernetes она будет примерно такой
ls -ltotal 80-rw------- 1 root root 5440 Mar 3 13:21 admin.confdrwxr-xr-x 2 root root 4096 Aug 17 2020 audit-policy-rw-r--r-- 1 root root 368 Mar 4 2020 calico-config.yml-rw-r--r-- 1 root root 270 Mar 4 2020 calico-crb.yml-rw-r--r-- 1 root root 341 Mar 4 2020 calico-cr.yml-rw-r--r-- 1 root root 147 Mar 4 2020 calico-node-sa.yml-rw-r--r-- 1 root root 6363 Mar 4 2020 calico-node.yml-rw------- 1 root root 5472 Mar 3 13:21 controller-manager.conf-rw-r--r-- 1 root root 3041 Aug 14 2020 kubeadm-config.v1alpha3.yaml-rw------- 1 root root 5548 Mar 3 13:21 kubelet.conf-rw-r--r-- 1 root root 1751 Mar 4 2020 kubelet.envdrwxr-xr-x 2 kube root 4096 Aug 14 2020 manifestslrwxrwxrwx 1 root root 28 Mar 4 2020 node-kubeconfig.yaml -> /etc/kubernetes/kubelet.conf-rw------- 1 root root 5420 Mar 3 13:21 scheduler.confdrwxr-xr-x 3 kube root 4096 Mar 3 10:20 ssl
у меня все ключи в ssl, а не в pki , который будет нужен kubeadm , то он должен появиться, в своем случае я сделаю на него symlink
ln -s /etc/kubernetes/ssl /etc/kubernetes/pki
-
отыскиваем файл с конфигурацией кластера, в моем случае это был
kubeadm-config.v1alpha3.yaml
если такового вдруг нет то его возможно сгенерировать
kubectl get cm kubeadm-config -n kube-system -o yaml > /etc/kubernetes/kubeadm-config.yaml
-
Начинаем перегенерацию сертификатов
kubeadm alpha phase certs apiserver --config /etc/kubernetes/kubeadm-config.v1alpha3.yaml[certificates] Using the existing apiserver certificate and key.kubeadm alpha phase certs apiserver-kubelet-clientI0303 13:12:24.543254 40613 version.go:236] remote version is much newer: v1.20.4; falling back to: stable-1.12[certificates] Using the existing apiserver-kubelet-client certificate and key.kubeadm alpha phase certs front-proxy-clientI0303 13:12:35.660672 40989 version.go:236] remote version is much newer: v1.20.4; falling back to: stable-1.12[certificates] Using the existing front-proxy-client certificate and key.kubeadm alpha phase certs etcd-server --config /etc/kubernetes/kubeadm-config.v1alpha3.yaml[certificates] Generated etcd/server certificate and key.[certificates] etcd/server serving cert is signed for DNS names [prod-uct1-mvp-k8s-0001 localhost] and IPs [127.0.0.1 ::1]kubeadm alpha phase certs etcd-server --config /etc/kubernetes/kubeadm-config.v1alpha3.yaml[certificates] Using the existing etcd/server certificate and key.kubeadm alpha phase certs etcd-healthcheck-client --config /etc/kubernetes/kubeadm-config.v1alpha3.yaml[certificates] Generated etcd/healthcheck-client certificate and key.kubeadm alpha phase certs etcd-peer --config /etc/kubernetes/kubeadm-config.v1alpha3.yaml[certificates] Generated etcd/peer certificate and key.[certificates] etcd/peer serving cert is signed for DNS names [product1-mvp-k8s-0001 localhost] and IPs [192.168.4.201 127.0.0.1 ::1]
-
проверяем выпущенные сертификаты на актуальность
find /etc/kubernetes/pki/ -name '*.crt' -exec openssl x509 -text -noout -in {} \; | grep -A2 Validity Validity Not Before: Mar 4 10:29:44 2020 GMT Not After : Mar 2 10:29:44 2030 GMT-- Validity Not Before: Mar 4 10:29:44 2020 GMT Not After : Mar 3 10:07:29 2022 GMT-- Validity Not Before: Mar 4 10:29:44 2020 GMT Not After : Mar 3 10:07:52 2022 GMT-- Validity Not Before: Mar 4 10:29:44 2020 GMT Not After : Mar 3 10:06:48 2022 GMT-- Validity Not Before: Mar 4 10:29:44 2020 GMT Not After : Mar 2 10:29:44 2030 GMT-- Validity Not Before: Mar 4 10:29:44 2020 GMT Not After : Mar 2 19:39:56 2022 GMT-- Validity Not Before: Mar 4 10:29:43 2020 GMT Not After : Mar 2 10:29:43 2030 GMT-- Validity Not Before: Mar 4 10:29:43 2020 GMT Not After : Mar 2 19:40:13 2022 GMT-- Validity Not Before: Mar 4 10:29:44 2020 GMT Not After : Mar 2 19:36:38 2022 GMT
-
В процессе обновления сертификатов буду выпущены заново файлы admin.conf, controller-manager.conf, kubelet.conf, scheduler.conf а существующие переносим в подпапку tmpи генерим новые файлы
kubeadm alpha phase kubeconfig all --config /etc/kubernetes/kubeadm-config.v1alpha3.yaml [kubeconfig] Using existing up-to-date KubeConfig file: "/etc/kubernetes/admin.conf"[kubeconfig] Using existing up-to-date KubeConfig file: "/etc/kubernetes/kubelet.conf"[kubeconfig] Using existing up-to-date KubeConfig file: "/etc/kubernetes/controller-manager.conf"[kubeconfig] Using existing up-to-date KubeConfig file: "/etc/kubernetes/scheduler.conf"
-
перезапускаем все контейнеры и kubelet мастер ноды и проверяем что сервис kubelet завершил перезапуск
sudo systemctl stop kubelet; sudo docker stop $(docker ps -aq); sudo docker rm $(docker ps -aq); sudo systemctl start kubeletsystemctl status kubelet -l kubelet.service - Kubernetes Kubelet Server Loaded: loaded (/etc/systemd/system/kubelet.service; enabled; vendor preset: disabled) Active: active (running) since Wed 2021-03-03 14:00:22 MSK; 10s ago Docs: https://github.com/GoogleCloudPlatform/kubernetes Process: 52998 ExecStartPre=/bin/mkdir -p /var/lib/kubelet/volume-plugins (code=exited, status=0/SUCCESS) Main PID: 53001 (kubelet) Memory: 51.2M CGroup: /system.slice/kubelet.service
-
проверяем что master нода вернулась нормально в кластер и что доступна конфигурация namespace
kubectl get nodeskubectl get nsNAME STATUS AGEdefault Active 464dproduct1-mvp Active 318dinfra-logging Active 315dinfra-nginx-ingress Active 386dkube-public Active 464dkube-system Active 464dpg Active 318d
-
проверяем что сертификат обновился
notAfter=Mar 3 07:40:43 2022 GMT
Обновление сертификатов на master ноде 1 успешно завершено и повторяем туже процедуру на оставшихся 2-х.
Далее обновляем worker ноды:
-
удаляем или переименовываем kubelet.conf, необходимо для того чтобы при перезапуске подхватился файл bootstrap-kubelet.conf
cd /etc/kubernetes/mv kubelet.conf kubelet.conf_old
-
вносим изменения в файл bootstrap-kubelet.conf если его нет, то создаем по шаблону внизу
apiVersion: v1clusters:- cluster: certificate-authority-data: | LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUN5RENDQWJDZ0F3SUJBZ0lCQURBTkJna3Foa2lHOXcwQkFRc0ZBREFWTVJNd0VRWURWUVFERXdwcmRXSmwKY201bGRHVnpNQjRYRFRJd01ETX server: https://192.168.4.201:6443 name: product1contexts:- context: cluster: product1 user: tls-bootstrap-token-user name: tls-bootstrap-token-user@product1current-context: tls-bootstrap-token-user@product1kind: Configpreferences: {}users:- name: tls-bootstrap-token-user user: token: fgz9qz.lujw0bwsdfhdsfjhgds
где мы должны заменить
- certificate-authority-data корневой сертификат центра сертификации PKI CA мастера, берем например из файла /etc/kubernetes/kubelet.conf на master ноде
- server: https://192.168.4.201:6443 - ip api сервера master ноды, или же виртуальный balance ip
token: fgz9qz.lujw0bwsdfhdsfjhgds - токен, который генерим на master ноде
kubeadm token create
-
перезапускаем kubelet и проверяем результат с master ноды, work нода должна ,быть доступна ready в ресурсе кластера
systemctl restart kubeletsystemctl status kubelet -l kubelet.service - Kubernetes Kubelet Server Loaded: loaded (/etc/systemd/system/kubelet.service; enabled; vendor preset: disabled) Active: active (running) since Wed 2021-03-03 14:06:33 MSK; 11s ago Docs: https://github.com/GoogleCloudPlatform/kubernetes Process: 54615 ExecStartPre=/bin/mkdir -p /var/lib/kubelet/volume-plugins (code=exited, status=0/SUCCESS)Main PID: 54621 (kubelet) Memory: 52.1M CGroup: /system.slice/kubelet.service
-
проверить, что сертификат обновлен посмотреть на обновление сертификатов в папке
ls -las /var/lib/kubelet/pki/total 244 -rw-------. 1 root root 1135 Mar 3 14:06 kubelet-client-2021-03-03-14-06-34.pem0 lrwxrwxrwx. 1 root root 59 Mar 3 14:06 kubelet-client-current.pem -> /var/lib/kubelet/pki/kubelet-client-2021-03-03-14-06-34.pem4 -rw-r--r--. 1 root root 2267 Mar 2 10:40 kubelet.crt4 -rw-------. 1 root root 1679 Mar 2 10:40 kubelet.key
Повторяем подобную процедуру на всех оставшихся work нодах.
Все мы обновили сертификаты на k8s кластере v1.12.3
