孙佳伟的博客

large picture of the cover

Kubernetes的部署

Kubernetes的部署方式

1.官方默认都有两种部署方式: （在生产环境中都可以使用，且都支持高可用环境。咱们学习过程中，建议选择kubeadm。）

  • 二进制部署K8S集群 手动部署K8S各个组件，配置文件，启动脚本及证书生成，kubeconfig文件。 配置繁琐，对新手不友好，尤其是证书管理。但是可以自定义配置信息，老手部署的话2小时起步，新手20+小时

  • kubeadm部署K8S集群 是官方提供的一种快速部署K8S各组件的部署方式，如果镜像准备就绪的情况下，基于容器的方式部署。

    需要提前安装kubelet，docker或者containerd，kubeadm组件。

    配置简单，适合新手。新手在镜像准备好的情况下，仅需要2分钟部署完毕。

image-20250921215734642

2.第三方提供的部署方式：

国内公司:

    - 青云科技： kubesphere ---》kubekey
        底层基于kubeadm快速部署K8S，提供了丰富的图形化管理界面。
​
    - kuboard
底层基于kubeadm快速部署K8S，提供了丰富的图形化管理界面。
​
    - kubeasz
底层基于二进制方式部署，结合ansible的playbook实现的快速部署管理K8S集群。

国外的产品: - rancher: 和国内的kubesphere很相似，也是K8S发行商，提供了丰富的图形化管理界面。 还基于K8S研发出来了K3S，号称轻量级的K8S。

云厂商：

  • 阿里云的ACK的SAAS产品

  • 腾讯云的TKE的SAAS产品

  • 华为云的CCE的SAAS产品

  • ucloud的UK8S的SAAS产品

  • 亚马逊的Amazon EKS的SAAS产品

  • 京东云，百度云的SAAS产品等。

其他部署方式: - minikube: 适合在windows部署K8S，适合开发环境搭建的使用。不建议生产环境部署。

- kind:
    可以部署多套K8S环境，轻量级的命令行管理工具。
- yum:
    不推荐，版本支持较低，默认是1.5.2。

CNCF技术蓝图： https://landscape.cncf.io/

3.二进制部署和kubeadm部署的区别：
    相同点:
        都可以部署K8S高可用集群。
    
    不同点:
        - 1.部署难度: kubeadm简单.
        - 2.部署时间: kubeadm短时间。
        - 3.证书管理: 二进制需要手动生成，而kubeadm自建三套10年的CA证书，各组件证书有效期为1年。
        - 4.软件安装: kubeadm需要单独安装kubeadm,kubectl和kubelet组件，由kubelet组件启动K8S其他相关Pod，而二进制需要安装除了kubeadm的其他K8S组件。

Kubernetes的版本选择

我们选择的版本是多版本教学，就是不仅仅是一个版本教学，而是多版本教学，我们线下学员反馈各个公司用的版本不尽相同。

首先，是K8S 1.23.17版本，该版本的第一个rc版本是2021年初，最后一个版本是23年年初结束。

最后，我们以二进制部署K8S集群搭建最新版本讲解。

值得注意的是，k8s 1.24版本移除了对于docker运行时的原生支持，如果需要使用docker运行时的话需要单独部署cri-docker组件。

我们建议大家生产环境如果高于1.24版本直接使用Containerd运行时，因为官方测试性能更高，为了追求更高的性能建议使用Containerd。

Containerd需要使用ctr工具来进行管理。

k8s集群环境准备

1.环境准备

推荐阅读: https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

环境准备: 硬件配置: 2core 4GB 磁盘: 100GB+ [系统盘] 磁盘b: 300GB [Rook待用] 磁盘C: 500GB [Rook待用] 磁盘D： 1TB [Rook待用] 操作系统: Ubuntu 22.04.04 LTS IP和主机名: 10.0.0.231 master231 10.0.0.232 worker232 10.0.0.233 worker233 所有节点能够上网，机器必须"干净"。

温馨提示： 虚拟机的windows宿主机存储路径磁盘最少保证200GB剩余空间。

2.关闭swap分区

swapoff -a && sysctl -w vm.swappiness=0  # 临时关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab  # 基于配置文件关闭
​
​

3.确保各个节点MAC地址或product_uuid唯一

ifconfig  eth0  | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid

温馨提示: 一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装失败。

4.检查网络节点是否互通

简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。

ping baidu.com -c 10

5.允许iptable检查桥接流量

cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
​
cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system

6 检查端口是否被占用

参考链接: https://kubernetes.io/zh-cn/docs/reference/networking/ports-and-protocols/

检查master节点和worker节点的各组件端口是否被占用。

7.所有节点修改cgroup的管理进程为systemd

7.1 安装docker环境

略，见视频。

wget http://192.168.16.253/Resources/Docker/scripts/oldboyedu-autoinstall-docker-docker-compose.tar.gz
tar xf oldboyedu-autoinstall-docker-docker-compose.tar.gz 
./install-docker.sh i

7.2 检查cgroup驱动是否是systemd

[root@master231 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd
[root@master231 ~]# 
    
[root@worker232 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd
[root@worker232 ~]# 
​
[root@worker233 ~]# docker info  | grep "Cgroup Driver:"
 Cgroup Driver: systemd
[root@worker233 ~]#

8.所有节点安装kubeadm，kubelet，kubectl

8.1 软件包说明

你需要在每台机器上安装以下的软件包： kubeadm： 用来初始化K8S集群的工具。 kubelet： 在集群中的每个节点上用来启动Pod和容器等。 kubectl： 用来与K8S集群通信的命令行工具。

kubeadm不能帮你安装或者管理kubelet或kubectl，所以你需要确保它们与通过kubeadm安装的控制平面(master)的版本相匹配。 如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。

然而，控制平面与kubelet间的相差一个次要版本不一致是支持的，但kubelet的版本不可以超过"API SERVER"的版本。 例如，1.7.0版本的kubelet可以完全兼容1.8.0版本的"API SERVER"，反之则不可以。

8.2 K8S所有节点配置软件源（建议拷贝2次）【线上同学】

apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update

8.3 查看一下当前环境支持的k8s版本【线上同学】

[root@master231 ~]# apt-cache madison kubeadm
   kubeadm |  1.28.2-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm |  1.28.1-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm |  1.28.0-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   ...
   kubeadm | 1.23.17-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm | 1.23.16-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm | 1.23.15-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm | 1.23.14-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   ...

8.4 所有节点安装 kubelet kubeadm kubectl

apt-get -y install kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00
​
 
​
​
SVIP:【可以直接跳过8.2-8.4】
    我已经把软件包打包好了，放在了nginx站点目录。
wget http://192.168.16.253/Resources/Kubernetes/K8S%20Cluster/kubeadm/softwares/oldboyedu-kubeadm-kubectl-kubelet-1.23.17.tar.gz
tar xf oldboyedu-kubeadm-kubectl-kubelet-1.23.17.tar.gz
dpkg -i *.deb
​
​
彩蛋：ubuntu打包软件
[root@worker232 archives]# pwd
/var/cache/apt/archives
[root@worker232 archives]# 
[root@worker232 archives]# ls -1 *.deb | xargs tar zcf oldboyedu-kubeadm-kubectl-kubelet-1.23.17.tar.gz 
[root@worker232 archives]# 
[root@worker232 archives]# tar  tf oldboyedu-kubeadm-kubectl-kubelet-1.23.17.tar.gz 
apt-transport-https_2.4.14_all.deb
conntrack_1%3a1.4.6-2build2_amd64.deb
cri-tools_1.26.0-00_amd64.deb
ebtables_2.0.11-4build2_amd64.deb
kubeadm_1.23.17-00_amd64.deb
kubectl_1.23.17-00_amd64.deb
kubelet_1.23.17-00_amd64.deb
kubernetes-cni_1.2.0-00_amd64.deb
socat_1.7.4.1-3ubuntu4_amd64.deb
[root@worker232 archives]#

8.5 检查各组件版本

[root@master231 archives]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
[root@master231 archives]# 
[root@master231 archives]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?
[root@master231 archives]# 
[root@master231 archives]# kubelet --version
Kubernetes v1.23.17
[root@master231 archives]# 
[root@master231 archives]# 
​
​
[root@worker232 archives]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
[root@worker232 archives]# 
[root@worker232 archives]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?
[root@worker232 archives]# 
[root@worker232 archives]# kubelet --version
Kubernetes v1.23.17
[root@worker232 archives]# 
[root@worker232 archives]# 
​
[root@worker233 archives]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
[root@worker233 archives]# 
[root@worker233 archives]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?
[root@worker233 archives]# 
[root@worker233 archives]# kubelet --version
Kubernetes v1.23.17
[root@worker233 archives]# 
[root@worker233 archives]#

参考链接: https://kubernetes.io/zh/docs/tasks/tools/install-kubectl-linux/

9.检查时区

[root@master231 ~]# ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
'/etc/localtime' -> '/usr/share/zoneinfo/Asia/Shanghai'
[root@master231 ~]# 
[root@master231 ~]# ll /etc/localtime 
lrwxrwxrwx 1 root root 33 Feb 10 11:26 /etc/localtime -> /usr/share/zoneinfo/Asia/Shanghai
[root@master231 ~]# 
[root@master231 ~]# date -R
Fri, 19 Sep 2025 10:18:58 +0800
[root@master231 ~]#

10.验证cpu核心数

[root@master231 ~]# lscpu  | grep ^CPU\(s\)
CPU(s):                               2
[root@master231 ~]# 
​
​
[root@worker232 ~]# lscpu  | grep ^CPU\(s\)
CPU(s):                               2
[root@worker232 ~]# 
​
[root@worker233 ~]# lscpu  | grep ^CPU\(s\)
CPU(s):                               2
[root@worker233 ~]#

site logo

Hi,Friend

© 2025 孙佳伟的博客