快速搭建K8S集群环境-1.28.2版本

艺帆风顺 发布于 2025-04-07 14 次阅读

一、系统初始化配置（所有节点同步操作）

1、实验环境

名称IP地址操作系统配置
k8s-master10.0.0.105CentOS7.92核4G
k8s-node110.0.0.106CentOS7.92核2G
k8s-node210.0.0.107CentOS7.92核2G

2、关闭防火墙和SELinux

# 关闭防火墙并设置为开机自动关闭
systemctl disable --now firewalld

# 关闭SELinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
# 临时关闭SELinux
setenforce 0

3、配置hosts文件域名解析

cat >> /etc/hosts 10.0.0.105   k8s-master 
10.0.0.106   k8s-node1
10.0.0.107   k8s-node2
EOF

4、修改主机名

master节点:
hostnamectl set-hostname k8s-master

node1节点:
hostnamectl set-hostname k8s-node1

node2节点:
hostnamectl set-hostname k8s-node2

5、时间同步

yum install -y chrony
sed -ri 's/^server.*/#&/' /etc/chrony.conf
cat >> /etc/chrony.conf server ntp1.aliyun.com iburst
EOF
systemctl restart chronyd
chronyc sources
# 修改时区，如果之前是这个时区就不用修改
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' > /etc/timezone

6、关闭交换分区（kubernetes强制要求禁止）

# 关闭当前交换分区
swapoff -a
# 禁止开机自动启动交换分区
sed -ri 's/.*swap.*/#&/' /etc/fstab

7、将桥接的IPv4流量传递到iptables的链

cat >> /etc/sysctl.d/kubernetes.conf net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sysctl -p /etc/sysctl.d/kubernetes.conf
sysctl --system

# 加载网桥过滤模块
modprobe br_netfilter
lsmod | grep br_netfilter  # 查看是否加载完成

8、配置免密登录（可选）

ssh-keygen  # 连续回车三次
ssh-copy-id -i ~/.ssh/id_rsa.pub root@10.0.0.105
ssh-copy-id -i ~/.ssh/id_rsa.pub root@10.0.0.106
ssh-copy-id -i ~/.ssh/id_rsa.pub root@10.0.0.107

测试登录
ssh root@10.0.0.105
无需密码登录即成功

9、安装ipvs转发支持

在kubernetes中Service有两种代理模型，一种是基于iptables的，一种是基于ipvs，两者对比ipvs的性能要高。默认使用iptables，所以要手动加载ipvs。

# 安装依赖包
yum install -y conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

cat > /etc/sysconfig/modules/ipvs.modules modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4  
EOF

chmod +x /etc/sysconfig/modules/ipvs.modules 
# 执行脚本
/etc/sysconfig/modules/ipvs.modules
# 验证ipvs模块
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

10、安装docker，containerd

# 创建 /etc/modules-load.d/containerd.conf 配置文件:
cat  /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

modprobe overlay
modprobe br_netfilter

# 获取阿里云YUM源
wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装yum-config-manager配置工具
yum -y install yum-utils

# 设置yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装docker-ce版本,使用最新版本24.0.7，也可以指定安装版本
yum install -y docker-ce
# 启动并设置开机自启动
systemctl enable --now docker

# 查看版本号
docker --version
# 查看版本具体信息
docker version

# Docker镜像源设置
# 修改文件 /etc/docker/daemon.json，没有这个文件就创建
# 添加以下内容后，重启docker服务：
cat >/etc/docker/daemon.json{
   "registry-mirrors": ["http://hub-mirror.c.163.com"]
}
EOF
# 加载
systemctl reload docker

# 查看
systemctl status docker containerd

# 其他配置
# containerd生成配置文件
containerd config default > /etc/containerd/config.toml

# 配置containerd cgroup 驱动程序为systemd
sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml

# 将 sandbox_image 镜像源设置为阿里云google_containers镜像源
sed -i "s#registry.k8s.io/pause:3.6#registry.aliyuncs.com/google_containers/pause:3.9#g"       /etc/containerd/config.toml

# 启动containerd并设置开机自启动
systemctl enable --now containerd
# 查看containerd状态
systemctl status containerd

说明：

1、dockerd实际真实调用的还是containerd的api接口，containerd是dockerd和runC之间的一个中间交流组件。所以启动docker服务的时候，也会启动containerd服务的。

2、kubernets自ｖ1.24.0后，就不再使用docker.shim，替换采用containerd作为容器运行时端点。因此需要安装containerd（在docker的基础下安装），上面安装docker的时候就自动安装了containerd了。这里的docker只是作为客户端而已。容器引擎还是containerd。

二、安装kubernetes集群

1、配置阿里云上k8s的yum源（所有节点执行）

cat > /etc/yum.repos.d/kubernetes.repo [k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF

## 查看所有的可用版本
yum list kubelet --showduplicates | sort -r |grep 1.28

2、安装kubectl，kubelet和kubeadm（所有节点执行）

# 若不指定版本默认安装最高版本
yum install -y kubectl-1.28.2-0 kubelet-1.28.2-0 kubeadm-1.28.2-0

# 设置kubelet为开机自启动即可，由于没有生成配置文件，集群初始化后自动启动
systemctl enable kubelet

# 准备k8s1.28.2 所需要的镜像
kubeadm config images list --kubernetes-version=v1.28.2

# 可以提前把镜像下载好，这样安装快
crictl pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.28.2
crictl pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.28.2
crictl pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.28.2
crictl pull registry.aliyuncs.com/google_containers/kube-proxy:v1.28.2
crictl pull registry.aliyuncs.com/google_containers/pause:3.9
crictl pull registry.aliyuncs.com/google_containers/etcd:3.5.9-0
crictl pull registry.aliyuncs.com/google_containers/coredns:v1.10.1

3、集群初始化（在master上执行）

kubeadm init --kubernetes-version=v1.28.2 
--pod-network-cidr=10.224.0.0/16 
--apiserver-advertise-address=10.0.0.105 
--service-cidr=192.168.0.0/16 
--image-repository=registry.aliyuncs.com/google_containers 
--ignore-preflight-errors=all

--apiserver-advertise-address 集群apiServer地址(master节点IP即可)
--image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
--kubernetes-version K8s版本，与上面安装的一致
--service-cidr 集群内部虚拟网络，Pod统一访问入口
--pod-network-cidr Pod网络，，与下面部署的CNI网络组件yaml中保持一致
安装成功会输出以下内容：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config


Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.0.0.105:6443 --token 70n2ca.0mug2am9i77gx2wb 
  --discovery-token-ca-cert-hash sha256:af51d42c76b4d67e52bccd3369465f8d72d075337b4426bdb0ac6d70dbaaa4c1

4、重置后再初始化（可选）

若集群初始化失败，可以通过排障后重新初始化

kubeadm reset
rm -fr ~/.kube/  /etc/kubernetes/* var/lib/etcd/*

5、配置环境变量

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 临时生效（退出当前窗口重连环境变量失效）
export KUBECONFIG=/etc/kubernetes/admin.conf
# 永久生效（推荐）
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source  ~/.bash_profile

6、node工作节点加入k8s集群

根据master节点最后输出的内容，直接在node节点上执行

kubeadm join 10.0.0.105:6443 --token gxs9lb.jo9dcih5drihlb7w 
  --discovery-token-ca-cert-hash sha256:3522f10099342f88aafd7043b05f3e81cc0ff53873e8a48dbc39e0b1a3d2e67b

如果没有令牌，可以通过在控制平面节点上运行以下命令来获取令牌：

kubeadm token list

默认情况下， 令牌会在24小时后过期。如果要在当前令牌过期后将节点加入集群， 则可以通过在控制平面节点上运行以下命令来创建新令牌：

kubeadm token create

再查看

kubeadm token list

如果你没有  –discovery-token-ca-cert-hash 的值，则可以通过在控制平面节点上执行以下命令链来获取它：

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

如果执行kubeadm init时没有记录下加入集群的命令，可以通过以下命令重新创建 （推荐）一般不用上面的分别获取token和ca-cert-hash方式，执行以下命令一气呵成：

kubeadm token create --print-join-command

7、查看节点状态

[root@k8s-master ~]# kubectl get node
NAME         STATUS     ROLES           AGE   VERSION
k8s-master   NotReady   control-plane   14m   v1.28.2
k8s-node1    NotReady             12m   v1.28.2
k8s-node2    NotReady             12m   v1.28.2

发现节点是NotReady状态，说明集群还不可以使用，还需要安装网络插件。

8、安装网络插件（master节点操作）

网络组件有很多种，只需要部署其中一个即可，推荐Calico。

Calico是一个纯三层的数据中心网络方案，Calico支持广泛的平台，包括Kubernetes、OpenStack等。

Calico 在每一个计算节点利用 Linux Kernel 实现了一个高效的虚拟路由器（ vRouter） 来负责数据转发，而每个 vRouter 通过 BGP 协议负责把自己上运行的 workload 的路由信息向整个 Calico 网络内传播。

此外，Calico 项目还实现了 Kubernetes 网络策略，提供ACL功能。

# 下载calico的yaml文件
wget --no-check-certificate https://projectcalico.docs.tigera.io/archive/v3.25/manifests/calico.yaml
# 安装calico
kubectl apply -f calico.yaml

9、给node节点打标签（可选）

kubectl label nodes k8s-node1 node-role.kubernetes.io/worker=worker
kubectl label nodes k8s-node2 node-role.kubernetes.io/worker=worker

10、测试验证集群

[root@k8s-master ~]#  kubectl cluster-info
Kubernetes control plane is running at https://10.0.0.105:6443
CoreDNS is running at https://10.0.0.105:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.


[root@k8s-master ~]# kubectl get node
NAME         STATUS   ROLES           AGE   VERSION
k8s-master   Ready    control-plane   39m   v1.28.2
k8s-node1    Ready    worker          38m   v1.28.2
k8s-node2    Ready    worker          38m   v1.28.2

[root@k8s-master ~]# kubectl get pods -A
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-658d97c59c-qjdrt   1/1     Running   0          11m
kube-system   calico-node-5msx4                          1/1     Running   0          11m
kube-system   calico-node-5q749                          1/1     Running   0          11m
kube-system   calico-node-z9gtq                          1/1     Running   0          11m
kube-system   coredns-66f779496c-2v6l9                   1/1     Running   0          40m
kube-system   coredns-66f779496c-kj6db                   1/1     Running   0          40m
kube-system   etcd-k8s-master                            1/1     Running   7          41m
kube-system   kube-apiserver-k8s-master                  1/1     Running   6          41m
kube-system   kube-controller-manager-k8s-master         1/1     Running   3          41m
kube-system   kube-proxy-77vqw                           1/1     Running   0          40m
kube-system   kube-proxy-cmnxt                           1/1     Running   0          39m
kube-system   kube-proxy-ksrmj                           1/1     Running   0          39m
kube-system   kube-scheduler-k8s-master                  1/1     Running   3          41m

至此，整个集群已经搭建完成！

本篇关于K8S的集群部署的知识分享完结！感谢你的阅读，如果觉得还OK，欢迎点赞 ;关注 ; 收藏 ; 私信；一起成长！！