Kubernetes集群搭建部署实践

LeoYim 收录于云原生

2023-11-18 约 2612 字预计阅读 6 分钟

/deploy-kubernetes-cluster-locally/k8s-deployment.png

本文记录了在作者本地使用三台CentOS虚拟机，搭建部署单Master双Slave Kubernetes集群。

题图源：Understanding Your Kubernetes Deployment Lifecycle

1 系统准备

搭建部署包含1个Master结点和2个Slave结点的Kubernetes集群，需要准备3台Linux虚拟机作为集群结点，可以通过VMware Worksation快速创建三台CentOS虚拟机。

1.1 工具安装

1.2 网络配置

使用VMware工具本身的界面操作起来并不方便，对CentOS虚拟机固定IP后，可使虚拟机每次启动时IP不会发生变化，可以使用XShell或Tabby通过SSH访问虚拟机，进行后续的配置操作，会节省很多时间。

此配置保证后续Kubernetes集群结点IP不会随意改变，这里不做过多介绍，具体可参考这篇文章：Vmware虚拟机Linux配置固定IP地址（详细版）。

通过以上配置，在各个结点执行ip addr获取到三个结点的IP信息：

192.168.198.129
192.168.198.130
192.168.198.131

1.3 CentOS系统配置

1.3.1 主机名配置

设置192.168.198.129主机名 apple

1

hostnamectl set-hostname apple

设置192.168.198.130主机名 banana

1

hostnamectl set-hostname banana

设置192.168.198.131主机名 cherry

1

hostnamectl set-hostname cherry

1.3.2 配置主机IP地址

设置Apple IP地址为 192.168.198.129

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="529588ee-2c22-4dd4-99c1-c823fbf96642"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.198.129
GATEWAY=192.168.198.2
NETMASK=255.255.255.0

设置Banana IP地址为 192.168.198.130

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="529588ee-2c22-4dd4-99c1-c823fbf96642"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.198.130
GATEWAY=192.168.198.2
NETMASK=255.255.255.0

设置Cherry IP地址为 192.168.198.131

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="529588ee-2c22-4dd4-99c1-c823fbf96642"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.198.131
GATEWAY=192.168.198.2
NETMASK=255.255.255.0

1.3.3 配置DNS网络信息

在每个结点执行

1
2
3
4
5
6


# 缺少此配置可能无法访问外网
cat >> /etc/resolv.conf << EOF
# Generated by NetworkManager
nameserver 8.8.8.8
nameserver 114.114.114.114
EOF

重启生效

1
2
3
4
5


# 重启网络服务
systemctl restart network

# 验证网络
ping www.baidu.com

1.3.4 配置主机名与IP地址解析

在每个结点执行

1
2
3
4
5


cat >> /etc/hosts << EOF
192.168.198.129 apple
192.168.198.130 banana
192.168.198.131 cherry
EOF

1.3.5 防火墙配置

在每个结点执行

1
2
3
4
5


# 关闭防火墙
systemctl stop firewalld

# 禁止防火墙开机自启
systemctl disable firewalld

1.3.6 SELinux配置

在每个结点执行，修改后需要重启

1
2
3
4
5


# 永久关闭
sed -i 's/enforcing/disabled/' /etc/selinux/config

#临时关闭
setenforce 0

重启生效

1

reboot

1.3.7 swap分区配置

在每个结点执行，修改后需重启

1
2
3
4
5


# 永久关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab

# 临时关闭
swapoff -a

重启生效

1

reboot

1.3.8 配置内核转发及网桥过滤

在每个结点执行

1
2
3
4
5
6


cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

1
2
3
4
5
6
7
8


# 加载br_netfilter模块
modprobe br_netfilter

# 查看是否加载
lsmod | grep br_netfilter

# 生效
sysctl --system  

1.3.9 时间同步配置

在每个结点执行

1
2
3
4
5


# 安装 ntpdate
yum install ntpdate -y

# 同步时间
ntpdate time.windows.com

1.3.10 IPVS配置

在每个结点执行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 安装ipset和ipvsadm
yum -y install ipset ipvsadm

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

# 添加执行权限
chmod 755 /etc/sysconfig/modules/ipvs.modules

# 运行
bash /etc/sysconfig/modules/ipvs.modules

# 检查是否加载
lsmod | grep -e ipvs -e nf_conntrack_ipv4

1.3.11 升级操作系统内核

在每个结点执行，升级后需重启

安装YUM源

1
2
3
4
5


# 导入elrepo gpg key
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

# 安装elrepo YUM源仓库
yum -y install https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm

升级内核版本

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 稳定版kernel-ml 长期维护版本kernel-lt  
yum -y --enablerepo=elrepo-kernel  install  kernel-ml

# 查看已安装的内核
rpm -qa | grep kernel

# 查看默认内核
grubby --default-kernel

# 若不是最新版本时执行
grubby --set-default $(ls /boot/vmlinuz-* | grep elrepo)

重启生效

1

reboot

至此，操作系统环境准备已完成，下一步可以进行Docker、容器运行时以及Kubernetes软件安装和配置！

1.4 创建快照

技巧

在VMware对3台虚拟机创建一份快照，便于后续配置出现问题时回滚！

2 容器运行时准备

在每个结点执行

2.1 安装Docker

参考：清华大学开源软件镜像站 Docker CE 软件仓库

因作者本地为CentOS7.9操作系统环境，这里使用CentOS/RHEL版本。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


# 如果你之前安装过docker，请先删掉
yum remove docker \
          docker-client \
          docker-client-latest \
          docker-common \
          docker-latest \
          docker-latest-logrotate \
          docker-logrotate \
          docker-engine

# 安装依赖，下载repo文件，并把软件仓库地址替换为镜像站：
yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i 's+https://download.docker.com+https://mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo

# 安装Docker及相关插件
yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y

2.2 配置镜像加速

参考：中科大USTC镜像站 Docker Hub 源使用帮助

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


# 在/etc路径下新建docker文件夹
sudo mkdir -p /etc/docker

# 在docker目录下新建daemon.json文件，并加入registry-mirrors
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"]
}
EOF

# 重新加载systemd管理的单位文件
sudo systemctl daemon-reload

# 重新启动Docker服务
sudo systemctl restart docker

# 设置Docker服务开机自启
systemctl enable docker

2.3 安装cri-docker

采用软件包离线安装方式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 下载cri-docker.rpm包
https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.8/cri-dockerd-0.3.8-3.el7.x86_64.rpm

# 安装libcgroup
yum install -y libcgroup

# 安装cri-docker
rpm -ivh cri-dockerd-0.3.8-3.el7.x86_64.rpm

# 修改cri-docker.service配置第10行
vi /usr/lib/systemd/system/cri-docker.service

修改为以下配置
ExecStart=/usr/bin/cri-dockerd --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9 --container-runtime-endpoint fd://

# 启动cri-docker服务
systemctl start cri-docker

# 设置cri-docker服务开机自启
systemctl enable cri-docker

3 部署Kubernetes集群

3.1 配置阿里云镜像源代理

在每个结点执行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum makecache
yum install -y --nogpgcheck kubelet kubeadm kubectl
yum list kubelet --showduplicates | sort -r |grep 1.28

3.2 安装kubeadm、kubelet、kubectl

在每个结点执行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 安装最新版本
yum install -y kubelet kubeadm kubectl -y

# 配置kubectl命令补全
yum install bash-completion -y
kubectl completion bash > /etc/profile.d/kubectl_completion.sh
. /etc/profile.d/kubectl_completion.sh

# 启动kubelet服务
systemctl start kubelet

# 设置kubelet开机自启
systemctl enable kubelet 

3.3 准备启动镜像

配置从阿里云镜像源拉取

1
2
3
4
5


kubeadm config images list --kubernetes-version=v1.28.2
 
kubeadm config images list --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.28.2
 
kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.28.2 --cri-socket=unix:///var/run/cri-dockerd.sock

3.4 初始化Master结点

仅在Master结点执行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


kubeadm init --kubernetes-version=v1.28.2  --image-repository registry.aliyuncs.com/google_containers --cri-socket=unix:///var/run/cri-dockerd.sock

# 按照提示完成以下配置
....
....
To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf
....
....

3.5 部署CNI网络插件

仅在Master结点执行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 若coredns始终处于ContainerCreating状态，需要在部署flannel前配置，否则每次重启节点后需要重新配置
vi /run/flannel/subnet.env

# 加入以下配置
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 检查coredns状态
kubectl get pods -n kube-system

3.6 将Slave结点加入集群

仅在Slave结点执行

1
2
3
4
5


# 加入worker结点
kubeadm join 192.168.198.129:6443 --token bfm2eb.vb29fgjiwy6d6otq --discovery-token-ca-cert-hash sha256:9ac42de793212b57b9672eab05463e6be286aad41badc4ca96bd5f8ecbf60517 --cri-socket=unix:///var/run/cri-dockerd.sock

# 若忘记，可在master结点执行以下命令，重新获取
kubeadm token create --print-join-command

至此，一个单Master双Slave的Kubernetes集群搭建部署完成，通过kubectl命令在Master结点查看。

1
2
3
4
5


kubectl get nodes
NAME     STATUS   ROLES           AGE    VERSION
apple    Ready    control-plane   165m   v1.28.2
banana   Ready    <none>          2m8s   v1.28.2
cherry   Ready    <none>          115s   v1.28.2