kubeadm安装k8s

K8S-CRI-Dockerd部署

在 Kubernetes v1.24 及更早版本中，我们使用docker作为容器引擎在k8s上使用时，依赖一个dockershim的内置k8s组件。k8s v1.24发行版中将dockershim组件给移除了，取而代之的就是cri-dockerd(当然还有其它容器接口)。简单讲CRI就是容器运行时接口（Container Runtime Interface,CRI），也就是说cri-dockerd就是以docker作为容器引擎而提供的容器运行时接口。即我们想要用docker作为k8s的容器运行引擎，我们需要先部署好cri-dockerd;用cri-dockerd来与kubelet交互，然后再由cri-dockerd和docker api交互，使我们在k8s能够正常使用docker作为容器引擎。

虚拟机环境

虚拟机环境：Parallels Desktop 18 for Mac CentOS Stream 9

节点CPU核数：2核，内存：4G

芯片架构：ARM（X86架构的根据配置自行修改后续对应参数）

设置主机别名

[root@localhost ~]# hostnamectl set-hostname kmaster --static
[root@localhost ~]# hostnamectl set-hostname kworker1 --static
[root@localhost ~]# hostnamectl set-hostname kworker2 --static

服务器静态IP配置

vi /etc/sysconfig/network-scripts/ifcfg-enp0s5
BOOTPROTO="static"      #dhcp改为static
ONBOOT="yes"            #开机启用本配置
IPADDR=10.211.55.9      #静态IP
GATEWAY=10.211.55.1     #默认网关
NETMASK=255.255.255.0   #子网掩码
DNS1=114.114.114.114    #DNS 配置
DNS2=8.8.8.8            #DNS必须配置，否则SDK镜像下载很慢

查看主机名

#别名是否生效
hostname

配置IP host映射关系

# 编辑/etc/hosts文件配置映射关系
vi /etc/hosts
10.211.55.3 kmaster
10.211.55.4 kworker1
10.211.55.5 kworker2

安装依赖环境

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstatlibseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge-utils unzip bind-utils gcc

关闭selinux

安装过程中，脚本可能需要创建、修改或删除文件和目录、网络配置、容器、系统调用等权限。如果 SELinux 限制了对这些文件和目录的访问，脚本将无法正常执行。

# 关闭swap分区【虚拟内存】并且永久关闭虚拟内存
swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

# 关闭selinux
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

# 永久关闭，SELINUX行并将其值更改为‘disabled'
vim /etc/selinux/config

# 设置
SELINUX=disabled

# 编辑保存后通过一下命令查看是否输出Disabled，未生效可以重启系统reboot
getenforce

调整内核参数

执行这些命令和配置是为了优化系统内核参数，以确保 Kubernetes 组件能够顺利运行并提高系统的性能和稳定性

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
# net.ipv4.tcp_tw_recycle=0,在新的 Linux 内核版本中已被弃用
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

#将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf

#将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用
sudo cp kubernetes.conf /etc/sysctl.d/kubernetes.conf

#然后添加到 /etc/modules-load.d/ 以便在系统启动时自动加载
echo "br_netfilter" | sudo tee /etc/modules-load.d/br_netfilter.conf

#手动刷新，让优化文件立即生效
sudo sysctl -p /etc/sysctl.d/kubernetes.conf

# 安装 chrony，chrony 是一个用于时钟同步的软件包，它在一些现代的 Linux 发行版中取代了 ntp。
sudo yum install -y chrony

# 配置 chrony 编辑 chrony 配置文件（通常位于 /etc/chrony/chrony.conf 或 /etc/chrony.conf），确保配置了正确的 NTP 服务器。
例如：vim /etc/chrony.conf
# 设置(选择性设置)
pool pool.ntp.org iburst

# 检查 NTP 服务状态 确认是否安装了 NTP 服务（例如 ntpd 或 chronyd），并检查其状态或者 启用chrony服务：
sudo systemctl enable chronyd
sudo systemctl start chronyd

# 验证 chrony 状态
chronyc tracking
chronyc sources

# 使用 systemd-timesyncd 进行时钟同步（Centos9不支持）：
sudo yum install -y systemd
sudo systemctl enable systemd-timesyncd
sudo systemctl start systemd-timesyncd

调整系统临时区

保证各个节点时间同步，防止节点时间不同步导致节点下线

# 设置系统时区为中国/上海
timedatectl set-timezone "Asia/Shanghai"
# 将当前的UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
# 重启依赖于系统时间的服务
systemctl restart rsyslog
# 重启crond服务
systemctl restart crond

设置日志保存方式

# 创建保存日志的目录
mkdir /var/log/journal
# 创建配置文件存放目录
mkdir /etc/systemd/journald.conf.d

创建配置文件

cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
Storage=persistent
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G
SystemMaxFileSize=200M
MaxRetentionSec=2week
ForwardToSyslog=no
EOF

重启systemd journald 的配置

systemctl restart systemd-journald

打开文件数调整(可选执行)

echo "* soft nofile 65536" >> /etc/security/limits.conf
echo "* hard nofile 65536" >> /etc/security/limits.conf

kube-proxy 开启 ipvs 前置条件

modprobe br_netfilter命令用于在Linux系统中加载br_netfilter内核模块。这个模块允许内核对桥接网络上的数据包进行过滤和处理。

桥接网络是在二层网络上连接多个网络接口的技术，这在使用容器和虚拟机时非常常见

modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

使用lsmod命令查看这些文件是否被引导

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack

执行结果

nf_conntrack_netlink    57344  0
nf_conntrack          184320  5 xt_conntrack,nf_nat,xt_nat,nf_conntrack_netlink,xt_MASQUERADE
nf_defrag_ipv6         24576  1 nf_conntrack
nf_defrag_ipv4         16384  1 nf_conntrack
nfnetlink              20480  5 nft_compat,nf_conntrack_netlink,nf_tables,ip_set
libcrc32c              16384  4 nf_conntrack,nf_nat,nf_tables,xfs

安装docker

# 安装依赖
yum install -y yum-utils device-mapper-persistent-data lvm2
#配置一个稳定的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
#更新Yum安装的相关Docker软件包&安装Docker CE(这里安装Docker最新版本)
yum update -y && yum install docker-ce

设置docker daemon.json文件

#创建/etc/docker目录
mkdir /etc/docker
#更新daemon.json文件
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": [
        "https://ebkn7ykm.mirror.aliyuncs.com",
        "https://docker.mirrors.ustc.edu.cn",
        "http://f1361db2.m.daocloud.io",
        "https://registry.docker-cn.com"
    ],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF
#注意：一定注意编码问题，出现错误---查看命令：journalctl -amu docker 即可发现错误
#创建，存储docker配置文件
# mkdir -p /etc/systemd/system/docker.service.d

重启docker服务

systemctl daemon-reload && systemctl restart docker && systemctl enable docker

安装cri-dockerd

下载系统对应版本上传到每台虚拟机

访问当前地址：

https://github.com/Mirantis/cri-dockerd/releases

找到对应的arm64架构或者x86架构并下载指定目录后

wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.15/cri-dockerd-0.3.15.arm64.tgz

解压cri-dockerd-0.3.15.arm64.tgz文件包

tar -xf cri-dockerd-0.3.15.arm64.tgz

然后复制到 /usr/local/bin/

sudo cp cri-dockerd/cri-dockerd /usr/local/bin/

授权添加可执行权限

chmod +x /usr/local/bin/cri-dockerd

使用cat配置cri-dockerd

cat <<"EOF" > /etc/systemd/system/cri-docker.service
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
Requires=cri-docker.socket
[Service]
Type=notify
ExecStart=/usr/local/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.1
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
EOF

或者vim配置cri-dockerd

sudo vim /etc/systemd/system/cri-docker.service
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
Requires=cri-docker.socket
[Service]
Type=notify
ExecStart=/usr/local/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.1
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target

配置cri-docker.socket 文件

sudo vim /etc/systemd/system/cri-docker.socket
[Unit]
Description=CRI Docker Socket for the API
[Socket]
ListenStream=%t/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker
[Install]
WantedBy=sockets.target

重新加载 systemd 配置、启用并启动 cri-docker.socket、启用并启动 cri-docker.service

sudo systemctl daemon-reload
sudo systemctl enable cri-docker.socket
sudo systemctl start cri-docker.socket
sudo systemctl enable cri-docker.service
sudo systemctl start cri-docker.service

验证服务状态：

sudo systemctl status cri-docker.service
sudo systemctl status cri-docker.socket

yum仓库镜像

# 国内镜像配置(国内建议配置)
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-aarch64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#配置完成后，你可以使用以下命令来清理YUM缓存并生成新的缓存：
sudo yum clean all 
sudo yum makecache

# 官网镜像配置
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-aarch64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm 、kubelet、kubect（1.28.0）

yum install -y kubelet-1.28.0 kubeadm-1.28.0 kubectl-1.28.0 --disableexcludes=kubernetes
systemctl enable kubelet && systemctl start kubelet

通过kubeadm配置文件配置Master节点

初始化kubeadm配置文件

kubeadm config print init-defaults > kubeadm-init.yaml

修改kubeadm配置文件

该文件需要修改的地方:

将advertiseAddress: 1.2.3.4修改为当前服务器IP地址,比如使用10.211.55.3作为master，就修改advertiseAddress: 10.211.55.3

将imageRepository: k8s.gcr.io修改为imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers

将networking: podSubnet:分配Pod分配的子网网断，定义Pod的IP地址范围

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 10.211.55.3
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///var/run/cri-dockerd.sock
  imagePullPolicy: IfNotPresent
  name: kmaster
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.28.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12 # Pod
  podSubnet: 10.244.0.0/16 # 新增Pod子网络 
scheduler: {}
---
kind: KubeletConfiguration
apiVersion: kubeadm.k8s.io/v1beta3
cgroupDriver: systemd   # Set it to systemd

根据配置文件拉取镜像

kubeadm config images pull --config kubeadm-init.yaml

执行初始化kubeadm配置文件

kubeadm init --config kubeadm-init.yaml

配置主节点To start using your cluster, you need to run the following as a regular user:

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

配置工作节点

kubeadm join 10.211.55.3:6443 --token abcdef.0123456789abcdef         --discovery-token-ca-cert-hash sha256:57dc06063c9a670404c922c79743507e9b628d09a7e06a9fa78f36dfd61edb30         --cri-socket unix:///var/run/cri-dockerd.sock

查看kube-system命名空间中的所有 Pod 的状态和信息

kubectl get po -n kube-system

启动kubelet失败failed to run Kubelet: validate service connection: validate CRI v1 runtime API for endpo gRPC 的错误，由于kubelet无法找到 CRI v1 运行时服务而引起的。

解决办法

在每个被影响的节点上将 --container-runtime-endpoint 标志，将其设置为 unix:///var/run/cri-dockerd.sock

vim /var/lib/kubelet/kubeadm-flags.env设置为：

KUBELET_KUBEADM_ARGS="--container-runtime-endpoint=unix:///var/run/cri-dockerd.sock --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9"

修改containerd配置文件，vim /etc/containerd/config.toml。

将disabled_plugins = ["cri"]修改为 #disabled_plugins = ["cri"]，注释掉后然后重启containerd

systemctl restart containerd
systemctl restart kubelet

如果以上方式还未解决，sudo vi /usr/lib/systemd/system/kubelet.service

[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/kubernetes/kubernetes
#After=containerd.service
#Requires=containerd.service
#启动的容器是docker则配置docker，如果是containerd则配置containerd.service
After=docker.service
Requires=docker.service
[Service]
WorkingDirectory=/var/lib/kubelet
ExecStart=/usr/local/bin/kubelet   --bootstrap-kubeconfig=/opt/kubernetes/cfg/kubelet-bootstrap.kubeconfig   --cert-dir=/opt/kubernetes/ssl/kubelet   --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig   --rotate-certificates   --container-runtime-endpoint=unix:///run/cri-dockerd.sock   --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9   --v=2
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF

修改完成后执行

systemctl daemon-reload
systemctl restart containerd
systemctl restart kubelet

安装Calico网络插件

查看calico和Kubernetes versions对应关系 https://docs.tigera.io/calico/3.26/getting-started/kubernetes/requirements

获取配置：

wget https://raw.githubusercontent.com/projectcalico/calico/v3.26.4/manifests/calico.yaml

编辑calico.yaml，增加- name: IP_AUTODETECTION_METHOD，修改CALICO_IPV4POOL_IPIP的VALUE为"Never"

配置Calico网络段，将- name: CALICO_IPV4POOL_CIDR配置 value: "10.211.55.0/24"

## 编辑calico.yaml
## 修改calico.yaml文件设置指定的网卡
# Cluster type to identify the deployment type
- name: CLUSTER_TYPE
value: "k8s,bgp"
# IP automatic detection
- name: IP_AUTODETECTION_METHOD
value: "interface=en.*"
# Auto-detect the BGP IP address.
- name: IP
value: "autodetect"
# Enable IPIP
- name: CALICO_IPV4POOL_IPIP
value: "Never"
#配置Calico网络段
# The default IPv4 pool to create on startup if none exists. Pod IPs will be
# chosen from this range. Changing this value after installation will have
# no effect. This should fall within `--cluster-cidr`.
- name: CALICO_IPV4POOL_CIDR
   value: "10.211.55.0/24"

修改完后应用calico.yaml配置

kubectl apply -f calico.yaml