K3s on SRE运维博客

多云搭建 K3S 集群

Wenlong — Fri, 19 Nov 2021 11:32:53 +0800

作者：SRE运维博客
博客地址： https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/211119132529/
相关话题：https://www.cnsre.cn/tags/k3s/

双十一薅了几个云厂商的羊毛，一开始搭建了k3s的单机版，后面就想着能不能搭建一个k3s集群，然后参考了这位大佬的文章，就试着用 WireGuard 来进行组网。它轻量、便捷、高效，而且数据全程加密传输，是依托公网组建虚拟局域网的优秀选择。

环境介绍

服务器介绍

云厂商	公网IP地址	内网IP地址	虚拟网络IP地址	操作系统	内核版本
腾讯云1	42.xx.xx.12	10.0.16.8	192.168.1.1	CentOS Linux release 7.9.2009 (Core)	5.15.2-1
腾讯云2	122.xx.xxx.111	10.0.0.6	192.168.1.2	CentOS Linux release 7.9.2009 (Core)	5.15.2-1
阿里云	122.xx.xx.155	172.17.0.3	192.168.1.3	CentOS Linux release 7.9.2009 (Core)	5.15.2-1

搭建前准备

在搭建跨云的 k3s 集群前，我们需要把 WireGuard 安装好，WireGuard 对内核是有要求的，所以内核已经要升级到 5.15.2-1.el7.elrepo.x86_64

在所有节点开启 IP 地址转发

1
2
3

echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
echo "net.ipv4.conf.all.proxy_arp = 1" >> /etc/sysctl.conf
sysctl -p /etc/sysctl.conf

所有节点开启修改主机名称

# 腾讯云1执行
hostnamectl  set-hostname k3s-master
# 腾讯云2执行
hostnamectl  set-hostname k3s-node1
# 阿里云执行
hostnamectl  set-hostname k3s-node2

升级内核

几个服务器默认的内核都是 3.10 的，安装WireGuard 需要吧内核升级到比较高的版本。

升级内核前

先升级软件包（非必要）

`1`	`yum update -y`

添加 iptables 规则，允许本机的 NAT 转换：

所有节点都要执行

iptables -A INPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
iptables -A FORWARD -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
iptables -A FORWARD -i wg0 -o wg0 -m conntrack --ctstate NEW -j ACCEPT
iptables -t nat -A POSTROUTING -s 192.168.1.1/24 -o eth0 -j MASQUERADE

wg0:为你定义的虚拟网卡

192.168.1.1: 为你的虚拟IP地址段

eth0:为你的物理网卡

升级内核

所有节点都要执行

方法1：

直接下载RPM包进行安装。

如果你想安装其他内核，你也可以在这里下载

1
2

wget https://pan.cnsre.cn/d/Package/Linux/kernel/kernel-ml-5.15.2-1.el7.elrepo.x86_64.rpm
rpm -ivh kernel-ml-5.15.2-1.el7.elrepo.x86_64.rpm

方法 2：

利用包管理工具更新

# 载入公钥
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# 升级安装 elrepo
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-5.el7.elrepo.noarch.rpm
# 载入 elrepo-kernel 元数据
yum --disablerepo=\* --enablerepo=elrepo-kernel repolist
# 安装最新版本的内核
yum --disablerepo=\* --enablerepo=elrepo-kernel install  kernel-ml.x86_64  -y
# 删除旧版本工具包
yum remove kernel-tools-libs.x86_64 kernel-tools.x86_64  -y

方法3：

通过源码包编译安装.

这种方式可定制性强，但也比较复杂，有需要的可自行查找资料安装，下面只给出各系统版本内核源码包的下载地址

修改默认内核版本

# 查看当前实际启动顺序
grub2-editenv list
# 查看内核插入顺序
grep "^menuentry" /boot/grub2/grub.cfg | cut -d "'" -f2
# 设置默认启动
grub2-set-default 'CentOS Linux (5.15.2-1.el7.elrepo.x86_64) 7 (Core)'
# 重新创建内核配置
grub2-mkconfig -o /boot/grub2/grub.cfg
# 重启服务器
reboot
# 验证当前内核版本
uname -r

内核版本一定要是比较高的，不然启动WireGuard会有如下报错。

[#] ip link add wg0 type wireguard
RTNETLINK answers: Operation not supported
Unable to access interface: Protocol not supported
[#] ip link delete dev wg0
Cannot find device "wg0"

安装 WireGuard

所有节点执行

安装流程非常简单，我这里是直接将 CentOS 内核更新到目前最新的 5.15.2 版本，其中就已经包含了 WireGuard 的内核模块，只需要安装 wireguard-tools 这个 yum 包就行了。

1
2

yum install epel-release https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum install yum-plugin-elrepo kmod-wireguard wireguard-tools -y

配置 WireGuard

wireguard-tools 包提供了我们所需的工具 wg 和 wg-quick，可以使用它们来分别完成手动部署和自动部署。

先按照官方文档描述的形式，生成腾讯云1用于加密解密的密钥

`1`	`wg genkey \| tee privatekey \| wg pubkey > publickey`

然后在当前目录下就生成了 privatekey 和 publickey 两个文件

密钥是配置到本机的，而公钥是配置到其它机器里的。

1
2
3

cat privatekey publickey
EMWcI01iqM4zkb7xfbaaxxxxxxxxDo2GJUA=
0ay8WfGOIHndWklSIVBqrsp5LDWxxxxxxxxxxxxxxQ=

现在我们需要与上述主机对等联网的 腾讯云2 阿里云 ，其公网IP（这边需要填写的是能与主机通信的IP）是 122.xx.xxx.111，122.xx.xx.155

我们首先依照上面的流程安装 WireGuard 并生成好 腾讯云2 阿里云 的密钥。

然后编写 腾讯云1 完整的配置文件，以供 wg-quick 使用，在主机A的 /etc/wireguard/wg0.conf 中写入

[Interface]
PrivateKey = EMWcI01iqM4zkb7xfbaaxxxxxxxxDo2GJUA=
Address = 192.168.1.1
ListenPort = 5418

[Peer]
PublicKey = 腾讯云2 publickey
EndPoint = 122.xx.xxx.111:5418
AllowedIPs = 192.168.1.2/32

[Peer]
PublicKey = 阿里云publickey
EndPoint = 122.xx.xx.155:5418
AllowedIPs = 192.168.1.3/32

配置说明

Interface: 小节是属于腾讯云1（也就是本机）的配置.

Address: 是分配给 腾讯云1 虚拟IP，

ListenPort: 是主机之间通讯使用的端口，是 UDP 协议的。

Peer: 是属于需要通信的 腾讯云2 、阿里云 的信息，有多少需要通信的主机，就添加多少个 Peer 小节。

EndPoint: 是 腾讯云2 、阿里云的公网IP与 WireGuard 监听的 UDP 端口，这个 IP 不一定是公网，

如果你的机器通过内网也能通信，直接用内网 IP 也可以，当然要注意这个IP需要所有加入局域网的主机都能通信才行。

AllowedIPs: 是指本机发起连接的哪些IP应该将流量转发到这个节点去，比如我们给主机B分配了内网IP 192.168.1.2，那么在主机A上发送到 192.168.1.2 的数据包，都应该转发到这个 EndPoint 上，它其实起的是一个过滤作用。而且多个 Peer 时，这里配置的IP地址不能有冲突。

各个节点生产的 privatekey 和publickey 分别如下

# master 节点
[root@k3s-master ~]# cat privatekey publickey
EMWcI01iqM4zkb7xfbaaxxxxxxxxDo2GJUA=
0ay8WfGOIHndWklSIVBqrsp5LDWxxxxxxxxxxxxxxQ=
# node1 节点
[root@k3s-node1 ~]# cat privatekey publickey
QGdNkzpnIkuvUU+00C6XYxxxxxxxxxK0D82qJVc=
3izpVbZgPhlM+S5szOogTDTxxxxxxxxxuKuDGn4=
# node2 节点
[root@k3s-node2 ~]# cat privatekey publickey
WOOObkWINkW/hqaAME9r+xxxxxxxxxm+r2Q=
0f0dn60+tBUfYgzw7rIihKbqxxxxxxxxa6Wo=

各节点配置

# master 节点
cat /etc/wireguard/wg0.conf
[Interface]
PrivateKey = EMWcI01iqM4zkb7xfbaaxxxxxxxxDo2GJUA=
Address = 192.168.1.1
ListenPort = 5418

[Peer]
PublicKey = 3izpVbZgPhlM+S5szOogTDTxxxxxxxxxuKuDGn4=
EndPoint = 122.xx.xxx.111:5418
AllowedIPs = 192.168.1.2/32

[Peer]
PublicKey = 0f0dn60+tBUfYgzw7rIihKbqxxxxxxxxa6Wo=
EndPoint = 122.xx.xx.155:5418
AllowedIPs = 192.168.1.3/32

# node1 节点
cat /etc/wireguard/wg0.conf
[Interface]
PrivateKey = QGdNkzpnIkuvUU+00C6XYxxxxxxxxxK0D82qJVc=
Address = 192.168.1.2
ListenPort = 5418

[Peer]
PublicKey = 0ay8WfGOIHndWklSIVBqrsp5LDWxxxxxxxxxxxxxxQ=
EndPoint = 42.xxx.xx.16:5418
AllowedIPs = 192.168.1.1/32

[Peer]
PublicKey = 0f0dn60+tBUfYgzw7rIihKbqxxxxxxxxa6Wo=
EndPoint = 122.xx.xx.155:5418
AllowedIPs = 192.168.1.3/32

# node2 节点
cat /etc/wireguard/wg0.conf
[Interface]
PrivateKey = WOOObkWINkW/hqaAME9r+xxxxxxxxxm+r2Q=
Address = 192.168.1.3
ListenPort = 5418

[Peer]
PublicKey = 0ay8WfGOIHndWklSIVBqrsp5LDWxxxxxxxxxxxxxxQ=
EndPoint = 42.xxx.xx.16:5418
AllowedIPs = 192.168.1.1/32

[Peer]
PublicKey = 3izpVbZgPhlM+S5szOogTDTxxxxxxxxxuKuDGn4=
EndPoint = 122.xx.xx.155:5418
AllowedIPs = 192.168.1.2/32

启动 WireGuard

配置文件写好后，使用 wg-quick 工具来创建虚拟网卡，

`1`	`wg-quick up wg0`

上面命令中的 wg0 对应的是 /etc/wireguard/wg0.conf 这个配置文件，其自动创建的网卡设备，名字就是 wg0，这对应关系自不必多言。

将腾讯云2 、阿里云 的网卡设备都安装配置好后，就能使用 wg 命令来观察组网情况了

[root@k3s-master ~]# wg
interface: wg0
  public key: 0ay8WfGOIHndWklSIVBqrsp5LDWxxxxxxxxxxxxxxQ=
  private key: (hidden)
  listening port: 5418

peer: 0f0dn60+tBUfYgzw7rIihKbqxxxxxxxxa6Wo=
  endpoint: 122.xx.xx.155:5418
  allowed ips: 192.168.1.3/32
  latest handshake: 3 minutes, 3 seconds ago
  transfer: 35.40 KiB received, 47.46 KiB sent

peer: 3izpVbZgPhlM+S5szOogTDTxxxxxxxxxuKuDGn4=
  endpoint: 122.xx.xxx.111:5418
  allowed ips: 192.168.1.2/32
  latest handshake: 5 minutes, 6 seconds ago
  transfer: 24.84 KiB received, 35.21 KiB sent

可以看到列出了对等联网的节点信息，还有通信测量数据。然后可以通过 ping 其他主机的虚拟IP或者 ssh 其他主机的IP地址，来检查网络通信是否正常。

自动化

系统重启后，WireGuard 创建的网卡设备就会丢失，有自动化的脚本

`1`	`systemctl enable wg-quick@wg0`

使用上述命令生成systemd守护脚本，开机会自动运行up指令。

配置热重载

wg-quick并未提供重载相关的指令，但是提供了 strip 指令，可以将 conf 文件转换为 wg 指令可以识别的格式。

`1`	`wg syncconf wg0 <(wg-quick strip wg0)`

即可实现热重载。

完成 WireGuard 的安装配置以后，我们就可以接下来安装 k3s 的集群了。

安装 K3S 集群

master节点安装

curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh  -s -  --node-external-ip 42.xx.xx.12--advertise-address 42.xx.xx.12--node-ip 192.168.1.1 --flannel-iface wg0

参数说明：

--node-external-ip 42.xxx.xx.16 为节点设置外部IP，阿里云VPC的外网IP并未直接绑定到虚拟机网卡上，所以我要设置这个参数，避免k3s组件在设置loadbalance时，将内网IP当作公网IP使用。
--advertise-address 42.xxx.xx.16 用于设置kubectl工具以及子节点进行通讯使用的地址，可以是IP，也可以是域名，在创建apiserver证书时会将此设置到有效域中。
--node-ip 10.20.30.1 如果不设置这个参数，那么第一张网卡设备上的IP就会被选中，所以这个IP常是内网IP。但我自行组建了虚拟局域网，所以需要指定虚拟局域网的IP（也就是WireGuard的IP）。
--flannel-iface wg0 wg0是WireGuard创建的网卡设备，我需要使用虚拟局域网来进行节点间的通信，所以这里需要指定为wg0。

另外就是，由于WireGuard的所有流量都是加密传输的，通过它来进行节点间的通信，就已经能够保证通信安全，也就没有必要改用其它的CNI驱动，使用默认的就可以了。

在主节点执行上述命令后，一分钟不到就可以看到脚本提示安装完成。通过命令查看下主控端的运行情况

`1`	`systemctl status k3s`

如果运行正常，那么就看看容器的运行状态是否正常

`1`	`kubectl get pods -A`

-A 参数用于查看所有命名空间，如果容器都处于 running 状态，那么安装就成功了，接下来要可以添加被控节点。

Agent 安装

有了上述安装主控的经验，安装work节点更加简单，参数需要一定的调整

腾讯云2执行

curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn K3S_URL=https://192.168.1.1:6443 K3S_TOKEN=K107xxxxxxxxxxxxxxxx2cf95048d6a3cd85f15717edfbe5::server:xxxxxxxxxxxxxxxxxxxx4da1b7e701f67e sh -s - --node-external-ip 122.xx.xxx.111 --node-ip 192.168.1.2 --flannel-iface wg0

阿里云执行

curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn K3S_URL=https://192.168.1.1:6443 K3S_TOKEN=K10720eda8a278bdc7b9b6d787c9676a92119bb2cf95048d6a3cd85f15717edfbe5::server:e98b986e8202885cb54da1b7e701f67e sh -s - --node-external-ip 122.xx.xx.155 --node-ip 192.168.1.3 --flannel-iface wg0

参数不必过多解释

K3S_Token 去 cat /var/lib/rancher/k3s/server/node-token 获取即可。
K3S_URL 需要设置master的通信地址端口，端口默认是6443，IP地址就是虚拟网域的IP，这样流量就会通过WireGuard加密传输。
node-external-ip 为节点公网地址
node-ip 节点虚拟IP地址
执行完稍等一会，安装成功后，查看服务运行状态。

`1`	`systemctl status k3s-agent`

如果有报错就根据报错查找解决方案。

都安装好以后在master节点检查。

`1`	`kubectl get nodes -o wide`

至此多云 K3S 集群已经搭建完毕。

作者：SRE运维博客
博客地址： https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/211119132529/
相关话题：https://www.cnsre.cn/tags/k3s/

k3s 证书过期修改

Wenlong — Wed, 07 Dec 2022 11:16:00 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/221207116004/
相关话题：https://www.cnsre.cn/tags/k3s/

去年双十一买的服务器，但是创建了 K3S 集群。今天登录的时候发现出现了以下错误。简单记录下。

故障现象

登录服务器执行相关命令出现以下错误

1
2

[root@k3s-master ~]# kubectl get  pods
error: You must be logged in to the server (Unauthorized)

执行 doker 命令判断大概问题

1
2

[root@k3s-master ~]#  docker run -it ubuntu  /bin/echo "cnsre"
cnsre

docker 命令可以执行那大概率应该是 k3s 的问题,查看 k3s 服务日志

1
2

[root@k3s-master ~]# journalctl -r -u k3s
1466 authentication.go:63] "Unable to authenticate the request" err="[x509: certificate has expired or is not yet valid: current time

发现有以上错误，那确定是证书的问题了。

解决方法

对于K3S 来说解决证书的问题其实很简单。
可以通过重启K3S 服务的来解决问题

`1`	`sudo systemctl restart k3s`

验证

执行命令验证问题

[root@k3s-master ~]# kubectl get  node
NAME         STATUS     ROLES                  AGE    VERSION
k3s-node1    Ready      <none>                 370d   v1.21.5+k3s2
k3s-node2    Ready      <none>                 370d   v1.21.5+k3s2
k3s-node3    Ready      <none>                 370d   v1.21.5+k3s2
k3s-master   Ready      control-plane,master   370d   v1.21.5+k3s2

问题解决。

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/221207116004/
相关话题：https://www.cnsre.cn/tags/k3s/

k3s 卸载 traefik

Wenlong — Fri, 26 Nov 2021 10:03:07 +0800

作者：SRE运维博客
博客地址： https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/211126003074/
相关话题：https://www.cnsre.cn/tags/k3s/

安装了 k3s 以后，发现 traefik 并没有 ingress 用的习惯，于是我就打算吧 traefik 卸载了安装上ingress。

删除traefik

删除traefik舵图资源：

1
2

kubectl -n kube-system delete helmcharts.helm.cattle.io traefik
kubectl -n kube-system delete helmcharts.helm.cattle.io traefik-crd

修改 k3s.service 配置文件

停止k3s服务： systemctl stop k3s
编辑服务文件vim /etc/systemd/system/k3s.service并将此行添加到ExecStart ：
```
--disable traefik \
```
重新加载服务文件： systemctl daemon-reload
从自动部署文件夹中删除清单文件： rm /var/lib/rancher/k3s/server/manifests/traefik.yaml
启动k3s服务： systemctl start k3s

安装ingress

安装 ingress 的话参考我之前的文章 kubernetes 安装 ingress controller

作者：SRE运维博客
博客地址： https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/211126003074/
相关话题：https://www.cnsre.cn/tags/k3s/

k3s单机版安装部署附一键安装脚本

Wenlong — Tue, 09 Nov 2021 09:07:03 +0800

作者：SRE运维博客
博客地址： https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/211109907029/
相关话题：https://www.cnsre.cn/tags/k3s/

双十一各大云厂商纷纷撒种子种韭菜（抢用户），良心云 也是一如既往的良心，新用户更是通过某宝 148 就可以买到三年 2C4G8M 的轻量应用服务器。于是我也出售薅了羊毛入手了一台。
但是对于各种组件本身就对资源消耗比较大的 k8s 来说，跑起来还是有点费力的，于是我打算将这台实例部署一台轻量级的 Kubernetes: k3s

k8s VS k3s

k3s 是 Rancher 推出的轻量级 k8s。k3s 本身包含了 k8s 的源码，而二进制包却只有 60M 但是本质上和 k8s 没有区别。但为了降低资源占用，k3s 和 k8s 还是有一些区别的，主要是：

使用了相比 Docker 更轻量的 containerd 作为容器运行时（Docker 并不是唯一的容器选择）。
去掉了 k8s 的 Legacy, alpha, non-default features。
用 sqlite3 作为默认的存储，而不是 etcd。
其他的一些优化，最终 k3s 只是一个 binary 文件，非常易于部署。、

所以 k3s 适用于边缘计算，IoT 等资源紧张的场景。同时 k3s 也是非常容易部署的，官网上提供了一键部署的脚本。

k3s的优点

k3s将安装Kubernetes所需的一切打包进仅有60MB大小的二进制文件中，并且完全实现了Kubernetes API。为了减少运行Kubernetes所需的内存，Rancher删除了很多不必要的驱动程序，并用附加组件对其进行替换。
k3s是一款完全通过CNCF认证的Kubernetes发行版，这意味着你可以编写YAML来对完整版的Kubernetes进行操作，并且它们也将适用于k3s集群。
由于它只需要极低的资源就可以运行，因此它能够在任何512MB RAM以上的设备上运行集群，换言之，我们可以让pod在master和节点上运行。

k3s的缺点

首先，当前k3s的版本（k3s v0.8.1）仅能运行单个master，这意味着如果你的master宕机，那么你就无法管理你的集群，即便已有集群要继续运行。但是在k3s v0.10的版本中，多主模式已经是实验性功能，也许在下一个版本中能够GA。
其次，在单个master的k3s中，默认的数据存储是SQLite，这对于小型数据库十分友好，但是如果遭受重击，那么SQLite将成为主要痛点。但是，Kubernetes控制平面中发生的更改更多是与频繁更新部署、调度Pod等有关，因此对于小型开发/测试集群而言，数据库不会造成太大负载。

结论

K8s和k3s各有优劣，使用场景也有所区别，因此不能一概而论。如果你要进行大型的集群部署，那么我建议你选择使用K8s；

如果你像我一样只是为了开发或者测试，那么选择k3s则是性价比更高的选择。

安装 k3s

确保你是一台干净的 CentOS7 服务器。
按照惯例先更新,更新前顺便把源换为国内的yum源。

# 改国内yum源
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
# 更新
yum update -y

修改主机名

`1`	`hostnamectl set-hostname k3s-master`

修改完毕后，断开重连一下。

⚠️ 注意
K3s 默认将使用 containerd 作为容器环境，请在下边选择 使用Docker安装 或者使用Containerd安装。

使用 docker 安装

# 安装 docker-ce
yum remove -y docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
yum install -y yum-utils
yum-config-manager --add-repo  https://download.docker.com/linux/centos/docker-ce.repo
yum install -y docker-ce docker-ce-cli containerd.io
# 解决内核检查问题 重启生效
grubby --args="user_namespace.enable=1" --update-kernel="$(grubby --default-kernel)"
systemctl enable docker
systemctl start docker
# 修改 docker 源
cat << EOF > /etc/docker/daemon.json
{
    "registry-mirrors":["https://3laho3y3.mirror.aliyuncs.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker
# 安装 docker 结束
# 关 firewalld 防火墙
systemctl stop firewalld
systemctl disable firewalld
# 安装 k3s
curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -s - --docker

使用 containerd 安装

`1`	`curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh \| INSTALL_K3S_MIRROR=cn sh -`

安装完检查

安装完成后，可以执行以下命令进行主机检查。

# 运行配置检查
k3s check-config
# 查看节点状态以及 k3s 版本
[root@k3s-master ~]# kubectl get node
NAME             STATUS   ROLES                  AGE   VERSION
vm-16-8-centos   Ready    control-plane,master   52m   v1.21.5+k3s2
# 查看所有 pod 信息
[root@k3s-master ~]# kubectl get pods -A
NAMESPACE     NAME                                      READY   STATUS      RESTARTS   AGE
kube-system   local-path-provisioner-5ff76fc89d-bbps4   1/1     Running     0          52m
kube-system   coredns-7448499f4d-42v9x                  1/1     Running     0          52m
kube-system   metrics-server-86cbb8457f-xqlrg           1/1     Running     0          52m
kube-system   helm-install-traefik-crd-9wk9v            0/1     Completed   0          52m
kube-system   helm-install-traefik-d8llf                0/1     Completed   3          52m
kube-system   svclb-traefik-jqxvf                       2/2     Running     0          49m
kube-system   traefik-97b44b794-wv6zv                   1/1     Running     0          49m

截止到这里 k3s 已经安装完毕。

安装 nfs

安装 nfs 服务

1
2

yum -y install nfs-utils
systemctl start nfs && systemctl enable nfs

创建nfs目录

`1`	`mkdir -p /home/k8s/nfs`

修改权限

`1`	`chmod -R 755 /home/k8s/nfs`

编辑export文件

1
2
3

cat >>/etc/exports << EOF
/home/k8s/nfs *(rw,no_root_squash,sync)
EOF

配置生效

`1`	`exportfs -r`

启动rpcbind、nfs服务

1
2

systemctl restart rpcbind && systemctl enable rpcbind
systemctl restart nfs && systemctl enable nfs

到这里 k3s 以及 nfs 已经安装完成，下面就可以去体验了。
如果想以上都比较麻烦，你可以用下面的一键安装脚本来执行

一键安装 k3s 脚本

#!/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH
LANG=en_US.UTF-8

RD="\033[31m"      # 错误消息
GR="\033[32m"      # 成功消息
YL="\033[33m"      # 告警消息
BL="\033[36m"      # 日志消息
PL='\033[0m'

clear
echo -e "${YL}##################################################${PL}"
echo -e "${YL}#${PL} ${GR}脚本名称${PL}: 一键安装 k3s 脚本                    ${YL}#${PL}"
echo -e "${YL}#${PL} ${GR}作    者${PL}: sre运维博客                          ${YL}#${PL}"
echo -e "${YL}#${PL} ${GR}网    址${PL}: https:www.cnsre.cn                   ${YL}#${PL}"
echo -e "${YL}#${PL} ${GR}文章地址${PL}: https://cnsre.cn/posts/211109907029/ ${YL}#${PL}"
echo -e "${YL}##################################################${PL}"
sleep 0.5

set -e
echo  
echo 
echo
echo -e "${RD}是否确定安装 dockerb版本的 k3s? ${PL}"
read -r -p "确定请按 y 任意键则退出！请选择：[y/n]" input
    if [[ $input != "y" ]]; then
        exit 1
    else 
        echo -e "$GR正在开始安装 dockerb版本的 k3s$PL"
    fi

if [ `command -v docker` ];then
    echo -e "${YL}docker 已经安装,正在添加docker加速源${PL}"
else
    echo -e "${GR}install docker${PL}"
    curl https://download.daocloud.io/docker/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker-ce.repo
    yum -y install https://download.daocloud.io/docker/linux/centos/7/x86_64/stable/Packages/containerd.io-1.2.6-3.3.el7.x86_64.rpm
    curl -fsSL https://get.daocloud.io/docker | bash -s docker --mirror Aliyun
fi

sudo mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["http://f1361db2.m.daocloud.io"]
}
EOF
grubby --args="user_namespace.enable=1" --update-kernel="$(grubby --default-kernel)"

sudo systemctl daemon-reload
sudo systemctl restart docker
sudo systemctl enable docker


if [ `command -v k3s` ];then
    echo -e "${YL}k3s 已经安装${PL}"
	exit 1
else
    export K3S_NODE_NAME=${HOSTNAME//_/-}
    export INSTALL_K3S_EXEC="--docker --kube-apiserver-arg service-node-port-range=1-65000 --no-deploy traefik --write-kubeconfig ~/.kube/config --write-kubeconfig-mode 666"
    curl -sfL http://rancher-mirror.cnrancher.com/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -
fi

echo -e "${GR}export K3S_TOKEN=$(cat /var/lib/rancher/k3s/server/node-token)${PL}"
echo -e "${GR}export K3S_URL=https://$(ip addr | grep -E -o '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' | grep -E -v "^127\.|^255\.|^0\." | head -n 1):6443${PL}"
echo -e "${GR}安装结束，请重启服务器${PL}"
read -r -p "确定请按 y 任意键则退出！请选择：[y/n]" input
    if [[ $input != "y" ]]; then
        reboot
    else 
        exit 1
    fi

作者：SRE运维博客
博客地址： https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/211109907029/
相关话题：https://www.cnsre.cn/tags/k3s/

K3s on SRE运维博客

多云搭建 K3S 集群

环境介绍

搭建前准备

升级内核

升级内核前

升级内核

修改默认内核版本

安装 WireGuard

所有节点执行

配置 WireGuard

配置说明

各节点配置

启动 WireGuard

自动化

配置热重载

安装 K3S 集群

master节点安装

Agent 安装

k3s 证书过期修改

故障现象

解决方法

验证

k3s 卸载 traefik

删除traefik

修改 k3s.service 配置文件

安装ingress

k3s单机版安装部署 附一键安装脚本

k8s VS k3s

k3s的优点

k3s的缺点

结论

安装 k3s

使用 docker 安装

使用 containerd 安装

安装完检查

安装 nfs

安装 nfs 服务

创建nfs目录

修改权限

编辑export文件

配置生效

启动rpcbind、nfs服务

一键安装 k3s 脚本

k3s单机版安装部署附一键安装脚本