2022年了，开发需要各种应用时，不用再像以前那样挨个手工安装一整天了，直接上K8S就好啦~

这次，博主我上了一套3节点的集群，其中包含1个Master、2个Worker，前端选择了开源的KubeSphere，网络组件选择了性能好、又能起BGP的Cilium。由于本次部署是作为日常开发环境，操作上少了一些合规的考虑，仅供尝鲜和入门使用，生产环境部署需再细致研究。

注意

操作系统均为Rocky Linux 8，基于RHEL 8的发行版按照本文操作应该都没有太大问题
未标明操作的机器时（如：每个Node均需要操作），默认即代表在Master操作

操作步骤

准备

为系统配置网络，请禁用NetworkManager，使用network.service
建议网关使用OpenWRT并且开启一些东西，否则你会为抓镜像的各种失败抓狂
请关闭SELinux
请关闭iptables并清空规则
请使用root操作

安装和设置容器运行时

每个Node均需要操作。

此处，我使用的是containerd作为容器的运行时。

cat > /etc/modules-load.d/containerd.conf << EOF
overlay
br_netfilter
EOF

modprobe overlay
modprobe br_netfilter

cat > /etc/sysctl.d/99-kubernetes-cri.conf << EOF
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

sysctl --system

只需要安装containerd就好了，并不需要安装docker本身。

dnf config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo
dnf makecache
dnf install containerd.io -y

生成containerd的默认配置。

mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml

紧接着，你需要使用vim /etc/containerd/config.toml，找到下边的内容，添加一行配置。

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  ...
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
    SystemdCgroup = true   # << 加这一行

改完配置后，我们需要重启它一下，为了日后的使用，顺便把它设置成开启自启动。

systemctl restart containerd.service
systemctl enable containerd.service

安装k8s

每个Node均需要操作。

首先，需要进行下边的操作，确保netfilter能匹配到bridge桥接的端口的流量。

cat > /etc/modules-load.d/k8s.conf << EOF
br_netfilter
EOF

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

你可能看到了el7，但是别慌，亲测没有el8的仓库，而且el7能够正常安装使用。

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF

dnf makecache
dnf install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

紧接着，启用kubelet。

systemctl enable --now kubelet

设置域名解析

每个Node均需要操作。

由于我集群规模不大，加上是非生产环境，因此我就直接手工添加了hosts来解析对应的Node。

cat >> /etc/hosts << EOF

# K8S Cluster
100.x.x.x m.x.xuegaogg.com
100.x.x.x m1.x.xuegaogg.com
100.x.x.x s1.x.xuegaogg.com
100.x.x.x s2.x.xuegaogg.com

EOF

正确做法应当是在DNS服务器上逐个添加解析记录，如果机器较多，可以使用域控的方式自动加入。

可以看到，我专门留多了一个m.x.xuegaogg.com，这个记录和m1.x.xuegaogg.com的记录目前是保持一致，主要是以后用于keepalived使用。当部署多活的Master时，我们可能会有m1、m2、m3等，但是Worker加入时始终还是使用m加入，届时m解析成浮动IP即可~

设置集群

首先在Master上先预热一下镜像。鉴于国内网络情况较为恶劣，此处如果直接抓取的话，可能会失败或者要等待很久。

kubeadm config images pull

紧接着，在Master上初始化，其中：

apiserver-advertise-address：填写机器的IP地址即可，决定监听的IP
control-plane-endpoint：Worker加入的地址
pod-network-cidr：Pod使用的子网，请使用RFC1918中的地址，不要作死使用其他地址
service-cidr：Service使用的子网，请使用RFC1918中的地址，不要作死使用其他地址
service-dns-domain：域名后缀
node-name：设置本Node的名称，在kubectl get node即可看到

kubeadm init 
  --apiserver-advertise-address 100.x.x.x 
  --control-plane-endpoint m.x.xuegaogg.com 
  --pod-network-cidr 192.168.0.0/17 
  --service-cidr 192.168.128.0/18 
  --service-dns-domain x.xuegaogg.com 
  --node-name m1.x.xuegaogg.com

当Master初始化完成后，会显示出来加入的命令，一定记得仔细看英文提示，因为有的命令是给高可用控制面加入的，有的才是给Worker加入的，需要加以区分。在加入的命令之后，加入一行指定Node的名称

kubeadm join m.x.xuegaogg.com:6443 
  --token xxxxxx 
  --discovery-token-ca-cert-hash sha256:xxxxxxxxxxx 
  --node-name s1.x.xuegaogg.com  # << 加这一行

复制kubectl配置

安装完成后，我们需要在Master复制配置（其中包含了证书），以便kubectl命令能够正常使用。

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

安装自动补全

众所周知，使用kubectl时，经常要打各种资源的名称，如果没有自动补全，逐个get然后复制真的很麻烦，因此，你可以直接使用bash的自动补全。

首先，你得安装bash的自动补全。

dnf install bash-comp* -y

紧接着，生成配置

mkdir -p ~/.kube
kubectl completion bash > ~/.kube/completion.bash.inc
printf "
# Kubectl shell completion
source '$HOME/.kube/completion.bash.inc'
" >> $HOME/.bash_profile
source $HOME/.bash_profile

当加入.bash_profile之后，每次进入新的bash会话时，自动补全的脚本会被自动加载。

安装网络

首先，你需要安装个依赖。

dnf install iproute-tc -y

其次，下载并解压cilium的最后版本。

curl -L --remote-name-all https://github.com/cilium/cilium-cli/releases/latest/download/cilium-linux-amd64.tar.gz{,.sha256sum}
sha256sum --check cilium-linux-amd64.tar.gz.sha256sum
sudo tar xzvfC cilium-linux-amd64.tar.gz /usr/local/bin
rm cilium-linux-amd64.tar.gz{,.sha256sum} -rf

最后，就可以安装cilium了。此处，我设置了IPAM使用k8s原生的，因此后边加了个额外的参数，否则你的Pod分配的IP地址和你一开始使用kubeadm设置的会不一样。

cilium install --ipam kubernetes

配置存储

安装NFS服务器

配置存储可以说说稍微麻烦一些的了。此处，我使用了一台虚拟机提供NFS存储，IO还是挺差的…有钱了还是得买台EMC…

此处，我使用Alpine Linux作为NFS服务器，减少不必要的资源消耗。

apk add nfs-utils

安装完成后，直接配置NFS导出的目录即可，路径为/etc/exports。

# /etc/exports
#
# See exports(5) for a description.

# use exportfs -arv to reread
#/export    192.168.1.10(rw,no_root_squash)

/data 100.x.x.0/24(rw,async,no_subtree_check,no_wdelay,crossmnt,no_root_squash,insecure_locks,sec=sys,anonuid=0,anongid=0)

配置完成后，设置自启动

rc-update add nfs

然后重启机器，即可生效服务~

配置K8S的NFS StorageClass

为所有机器（切记是所有）安装NFS客户端组件，因为不装就无法挂载。

dnf install nfs-utils -y

接下来的操作在Master执行，找到适合你使用的存储Provisioner，此处我使用的是NFS，因此我选择了nfs-subdir-external-provisioner这么个玩意。

wget https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner/archive/refs/tags/nfs-subdir-external-provisioner-4.0.16.tar.gz
tar xvf nfs-subdir-external-provisioner-4.0.16.tar.gz
cd nfs-subdir-external-provisioner-nfs-subdir-external-provisioner-4.0.16/deploy

首先是设置你存储后端安装的命名空间。需要特别注意的是，由于配置了RBAC权限，因此我们可以在其它命名空间挂入存储，因此此处我选择把存储的Provisioner安装到了kube-system这个命名空间。

NAMESPACE="kube-system"
sed -i'' "s/namespace:.*/namespace: $NAMESPACE/g" rbac.yaml
kubectl apply -f rbac.yaml
sed -i'' "s/namespace:.*/namespace: $NAMESPACE/g" deployment.yaml

替换完成命名空间后，你还要手工修改deployment.yaml和class.yaml。

下边是参考的deployment.yaml，你只需要修改NFS_SERVER、NFS_PATH、最后的nfs的两个值（建议和NFS_SERVER、NFS_PATH保持一致）。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: kube-system
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: k8s.gcr.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: k8s-sigs.io/nfs-subdir-external-provisioner
            - name: NFS_SERVER
              value: 100.x.x.x
            - name: NFS_PATH
              value: /data
      volumes:
        - name: nfs-client-root
          nfs:
            server: 100.x.x.x
            path: /data

下边是参考的class.yaml。我添加了路径命名的参数pathPattern，这样可以清晰地将不同Pod挂载的存储目录给区分开。

特别注意，此处onDelete我设置了delete，当文件夹已存在时会直接删除，如果你需要保留，则需要调整为retain。或者使用不使用此配置，由archiveOnDelete: true进行自动备份。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner # or choose another name, must match deployment's env PROVISIONER_NAME'
parameters:
  pathPattern: "${.PVC.namespace}/${.PVC.annotations.nfs.io/storage-path}"
  archiveOnDelete: "false"
  onDelete: delete

然后分别apply一下就好了。

kubectl apply -f deployment.yaml
kubectl apply -f class.yaml

最后，要为StorageClass设置默认，以确保Pod创建时能自动套用这个StorageClass去挂卷。

kubectl patch storageclass nfs-client -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

当有Pod挂存储时，我们即可看到对应生成的PVC：

[root@M1 deploy]# kubectl get pv -A
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                                             STORAGECLASS   REASON   AGE
pvc-56xxxx   20Gi       RWO            Delete           Bound    kubesphere-monitoring-system/prometheus-k8s-db-prometheus-k8s-0   nfs-client              93m
pvc-f2xxxx   20Gi       RWO            Delete           Bound    kubesphere-monitoring-system/prometheus-k8s-db-prometheus-k8s-1   nfs-client              93m

安装KubeSphere

可能需要关注一下官网的最新版，此处贴的yaml在你看到本文的时候，不一定是最新的。

kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.2.1/kubesphere-installer.yaml
kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.2.1/cluster-configuration.yaml

我们可以使用下边的命令查看安装进度。请注意，只有Pod在创建成功后，才能看到日志，如果是在抓镜像或者创建容器的阶段，可能会提示容器不存在，则还需要等一等，或者可以使用kubectl先观察Pod的启动情况。

kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f

开始使用

感慨

写到最后，不禁感慨，我缺一台EMC。（还缺几台机架服务器）

困死了，睡个午觉~

雪糕博客

什么都搞，不再专注网络了

Kubernetes与KubeSphere上车指南

注意

操作步骤

准备

安装和设置容器运行时

安装k8s

设置域名解析

设置集群

复制kubectl配置

安装自动补全

安装网络

配置存储

安装NFS服务器

配置K8S的NFS StorageClass

安装KubeSphere

开始使用

感慨

发表回复取消回复

注意

操作步骤

准备

安装和设置容器运行时

安装k8s

设置域名解析

设置集群

复制kubectl配置

安装自动补全

安装网络

配置存储

安装NFS服务器

配置K8S的NFS StorageClass

安装KubeSphere

开始使用

感慨

发表回复 取消回复

发表回复取消回复