k8s 优化
kubernetes大规模集群优化
内核参数调化
增大部分内核选项，在/etc/sysctl.conf文件中添加下面片断：
etcd性能优化
Etcd对磁盘写入延迟非常敏感，因此对于负载较重的集群，etcd一定要使用local SSD或者高性能云盘。可以使用
fio测量磁盘实际顺序 IOPS。
由于etcd必须将数据持久保存到磁盘日志文件中，因此来自其他进程的磁盘活动可能会导致增加写入时间，结果导致etcd请求超时和临时leader丢失。因此可以给etcd进程更高的磁盘优先级，使etcd服务可以稳定地与这些进程一起运行。
默认etcd空间配额大小为 2G，超过 2G 将不再写入数据。通过给etcd配置
--quota-backend-bytes参数增大空间配额，最大支持 8G。
如果etcd leader处理大量并发客户端请求，可能由于网络拥塞而延迟处理follower对等请求。在follower 节点上可能会产生如下的发送缓冲区错误的消息：
可以通过提高etcd对于对等网络流量优先级来解决这些错误。在 Linux 上，可以使用 tc 对对等流量进行优先级排序：
为了在大规模集群下提高性能，可以将events存储在单独的 ETCD 实例中，可以配置kube-apiserver参数：
docker优化
配置docker daemon并行拉取镜像，以提高镜像拉取效率，在
/etc/docker/daemon.json中添加以下配置：
可以使用local SSD或者高性能云盘作为docker容器的持久数据目录，在
/etc/docker/daemon.json中添加以下配置：
启动pod时都会拉取pause镜像，为了减小拉取pause镜像网络带宽，可以每个node预加载pause镜像，在每个node节点上执行以下命令：
kubelet优化
设置
--serialize-image-pulls=false， 该选项配置串行拉取镜像，默认值时true，配置为false可以增加并发度。但是如果docker daemon 版本小于 1.9，且使用 aufs 存储则不能改动该选项。设置
--image-pull-progress-deadline=30， 配置镜像拉取超时。默认值时1分，对于大镜像拉取需要适量增大超时时间。kubelet 单节点允许运行的最大 Pod 数：
--max-pods=110（默认是 110，可以根据实际需要设置）
kube-apiserver优化
设置
--apiserver-count和--endpoint-reconciler-type，可使得多个 kube-apiserver 实例加入到 Kubernetes Service 的 endpoints 中，从而实现高可用。设置
--max-requests-inflight和--max-mutating-requests-inflight，默认是 200 和 400。 节点数量在 1000 - 3000 之间时，推荐：
节点数量大于 3000 时，推荐：
使用
--target-ram-mb配置kube-apiserver的内存，按以下公式得到一个合理的值：
kube-controller-manager优化
kube-controller-manager可以通过 leader election 实现高可用，添加以下命令行参数：
限制与kube-apiserver通信的qps，添加以下命令行参数：
kube-scheduler优化
kube-scheduler可以通过 leader election 实现高可用，添加以下命令行参数：
限制与kube-apiserver通信的qps，添加以下命令行参数：
pod优化
在运行Pod的时候也需要注意遵循一些最佳实践。
为容器设置资源请求和限制，尤其是一些基础插件服务
在k8s中，会根据pod的limit 和 requests的配置将pod划分为不同的qos类别：
当机器可用资源不够时，kubelet会根据qos级别划分迁移驱逐pod。被驱逐的优先级：BestEffort > Burstable > Guaranteed。
对关键应用使用 nodeAffinity、podAffinity 和 podAntiAffinity 等保护，使其调度分散到不同的node上。比如kube-dns 配置：
尽量使用控制器来管理容器（如 Deployment、StatefulSet、DaemonSet、Job 等）
kubernetes集群数据备份与还原
etcd数据
备份
备份数据前先找到etcd集群当前的leader：
然后登录到leader节点，备份snapshot db文件：
还原
将备份的snaphost db文件上传到各个etcd节点，使用以下命令还原数据：
harbor
如果使用harbor作为镜像仓库与chart仓库，可使用脚本将harbor中所有的镜像和chart导入导出。
备份
还原
pvc对应的存储卷
集群中其它应用数据一般是保存在pvc对应的存储卷中的。
备份
首先根据pvc找到对应的pv：
找到pv的挂载目录：
使用rsync命令备份数据：
还原
首先根据pvc找到对应的pv：
找到pv的挂载目录：
使用rsync命令备份数据：
备份数据管理
所有备份出的数据可以存放在一个目录下，并使用restic工具保存到多个后端存储系统上，如：
DONE.
参考
Last updated