说明
容器中的top/free/df等命令,展示的状态信息是从/proc目录中的相关文件里读取出来的:
Copy /proc/cpuinfo
/proc/diskstats
/proc/meminfo
/proc/stat
/proc/swaps
/proc/uptime
LXCFS, 是一个常驻服务,它启动以后会在指定目录中自行维护与上面列出的/proc目录中的文件同名的文件,容器从lxcfs维护的/proc文件中读取数据时,得到的是容器的状态数据,而不是整个宿主机的状态。
相关笔记:
安装
yum安装
Copy wget https://copr-be.cloud.fedoraproject.org/results/ganto/lxd/epel-7-x86_64/00486278-lxcfs/lxcfs-2.0.5-3.el7.centos.x86_64.rpm
yum install lxcfs-2.0.5-3.el7.centos.x86_64.rpm
编译安装
也可以自己编译,需要提前安装fuse-devel:
Copy yum install -y fuse-devel
下载代码编译,bootstrap.sh
执行结束后,会在生成configure
等文件,编译安装方法在INSTALL
文件中:
Copy git clone https://github.com/lxc/lxcfs.git
cd lxcfs
git checkout lxcfs-3.0.3
./bootstrap.sh
./configure --prefix=/
make
make install
如果要调试,可以设置为DEBUG模式:
Copy CFLAGS="-O0 -DDEBUG" ./configure --prefix=/data/lxcfs/lxcfs_install/
可以用下面的方法启动:
Copy /etc/init.d/lxcfs start
但是/etc/init.d/lxcfs
这个启动脚本比较古老,在CentOS7上运行可能会遇到下面的问题:
Copy /etc/init.d/lxcfs: line 20: /lib/lsb/init-functions: No such file or directory
/etc/init.d/lxcfs: line 29: init_is_upstart: command not found
与其修改这个启动脚本,不足自己写一个systemd文件,lxcfs命令用法很简单,只有三个参数:
Copy $ lxcfs -h
Usage:
lxcfs [-f|-d] [-p pidfile] mountpoint
-f running foreground by default; -d enable debug output
Default pidfile is /run/lxcfs.pid
lxcfs -h
lxcfs.service可以简单写成这样:
Copy cat > /usr/lib/systemd/system/lxcfs.service <<EOF
[Unit]
Description=lxcfs
[Service]
ExecStart=/usr/bin/lxcfs -f /var/lib/lxcfs
Restart=on-failure
#ExecReload=/bin/kill -s SIGHUP $MAINPID
[Install]
WantedBy=multi-user.target
EOF
启动:
Copy systemctl daemon-reload
systemctl start lxcfs
使用
用前面的systemctl命令启动,或者在宿主机上直接运行lxcfs:
查看容器内存状态
启动一个容器,用lxcfs维护的/proc文件替换容器中的/proc文件,容器内存设置为256M:
Copy docker run -it -m 256m \
-v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw \
-v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw \
-v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw \
-v /var/lib/lxcfs/proc/stat:/proc/stat:rw \
-v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw \
-v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw \
ubuntu:latest /bin/bash
在容器内看到内存大小是256M:
Copy # free -h
total used free shared buff/cache available
Mem: 256M 1.2M 254M 6.1M 312K 254M
Swap: 256M 0B 256M
注意 :如果是alpine镜像看到还是宿主机上的内存状态,alpine中的free命令,似乎是通过其它渠道获得内存状态的。
查看容器CPU状态
容器的CPU设置有两种方式,一个是--cpus 2
,限定容器最多只能使用两个逻辑CPU,另一个是--cpuset-cpus "0,1"
,限定容器 可以使用的宿主机CPU。
top命令显示的是容器 可以使用的
宿主机cpu,如果使用--cpus 2
,看到的cpu个数是宿主机上的cpu个数。使用--cpuset-cpus "0,1"
的时候,在容器看到cpu个数是--cpuset
指定的cpu的个数。
Copy docker run -it --rm -m 256m --cpus 2 --cpuset-cpus "0,1" \
-v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw \
-v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw \
-v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw \
-v /var/lib/lxcfs/proc/stat:/proc/stat:rw \
-v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw \
-v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw \
ubuntu:latest /bin/sh
这时候在容器内看到的CPU个数是2个:
Copy top - 07:30:32 up 0 min, 0 users, load average: 0.03, 0.09, 0.13
Tasks: 2 total, 1 running, 1 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.6 us, 0.6 sy, 0.0 ni, 98.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 0.6 us, 0.0 sy, 0.0 ni, 99.4 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
指定容器只能在指定的CPU上运行应当是利大于弊,就是在创建容器的时候需要额外做点工作,合理分配cpuset。
注意 :在容器中用uptime
看到的系统运行时间是容器的运行时间,但是后面的load还是宿主机的load。
注意 :在容器内看到的CPU的使用率依然是宿主机上的CPU的使用率! 这个功能似乎有点鸡肋。
在kubernetes中使用lxcfs
在kubernetes中使用lxcfs需要解决两个问题:
第一个问题是每个node上都要启动lxcfs,这个简单,部署一个daemonset就可以了。
开启initializers功能
这里使用的是kubernetes 1.12,设置方法是一样的:
Copy --enable-admission-plugins="Initializers,NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"
--runtime-config=admissionregistration.k8s.io/v1alpha1
--enable-admission-plugins
和--admission-control
互斥,如果同时设置,kube-apiserver启动报错:
Copy error: [admission-control and enable-admission-plugins/disable-admission-plugins flags are mutually exclusive,
enable-admission-plugins plugin "--runtime-config=admissionregistration.k8s.io/v1alpha1" is unknown]
initializer controller的实现
延伸内容
参考