这是Linux命令拾遗系列的第四篇,本篇主要介绍Linux中观测硬件资源的命令,如top、vmstat、pidstat、iostat、sar等。
vmstat全名是虚拟内存统计信息命令,看起来好像是用来观测内存的,实际上cpu、内存、io资源它都能观测。
$ vmstat -w 1
procs -----------------------memory---------------------- ---swap-- -----io---- -system-- --------cpu--------
r b swpd free buff cache si so bi bo in cs us sy id wa st
4 0 0 12531512 102680 274940 0 0 0 3 0 3 0 0 100 0 0
2 0 0 12531512 102680 274940 0 0 0 0 106 55 25 0 75 0 0
2 0 0 12531512 102680 274940 0 0 0 0 105 58 25 0 75 0 0
2 0 0 12531512 102680 274940 0 0 0 0 105 56 25 0 75 0 0
1s显示一次,第一行是系统启动以来的统计信息,一般可忽略不看,从第二行开始看即可。
mpstat是用来查看cpu上各个核的cpu使用率的,如下:
$ mpstat -P ALL 1
Linux 4.19.128-microsoft-standard (DESKTOP-GC9LLHC) 10/24/21 _x86_64_ (8 CPU)
12:39:37 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
12:39:38 all 24.57 0.00 0.00 0.00 0.00 1.72 0.00 0.00 0.00 73.71
12:39:38 0 0.00 0.00 0.00 0.00 0.00 12.28 0.00 0.00 0.00 87.72
12:39:38 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
12:39:38 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
12:39:38 3 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
12:39:38 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
12:39:38 5 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
12:39:38 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
12:39:38 7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
如上,可见3、5号核的cpu使用率基本满载,而其它核非常空闲,这一般是由于程序多线程设计上有问题,导致某部分线程非常忙,另一部分线程没事干,而mpstat就是用来观测是否有这种cpu核负载不均的问题的。
上面之所以cpu不均衡,是因为我使用stress命令,让2个核满载了,如下:
$ stress -c 2
另外,如果你使用了Linux中的绑核机制,将程序固定在某些核上运行,但绑核配置不合理,也会出现这种现象,如下,我将已在运行的stree进程绑定到1,2号核上运行:
# 查询stress进程号
$ pgrep stress
5477
5478
5479
#使用taskset绑核
$ taskset -pc 1,2 5478
pid 5478 current affinity list: 0-7
pid 5478 new affinity list: 1,2
$ taskset -pc 1,2 5479
pid 5479 current affinity list: 0-7
pid 5479 new affinity list: 1,2
#查看绑核情况
$ taskset -pc 5479
pid 5479 current affinity list: 1,2
# 用mpstat查看cpu使用率,现在发现1,2号核都100%了
$ mpstat -P ALL 1 1
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
Average: all 24.78 0.00 0.00 0.00 0.00 0.99 0.00 0.00 0.00 74.23
Average: 0 0.00 0.00 0.00 0.00 0.00 7.48 0.00 0.00 0.00 92.52
Average: 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: 2 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
Average: 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
Average: 5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
Average: 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
Average: 7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
注:绑核其实有利有弊的,程序绑定在某些核上运行,可以避免线程在核间迁移,从而提高CPU缓存的利用率,但一般来说,现在的大多数程序其实是不推荐使用绑核机制的,这应该交给Docker等基础设施来管理。
上面的vmstat、mpstat命令只能看整个系统的情况,而top、pidstat则可以看各个进程的情况,如下:
$ top
top - 13:14:07 up 2 days, 6:38, 0 users, load average: 1.65, 0.59, 0.27
Tasks: 17 total, 3 running, 14 sleeping, 0 stopped, 0 zombie
%Cpu(s): 25.0 us, 0.0 sy, 0.0 ni, 74.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
MiB Mem : 12693.4 total, 12052.8 free, 271.6 used, 368.9 buff/cache
MiB Swap: 4096.0 total, 4096.0 free, 0.0 used. 12171.8 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3174 work 20 0 3860 104 0 R 100.0 0.0 1:40.75 stress
3175 work 20 0 3860 104 0 R 100.0 0.0 1:40.76 stress
1 root 20 0 900 492 428 S 0.0 0.0 0:00.11 init
10 work 20 0 10044 5140 3424 S 0.0 0.0 0:00.12 bash
3051 work 20 0 6393208 204364 20116 S 0.0 1.6 0:07.51 java
3173 work 20 0 3860 980 896 S 0.0 0.0 0:00.00 stress
3176 work 20 0 10888 3932 3348 R 0.0 0.0 0:00.02 top
下面的列表显示的就是各进程情况了,除此之外,top还是个交互式命令,可直接在这个界面输入指令使用其更多功能,如下:
指令 | 功能描述 |
---|---|
1 | 查看1号cpu各核的cpu使用情况,类似mpstat |
M | 进程按内存使用率倒序,同时按shift + m |
P | 进程按cpu使用率倒序,同时按shift + p |
H | 查看线程情况,同时按shift + h |
c | 查看进程的完整命令行 |
k | 杀死指定pid的进程 |
h | 查看帮助 |
q | 退出top |
注意,这里面的指令,很多都是开关式的,比如按1显示cpu各核使用率,再按1就显示整体cpu使用率了。
另外,如果你的电脑是8核的,top中进程的CPU%最高可以到800%,初次看到这种现象时,还很容易吓一跳呢!
pidstat基本和top功能是类似的,不过它是非交互式的命令,一般作为top的补充使用,如下:
# 默认查看活动进程的cpu使用情况,加-t可以查看线程的
$ pidstat 1
13:32:45 UID PID %usr %system %guest %wait %CPU CPU Command
13:32:46 1000 3051 0.00 1.00 0.00 0.00 1.00 1 java
13:32:46 1000 3241 100.00 0.00 0.00 0.00 100.00 7 stress
13:32:46 1000 3242 100.00 0.00 0.00 0.00 100.00 5 stress
Average: UID PID %usr %system %guest %wait %CPU CPU Command
Average: 1000 3051 0.00 0.33 0.00 0.00 0.33 - java
Average: 1000 3241 100.00 0.00 0.00 0.00 100.00 - stress
Average: 1000 3242 100.00 0.00 0.00 0.00 100.00 - stress
# -w可以看线程上下文切换情况
# cswch/s:自愿上下文切换,比如等待io或锁
# nvcswch/s:非自愿上下文切换,比如分给自己时间片用完了,一般需要关注这个,因为现在的程序大多是io密集型的,用完时间片的机会很少
$ pidstat -w 1
13:37:57 UID PID cswch/s nvcswch/s Command
13:37:58 1000 3299 1.00 0.00 pidstat
13:37:58 UID PID cswch/s nvcswch/s Command
13:37:59 0 8 1.00 0.00 init
13:37:59 1000 9 1.00 0.00 wsltermd
13:37:59 1000 3299 1.00 0.00 pidstat
# -v可以看运行进程的线程数与文件描述符数量
$ pidstat -v 1
01:41:34 PM UID PID threads fd-nr Command
01:41:35 PM 1000 876 95 177 java
# -r可以看运行进程的内存使用情况以及缺页情况
# minflt/s:轻微缺页,一般不用太关注
# majflt/s:严重缺页,一般意味着发生了swrap,量较大时需要关注
$ pidstat -r 1
02:07:24 PM UID PID minflt/s majflt/s VSZ RSS %MEM Command
02:07:25 PM 999 2786 2.00 0.00 52792 3140 0.08 redis-server
02:07:25 PM 1000 601098 1.00 0.00 13976 6296 0.16 sshd
# -d可以看某个进程的io使用情况
$ pidstat -d 1
14:12:06 UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command
14:12:07 1000 3051 0.00 80.00 0.00 0 java
14:12:07 1000 3404 0.00 0.00 0.00 79 stress
其实上面的vmstat、top已经可以看到内存使用情况了,free命令更纯粹一点,如下:
# 查看内存使用情况,-m以MB为单位,-g可以使其以GB为单位
$ free -m
total used free shared buff/cache available
Mem: 3907 1117 778 3 2012 2503
Swap: 1897 708 1189
要特别注意里面的free、buff/cache以及available,如下:
slab是Linux操作系统的一种内存分配机制。slab分配器是基于对象进行管理,相同类型的对象归为一类(如进程描述符就是一类),每申请这样一个对象,slab分配器就从一个slab列表中分配一个这样大小的单元出去,而释放时,将其重新保存在该列表中,当以后又要请求新的对象时,就可以从列表中直接获取而不用重复初始化。
其实你可以直接把它理解为内核实现对象池的一种机制,它包含在buff/cache列中,如下可以观测它的内存占用情况:
$ sudo slabtop
Active / Total Objects (% used) : 1641750 / 1772440 (92.6%)
Active / Total Slabs (% used) : 35906 / 35906 (100.0%)
Active / Total Caches (% used) : 107 / 158 (67.7%)
Active / Total Size (% used) : 512123.18K / 553465.83K (92.5%)
Minimum / Average / Maximum Object : 0.01K / 0.31K / 16.75K
OBJS ACTIVE USE OBJ SIZE SLABS OBJ/SLAB CACHE SIZE NAME
282324 246579 87% 0.19K 6722 42 53776K dentry
173824 159910 91% 0.03K 1358 128 5432K kmalloc-32
173784 164054 94% 0.10K 4456 39 17824K buffer_head
167580 159572 95% 0.13K 2793 60 22344K kernfs_node_cache
100839 89862 89% 1.07K 3479 29 111328K ext4_inode_cache
91260 86183 94% 0.81K 2340 39 74880K fuse_inode
65084 62708 96% 0.59K 1228 53 39296K inode_cache
64576 64401 99% 0.50K 1009 64 32288K kmalloc-512
53120 51516 96% 0.06K 830 64 3320K anon_vma_chain
df命令可以很容易的看到文件系统的空间使用情况,如下:
$ df -h
Filesystem Size Used Avail Use% Mounted on
udev 1.9G 0 1.9G 0% /dev
tmpfs 391M 2.7M 389M 1% /run
/dev/sda1 276G 150G 115G 57% /
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 5.0M 4.0K 5.0M 1% /run/lock
/dev/sda1的Use%这一列可以看到磁盘使用了57%了。
iostat命令可以很方便的查看磁盘当前的IO情况,如下:
$ iostat -xz 1
avg-cpu: %user %nice %system %iowait %steal %idle
0.06 0.00 0.00 0.00 0.00 99.94
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 1.87 17854.96 3799.10 14930.26 42642.19 208548.03 26.82 7.10 0.37 1.04 0.20 0.28 522.73
avg-cpu: %user %nice %system %iowait %steal %idle
4.36 0.00 0.00 0.00 0.00 95.64
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 0.00 606.00 0.00 2616.00 8.63 0.04 0.06 0.00 0.06 0.06 3.40
注意,和vmstat一样,第一次的输出结果是历史以来的统计值,一般可以忽略不计,如下:
注:上面的命令输出结果是centos中的,ubuntu中iostat命令输出结果稍有不同。
iotop以进程的角度查看io情况,如下:
# -P表示只看进程整体的,不然iotop看的是每个线程的
# -o表示只看有io操作的进程,不然iotop会列出所有进程
$ sudo iotop -P -o
Total DISK READ: 3.84 K/s | Total DISK WRITE: 138.97 M/s
Current DISK READ: 3.84 K/s | Current DISK WRITE: 80.63 M/s
PID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
737183 be/4 root 3.84 K/s 0.00 B/s 0.00 % 88.89 % [kworker/u256:1+flush-8:0]
761496 be/4 work 0.00 B/s 138.96 M/s 0.00 % 79.09 % stress -d 1
876 be/4 work 0.00 B/s 7.68 K/s 0.00 % 0.00 % java -Xms256m -Xmx1g -Xss1m -XX:MaxMetaspaceSize=1g ...
可以看到整个磁盘的当前读写速率,以及各个进程占用的比例。
当我们访问一个文件时,内核会帮我们将文件数据缓存到内存中,就是上面free命令中buff/cache这一项,而hcache与vmtouch则可以查看文件缓存的详细信息,如下:
# 查看前6个文件的pagecache大户
$ sudo ./hcache -top 6
+---------------------------------------------------------------------+----------------+------------+-----------+---------+
| Name | Size (bytes) | Pages | Cached | Percent |
|---------------------------------------------------------------------+----------------+------------+-----------+---------|
| /var/log/journal/ae4a8a4eec6f418a9596826e2f4f6891/system.journal | 33554432 | 8192 | 7415 | 090.515 |
| /snap/core/11993/usr/lib/snapd/snapd | 24113872 | 5888 | 3777 | 064.147 |
| /usr/bin/dockerd | 104770064 | 25579 | 2692 | 010.524 |
| /usr/local/mysql/bin/mysqld | 227306584 | 55495 | 1774 | 003.197 |
| /var/log/journal/ae4a8a4eec6f418a9596826e2f4f6891/user-1000.journal | 8388608 | 2048 | 1590 | 077.637 |
| /usr/bin/python3.8 | 5482296 | 1339 | 1072 | 080.060 |
+---------------------------------------------------------------------+----------------+------------+-----------+---------+
# 查看指定文件的pagecache详细信息
$ vmtouch -v /usr/local/mysql/bin/mysqld
/usr/local/mysql/bin/mysqld
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO] 55495/55495
Files: 1
Directories: 0
Resident Pages: 55495/55495 216M/216M 100%
Elapsed: 0.000275 seconds
# 清除指定文件的pagecache
$ vmtouch -ve /var/log/journal/ae4a8a4eec6f418a9596826e2f4f6891/system.journal
Evicting /var/log/journal/ae4a8a4eec6f418a9596826e2f4f6891/system.journal
Files: 1
Directories: 0
Evicted Pages: 8192 (32M)
Elapsed: 0.008735 seconds
# 清除pagecache与slab,一般没必要这么做,除非很清楚自己在做什么
$ sync # 将修改过的pagecache(脏页),写回到磁盘
$ echo 1 > /proc/sys/vm/drop_caches # 清除pagecache
$ echo 2 > /proc/sys/vm/drop_caches # 清除slab
$ echo 3 > /proc/sys/vm/drop_caches # 清除pagecache与slab
hcache下载地址:https://github.com/silenceshell/hcache
nicstat可以查看整个网卡的使用情况,如下:
$ nicstat -z 1
Time Int rKB/s wKB/s rPk/s wPk/s rAvs wAvs %Util Sat
22:35:22 ens33 38.09 7.13 32.03 6.77 1217.8 1078.4 0.03 0.00
22:35:22 lo 0.07 0.07 0.36 0.36 207.6 207.6 0.00 0.00
Time Int rKB/s wKB/s rPk/s wPk/s rAvs wAvs %Util Sat
22:35:23 ens33 0.27 0.56 3.99 4.99 69.50 114.0 0.00 0.00
Time Int rKB/s wKB/s rPk/s wPk/s rAvs wAvs %Util Sat
22:35:24 ens33 0.21 0.34 3.00 3.00 72.67 116.7 0.00 0.00
Time Int rKB/s wKB/s rPk/s wPk/s rAvs wAvs %Util Sat
22:35:25 ens33 0.28 0.33 4.00 3.00 70.50 111.3 0.00 0.00
Time Int rKB/s wKB/s rPk/s wPk/s rAvs wAvs %Util Sat
22:35:26 ens33 0.34 0.34 5.00 3.00 69.20 116.7 0.00 0.00
Time Int rKB/s wKB/s rPk/s wPk/s rAvs wAvs %Util Sat
22:35:27 ens33 0.28 0.33 4.00 3.00 70.50 111.3 0.00 0.00
其中%Util就是网卡带宽的使用率了。
iftop可以用来查看整个网卡以及各个连接的当前网速,如下:
$ sudo iftop -B -nNP
244KB 488KB 732KB 977KB 1.19MB
└──────────────────────────────┴──────────────────────────────┴───────────────────────────────┴──────────────────────────────┴───────────────────────────────
10.134.60.10:10100 => 10.134.92.10:29318 85.8KB 103KB 94.3KB
<= 2.95KB 3.54KB 3.25KB
10.134.60.10:10100 => 10.134.93.9:30981 170KB 103KB 94.3KB
<= 5.41KB 3.49KB 3.21KB
10.134.60.10:35172 => 10.134.24.54:3961 13.3KB 9.88KB 5.25KB
<= 58.6KB 60.6KB 32.4KB
10.134.60.10:43240 => 10.134.24.55:3960 9.83KB 5.52KB 3.09KB
<= 101KB 53.6KB 31.1KB
10.134.60.10:60932 => 10.134.24.55:3961 4.45KB 5.07KB 6.04KB
<= 35.0KB 39.8KB 47.4KB
10.134.60.10:58990 => 10.134.24.5:80 22.0KB 19.2KB 22.5KB
─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
TX: cum: 10.9MB peak: 1.75MB rates: 611KB 438KB 557KB
RX: 6.49MB 453KB 360KB 296KB 332KB
TOTAL: 17.4MB 2.19MB 972KB 735KB 889KB
另外,在nicstat、iftop命令不可用的情况下,也可以使用ifconfig + awk来查看网速,单位B/s,如下:
$ while sleep 1;do ifconfig;done|awk -v RS= 'match($0,/^(\w+):.*RX.*bytes ([0-9]+).*TX.*bytes ([0-9]+)/,a){eth=a[1];if(s[eth][1])print a[1],a[2]-s[eth][2],a[3]-s[eth][3];for(k in a)s[eth][k]=a[k]}'
eth0 294873 353037
lo 2229 2229
eth0 613730 666086
lo 17981 17981
eth0 317336 544921
lo 5544 5544
eth0 237694 516947
lo 2256 2256
sar是一个几乎全能的观测工具,它可以观测CPU、内存、磁盘、网络等等,不像上面的命令,只是侧重某一方面,正因为它如此强大,掌握起来也要难得多,它的常见用法如下:
# cpu使用率
sar -u ALL 1
# 运行队列与负载
sar -q 1
# 中断次数
sar -I SUM 1
# 进程创建次数与线程上下文切换次数
sar -w 1
# 内存使用、脏页与slab
sar -r ALL 1
# 缺页与内存页扫描
sar -B 1
# 内存swap使用
sar -S 1 1
sar -W 1
# 磁盘IOPS
sar -dp 1
# 文件描述符与打开终端数
sar -v 1 1
# 网卡层使用率
sar -n DEV 1
# tcp层收包发包情况
sar -n TCP,ETCP 1
# socket使用情况
sar -n SOCK 1
这只是列出了sar的一部分用法,实际上sar可以观测到非常多的内容,具体可以man sar查看。
从上面介绍的命令来看,能观测到的指标非常多,让人眼花缭乱,一时抓不住重点,好在性能优化大师Brendan Gregg为我们总结了USE法,告诉了我们应该重点关注硬件资源的哪些指标,如下:
注:使用率与使用率是不同的,比如CPU使用率一般代表时间占用比例,如1s中有800ms在执行真正的代码,CPU使用率就是80%,而内存使用率50%,指的是容量使用了一半,所以使用率可细分为基于容量的使用率与基于时间的使用率。
可以用Java中的线程池来理解这3个指标,如下:
对于CPU、内存、磁盘、网络这4个常见资源,并结合上面介绍的命令,可得出如下的表格:
资源 | 使用率(utilization) | 饱和度(saturation) | 错误(errors) |
---|---|---|---|
CPU | vmstat 1中"us" + "sy" + "st" sar -u同理 |
vmstat 1中r列大于虚拟cpu数量 sar -q同理 |
- |
内存 | free -m的available vmstat 1的"free"与"swap" sar -r的"%memused" |
vmstat 1的"si"与"so" sar -B的"pgscank"与"pgscand" dmesg | grep killed |
- |
磁盘 | iostat -xz 1的"%util" sar -d 1的"%util" |
iostat -xz 1的"avgqu-sz" > 1或"await"居高不下 sar -d 1同理 |
- |
网络 | iftop的rates nicstat的"%Util" sar -n DEV 1的"rxKB/s"与"txKB/s" |
ifconfig的"overruns"与"dropped" netstat -s|grep "segments retransmited" sar -n EDEV 1的*drop and *fifo |
ifconfig的 "errors"与"dropped" sar -n EDEV 1的"rxerr/s"与"txerr/s" |
还有很多类似sar的全能观测工具,大多都比较炫酷,在个人笔记本上使用较多,服务器上采用较少,如下: