一、sar的概述在我使用的众多linux分析工具中sar是一个非常全面的一个分析工具可以比较瑞士军刀对文件的读写系统调用的使用情况磁盘IOCPU相关使用情况内存使用情况进程活动等都可以进行有效的分析。sar工具将对系统当前的状态进行取样然后通过计算数据和比例来表达系统的当前运行状态。它的特点是可以连续对系统取样获得大量的取样数据。取样数据和分析的结果都可以存入文件使用它时消耗的系统资源很小。话不多说直接--help查看一下先[rootlgh ~]# sar --help Usage: sar [ options ] [ interval [ count ] ] Options are: [ -A ] [ -b ] [ -B ] [ -C ] [ -d ] [ -h ] [ -m ] [ -p ] [ -q ] [ -r ] [ -R ] [ -S ] [ -t ] [ -u [ ALL ] ] [ -v ] [ -V ] [ -w ] [ -W ] [ -y ] [ -I { int [,...] | SUM | ALL | XALL } ] [ -P { cpu [,...] | ALL } ] [ -j { ID | LABEL | PATH | UUID | ... } ] [ -n { keyword [,...] | ALL } ] [ -o [ filename ] | -f [ filename ] ] [ --legacy ] [ -i interval ] [ -s [ hh:mm:ss ] ] [ -e [ hh:mm:ss ] ]-A所有报告的总和 -u输出CPU使用情况的统计信息 -v输出inode、文件和其他内核表的统计信息 -d输出每一个块设备的活动信息 -r输出内存和交换空间的统计信息 -b显示I/O和传送速率的统计信息-R输出内存页面的统计信息 -y终端设备活动情况 -w输出系统交换活动信息 -B显示换页状态 -e设置显示报告的结束时间 -f从指定文件提取报告 -i设状态信息刷新的间隔时间 -p报告每个CPU的状态 -q平均负载分析使用语法sar [options] [-A] [-o file] [ interval [ count ] ]其中interval为采样间隔count为采样次数默认值是1 -o file表示将命令结果以二进制格式存放在文件中file 是文件名回到顶部二、统计CPU使用情况sar -u #统计CPU的使用情况每间隔1秒钟统计一次总共统计三次#sar -u 1 3[rootlgh ~]# sar -u 1 3 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 09:42:45 PM CPU %user %nice %system %iowait %steal %idle 09:42:46 PM all 0.00 0.00 0.00 0.00 0.00 100.00 09:42:47 PM all 0.03 0.00 0.03 0.00 0.00 99.94 09:42:48 PM all 0.03 0.00 0.03 0.00 0.00 99.94 Average: all 0.02 0.00 0.02 0.00 0.00 99.96[rootlgh ~]# sar -o test.txt -u 1 3 #其中-o表示以二进制的格式把结果存入到test.txt文件中不能使用catmoreless等查看 [rootlgh ~]# sar -u -f test.txt #查看该二进制结果文件 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 09:46:14 PM CPU %user %nice %system %iowait %steal %idle 09:46:15 PM all 0.00 0.00 0.00 0.00 0.00 100.00 09:46:16 PM all 0.03 0.00 0.03 0.00 0.00 99.94 09:46:17 PM all 0.00 0.00 0.03 0.00 0.00 99.97 Average: all 0.01 0.00 0.02 0.00 0.00 99.97%user #用户空间的CPU使用%nice 改变过优先级的进程的CPU使用率%system 内核空间的CPU使用率%iowait CPU等待IO的百分比%steal 虚拟机的虚拟机CPU使用的CPU%idle 空闲的CPU在以上的显示当中主要看%iowait和%idle%iowait过高表示存在I/O瓶颈即磁盘IO无法满足业务需求如果%idle过低表示CPU使用率比较严重需要结合内存使用等情况判断CPU是否瓶颈。回到顶部三、平均负载统计分析sar -q #查看平均负载其中每间隔1秒钟统计一次总共统计三次 #sar -q 1 3[rootlgh ~]# sar -q 1 3 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 09:58:39 PM runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 09:58:40 PM 0 1535 0.00 0.03 0.00 09:58:41 PM 0 1535 0.00 0.03 0.00 09:58:42 PM 0 1535 0.00 0.03 0.00 Average: 0 1535 0.00 0.03 0.00runq-sz 运行队列的长度等待运行的进程数每核的CP不能超过3个plist-sz 进程列表中的进程processes和线程数threads的数量ldavg-1 最后1分钟的CPU平均负载即将多核CPU过去一分钟的负载相加再除以核心数得出的平均值5分钟和15分钟以此类推ldavg-5 最后5分钟的CPU平均负载ldavg-15 最后15分钟的CPU平均负载回到顶部四、内存统计分析sar -r #查看内存使用情况每间隔1秒钟统计一次总共统计三次#sar -r 1 3[rootlgh ~]# sar -r 1 3 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 10:01:15 PM kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit 10:01:16 PM 233550984 30597240 11.58 758212 20745900 14822388 5.44 10:01:17 PM 233550836 30597388 11.58 758212 20745900 14822388 5.44 10:01:18 PM 233551972 30596252 11.58 758212 20745900 14822388 5.44 Average: 233551264 30596960 11.58 758212 20745900 14822388 5.44kbmemfree 空闲的物理内存大小kbmemused 使用中的物理内存大小%memused 物理内存使用率kbbuffers 内核中作为缓冲区使用的物理内存大小kbbuffers和kbcached:这两个值就是free命令中的buffer和cache.kbcached 缓存的文件大小kbcommit 保证当前系统正常运行所需要的最小内存即为了确保内存不溢出而需要的最少内存物理内存Swap分区commit 这个值是kbcommit与内存总量物理内存swap分区的一个百分比的值回到顶部五、统计swap分区sar -W #查看系统swap分区的统计信息每间隔1秒钟统计一次总共统计三次#sar -W 1 3[rootlgh ~]# sar -W 1 3 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 10:03:21 PM pswpin/s pswpout/s 10:03:22 PM 0.00 0.00 10:03:23 PM 0.00 0.00 10:03:24 PM 0.00 0.00 Average: 0.00 0.00pswpin/s 每秒从交换分区到系统的交换页面swap page数量pswpott/s 每秒从系统交换到swap的交换页面swap page的数量回到顶部六、查看磁盘IOsar -b #查看I/O和传递速率的统计信息每间隔1秒钟统计一次总共统计三次#sar -b 1 3[rootlgh ~]# sar -b 1 3 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 10:06:16 PM tps rtps wtps bread/s bwrtn/s 10:06:17 PM 30.00 0.00 30.00 0.00 240.00 10:06:18 PM 0.00 0.00 0.00 0.00 0.00 10:06:19 PM 0.00 0.00 0.00 0.00 0.00 Average: 10.00 0.00 10.00 0.00 80.00tps 磁盘每秒钟的IO总数等于iostat中的tpsrtps 每秒钟从磁盘读取的IO总数wtps 每秒钟从写入到磁盘的IO总数bread/s 每秒钟从磁盘读取的块总数bwrtn/s 每秒钟此写入到磁盘的块总数回到顶部七、查看磁盘使用情况sar -d #磁盘使用详情统计每间隔1秒钟统计一次总共统计三次#sar -d 1 3[rootlgh ~]# sar -d 1 3 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 10:08:16 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util 10:08:17 PM dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:08:17 PM dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:08:17 PM dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:08:17 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util 10:08:18 PM dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:08:18 PM dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:08:18 PM dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:08:18 PM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util 10:08:19 PM dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:08:19 PM dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:08:19 PM dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util Average: dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: dev253-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00DEV 磁盘设备的名称如果不加-p会显示dev253-0类似的设备名称因此加上-p显示的名称更直接tps每秒I/O的传输总数rd_sec/s 每秒读取的扇区的总数wr_sec/s 每秒写入的扇区的总数avgrq-sz 平均每次次磁盘I/O操作的数据大小扇区avgqu-sz 磁盘请求队列的平均长度await 从请求磁盘操作到系统完成处理每次请求的平均消耗时间包括请求队列等待时间单位是毫秒1秒等于1000毫秒等于寻道时间队列时间服务时间svctm I/O的服务处理时间即不包括请求队列中的时间%util I/O请求占用的CPU百分比值越高说明I/O越慢回到顶部八、网络使用分析sar -n #统计网络信息sar -n选项使用6个不同的开关DEVEDEVNFSNFSDSOCKIPEIPICMPEICMPTCPETCPUDPSOCK6IP6EIP6ICMP6EICMP6和UDP6 DEV显示网络接口信息EDEV显示关于网络错误的统计数据NFS统计活动的NFS客户端的信息NFSD统计NFS服务器的信息SOCK显示套接字信息ALL显示所有5个开关。它们可以单独或者一起使用。1.10.1sar -n DEV 1 1 每间隔1秒统计一次总计统计1次下面的average是在多次统计后的平均值#IFACE 本地网卡接口的名称#rxpck/s 每秒钟接受的数据包#txpck/s 每秒钟发送的数据库#rxKB/S 每秒钟接受的数据包大小单位为KB#txKB/S 每秒钟发送的数据包大小单位为KB#rxcmp/s 每秒钟接受的压缩数据包#txcmp/s 每秒钟发送的压缩包#rxmcst/s 每秒钟接收的多播数据包sar -n EDEV 1 1 #统计网络设备通信失败信息[rootlgh ~]# sar -n DEV 1 1 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 10:13:52 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s 10:13:53 PM lo 16.00 16.00 1.86 1.86 0.00 0.00 0.00 10:13:53 PM eth0 132.00 25.00 14.28 2.34 0.00 0.00 0.00 10:13:53 PM eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:13:53 PM eth2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10:13:53 PM eth3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s Average: lo 16.00 16.00 1.86 1.86 0.00 0.00 0.00 Average: eth0 132.00 25.00 14.28 2.34 0.00 0.00 0.00 Average: eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: eth2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: eth3 0.00 0.00 0.00 0.00 0.00 0.00 0.00IFACE 网卡名称rxerr/s 每秒钟接收到的损坏的数据包txerr/s 每秒钟发送的数据包错误数coll/s 当发送数据包时候每秒钟发生的冲撞collisions数这个是在半双工模式下才有rxdrop/s 当由于缓冲区满的时候网卡设备接收端每秒钟丢掉的网络包的数目txdrop/s 当由于缓冲区满的时候网络设备发送端每秒钟丢掉的网络包的数目txcarr/s 当发送数据包的时候每秒钟载波错误发生的次数rxfram 在接收数据包的时候每秒钟发生的帧对其错误的次数rxfifo 在接收数据包的时候每秒钟缓冲区溢出的错误发生的次数txfifo 在发生数据包 的时候每秒钟缓冲区溢出的错误发生的次数1.10.3sar -n SOCK 1 1 #统计socket连接信息sar -n SOCK 1 1 #统计socket连接信息totsck 当前被使用的socket总数tcpsck 当前正在被使用的TCP的socket总数udpsck 当前正在被使用的UDP的socket总数rawsck 当前正在被使用于RAW的skcket总数if-frag 当前的IP分片的数目tcp-tw TCP套接字中处于TIME-WAIT状态的连接数量########如果你使用FULL关键字相当于上述DEV、EDEV和SOCK三者的综合sar -n TCP 1 3 #TCP连接的统计active/s 新的主动连接passive/s 新的被动连接iseg/s 接受的段oseg/s 输出的段sar -n 使用总结-n DEV 网络接口统计信息。-n EDEV 网络接口错误。-n IP IP数据报统计信息。-n EIP IP错误统计信息。-n TCP TCP统计信息。-n ETCP TCP错误统计信息。-n SOCK 套接字使用。回到顶部九、进程文件状态sar -v #进程、inode、文件和锁表状态 每间隔1秒钟统计一次总共统计三次#sar -v 1 3[rootlgh ~]# sar -v 1 3 Linux 2.6.32-696.el6.x86_64 (lgh) 10/06/2019 _x86_64_ (32 CPU) 10:17:06 PM dentunusd file-nr inode-nr pty-nr 10:17:07 PM 2165205 5440 371435 1 10:17:08 PM 2165205 5440 371434 1 10:17:09 PM 2165205 5440 371434 1 Average: 2165205 5440 371434 1dentunusd 在缓冲目录条目中没有使用的条目数量file-nr 被系统使用的文件句柄数量inode-nr 已经使用的索引数量pty-nr 使用的pty数量###这里面的索引和文件句柄值不是ulimit -a查看到的值而是sysctl.conf里面定义的和内核相关的值 max-file表示系统级别的能够打开的文件句柄的数量 而ulimit -n控制进程级别能够打开的文件句柄的数量可以使用sysctl -a | grep inode和sysctl -a | grep file查看具体含义如下file-max中指定了系统范围内所有进程可打开的文件句柄的数量限制(系统级别 kernel-level)。 The value in file-max denotes the maximum number of file handles that the Linux kernel will allocate。当收到Too many open files in system这样的错误消息时 就应该曾加这个值了。# cat /proc/sys/fs/file-max 4096 # echo 100000 /proc/sys/fs/file-max 或者 # echo fs.file-max65535 /etc/sysctl.conf # sysctl -pfile -nr 可以查看系统中当前打开的文件句柄的数量。 他里面包括3个数字 第一个表示已经分配了的文件描述符数量 第二个表示空闲的文件句柄数量 第三个表示能够打开文件句柄的最大值跟file-max一致。 内核会动态的分配文件句柄 但是不会再次释放他们这个可能不适应最新的内核了 在我的file-nr中看到第二列一直为0 第一列有增有减man bash 找到说明ulimit的那一节提供对shell及其启动的进程的可用资源包括文件句柄 进程数量 core文件大小等的控制。 这是进程级别的 也就是说系统中某个session及其启动的每个进程能打开多少个文件描述符 能fork出多少个子进程等... 当达到上限时 会报错Too many open files或者遇上Socket/File: Can’t open so many files等回到顶部十、常用命令默认监控: sar 5 5 // CPU和IOWAIT统计状态 (1) sar -b 5 5 // IO传送速率 (2) sar -B 5 5 // 页交换速率 (3) sar -c 5 5 // 进程创建的速率 (4) sar -d 5 5 // 块设备的活跃信息 (5) sar -n DEV 5 5 // 网路设备的状态信息 (6) sar -n SOCK 5 5 // SOCK的使用情况 (7) sar -n ALL 5 5 // 所有的网络状态信息 (8) sar -P ALL 5 5 // 每颗CPU的使用状态信息和IOWAIT统计状态 (9) sar -q 5 5 // 队列的长度等待运行的进程数和负载的状态 (10) sar -r 5 5 // 内存和swap空间使用情况 (11) sar -R 5 5 // 内存的统计信息内存页的分配和释放、系统每秒作为BUFFER使用内存页、每秒被cache到的内存页 (12) sar -u 5 5 // CPU的使用情况和IOWAIT信息同默认监控 (13) sar -v 5 5 // inode, file and other kernel tablesd的状态信息 (14) sar -w 5 5 // 每秒上下文交换的数目 (15) sar -W 5 5 // SWAP交换的统计信息(监控状态同iostat 的si so) (16) sar -x 2906 5 5 // 显示指定进程(2906)的统计信息信息包括进程造成的错误、用户级和系统级用户CPU的占用情况、运行在哪颗CPU上 (17) sar -y 5 5 // TTY设备的活动状态 (18) 将输出到文件(-o)和读取记录信息(-f)
