Linux 常用監(jiān)控指標(biāo)有哪些

1、Linux 運(yùn)維基礎(chǔ)采集項(xiàng)

做運(yùn)維，不怕出問(wèn)題，怕的是出了問(wèn)題，抓不到現(xiàn)場(chǎng)，兩眼摸黑。所以，依靠強(qiáng)大的監(jiān)控系統(tǒng)，收集盡可能多的指標(biāo)，意義重大。但哪些指標(biāo)才是有意義的呢，本著從實(shí)踐中來(lái)的思想，各位工程師在長(zhǎng)期摸爬滾打中總結(jié)出來(lái)的經(jīng)驗(yàn)最有價(jià)值。

在各位運(yùn)維工程師長(zhǎng)期的工作實(shí)踐中，我們總結(jié)了在系統(tǒng)運(yùn)維過(guò)程中，經(jīng)常會(huì)參考的一些指標(biāo)，主要包括以下幾個(gè)類(lèi)別：

• CPU
• Load
• 內(nèi)存
• 磁盤(pán)
• IO
• 網(wǎng)絡(luò)相關(guān)
• 內(nèi)核參數(shù)
• ss 統(tǒng)計(jì)輸出
• 端口采集
• 核心服務(wù)的進(jìn)程存活信息采集
• 關(guān)鍵業(yè)務(wù)進(jìn)程資源消耗
• NTP offset采集
• DNS解析采集

2、CPU相關(guān)采集項(xiàng)

計(jì)算方法：通過(guò)采集 /proc/stat 來(lái)得到，大家可以參考 sar 命令的統(tǒng)計(jì)輸出來(lái)理解。

• cpu.idle：Percentage of time that the CPU or CPUs were idle and the system did not have an outstanding disk I/O request.
• cpu.busy：與cpu.idle相對(duì)，他的值等于100減去cpu.idle。
• cpu.guest：Percentage of time spent by the CPU or CPUs to run a virtual processor.
• cpu.iowait：Percentage of time that the CPU or CPUs were idle during which the system had an outstanding disk I/O request.
• cpu.irq：Percentage of time spent by the CPU or CPUs to service hardware interrupts.
• cpu.softirq：Percentage of time spent by the CPU or CPUs to service software interrupts.
• cpu.nice：Percentage of CPU utilization that occurred while executing at the user level with nice priority.
• cpu.steal：Percentage of time spent in involuntary wait by the virtual CPU or CPUs while the hypervisor was servicing another virtual processor.
• cpu.system：Percentage of CPU utilization that occurred while executing at the system level (kernel).
• cpu.user：Percentage of CPU utilization that occurred while executing at the user level (application).
• cpu.cnt：cpu核數(shù)。
• cpu.switches：cpu上下文切換次數(shù)，計(jì)數(shù)器類(lèi)型。

3、磁盤(pán)相關(guān)采集項(xiàng)

計(jì)算方法：先讀取 /proc/mounts 拿到所有掛載點(diǎn)，然后通過(guò) syscall.Statfs_t 拿到 blocks 和 inode 的使用情況。每個(gè) metric 都會(huì)附加一組 tag 描述，類(lèi)似 mount=$mount,fstype=$fstype，其中 $mount 是掛載點(diǎn)，比如 /home，$fstype 是文件系統(tǒng)，比如 ext4。

• df.bytes.free：磁盤(pán)可用量，int64
• df.bytes.free.percent：磁盤(pán)可用量占總量的百分比，float64，比如32.1
• df.bytes.total：磁盤(pán)總大小，int64
• df.bytes.used：磁盤(pán)已用大小，int64
• df.bytes.used.percent：磁盤(pán)已用大小占總量的百分比，float64
• df.inodes.total：inode總數(shù)，int64
• df.inodes.free：可用inode數(shù)目，int64
• df.inodes.free.percent：可用inode占比，float64
• df.inodes.used：已用的inode數(shù)據(jù)，int64
• df.inodes.used.percent：已用inode占比，float64

4、megacli 工具輸出

使用 megacli 工具讀取 RAID 相關(guān)信息，每個(gè) metric 都會(huì)附件一組 tag 描述，用來(lái)標(biāo)明所屬 PD 或者 VD，PD 格式為 PD=Enclosure_ID:SLOT_ID，比如 PD=32:0 表明第一塊磁盤(pán) ，VD=0 表明第一個(gè)邏輯磁盤(pán)。

• sys.disk.lsiraid.pd.Media_Error_Count：這個(gè)及以下三個(gè)指標(biāo)目前僅作為數(shù)據(jù)收集，不一定意味磁盤(pán)損壞（只是表示損壞概率變大）
• sys.disk.lsiraid.pd.Other_Error_Count
• sys.disk.lsiraid.pd.Predictive_Failure_Count
• sys.disk.lsiraid.pd.Drive_Temperature
• sys.disk.lsiraid.pd.Firmware_state：如果值不為0，則此物理磁盤(pán)出現(xiàn)問(wèn)題
• sys.disk.lsiraid.vd.cache_policy：如果值不為0，表示此邏輯磁盤(pán)緩存策略和設(shè)置不符
• sys.disk.lsiraid.vd.state：如果值不為0，表示此邏輯磁盤(pán)出現(xiàn)問(wèn)題

5、SMART 工具輸出

使用 smartctl 工具讀取磁盤(pán) SMART 信息，目前所有指標(biāo)僅作為數(shù)據(jù)收集，不一定意味磁盤(pán)損壞（只是表示概率變大），每個(gè) metric 都會(huì)有一組 tag 描述，表明盤(pán)符，例如 device=/dev/sda。

• sys.disk.smart.Reallocated_Sector_Ct
• sys.disk.smart.Spin_Retry_Count
• sys.disk.smart.Reallocated_Event_Count
• sys.disk.smart.Current_Pending_Sector
• sys.disk.smart.Offline_Uncorrectable
• sys.disk.smart.Temperature_Celsius

6、分區(qū)讀寫(xiě)監(jiān)控

測(cè)試所有已掛載分區(qū)是否可讀寫(xiě)，每個(gè) metric 都會(huì)有一組 tag 描述，表示掛載點(diǎn)，比如 mount=/home

• sys.disk.rw：如果值不為0，表明此分區(qū)讀寫(xiě)出現(xiàn)問(wèn)題

7、IO相關(guān)采集項(xiàng)

計(jì)算方法：每秒采集一次 /proc/diskstats，計(jì)算差值，都是計(jì)數(shù)器類(lèi)型的。每個(gè) metric 都會(huì)有一組 tag 描述，形如 device=$device，用來(lái)表示具體的設(shè)備，比如 sda1、sdb。用戶(hù)可以參考 iostat 的幫助文檔來(lái)理解具體的 metric 含義。

• disk.io.ios_in_progress：Number of actual I/O requests currently in flight.
• disk.io.msec_read：Total number of ms spent by all reads.
• disk.io.msec_total：Amount of time during which ios_in_progress >= 1.
• disk.io.msec_weighted_total：Measure of recent I/O completion time and backlog.
• disk.io.msec_write：Total number of ms spent by all writes.
• disk.io.read_merged：Adjacent read requests merged in a single req.
• disk.io.read_requests：Total number of reads completed successfully.
• disk.io.read_sectors：Total number of sectors read successfully.
• disk.io.write_merged：Adjacent write requests merged in a single req.
• disk.io.write_requests：total number of writes completed successfully.
• disk.io.write_sectors：total number of sectors written successfully.
• disk.io.read_bytes：?jiǎn)挝皇莃yte的數(shù)字
• disk.io.write_bytes：?jiǎn)挝皇莃yte的數(shù)字
• disk.io.avgrq_sz：下面幾個(gè)值就是iostat -x 1看到的值
• disk.io.avgqu-sz
• disk.io.await
• disk.io.svctm
• disk.io.util：是個(gè)百分?jǐn)?shù)，比如56.43，表示56.43%

8、機(jī)器負(fù)載相關(guān)采集項(xiàng)

計(jì)算方法：讀取/proc/loadavg，都是原始值類(lèi)型的：

• load.1min
• load.5min
• load.15min

9、內(nèi)存相關(guān)采集項(xiàng)

計(jì)算方法：讀取/proc/meminfo 中的內(nèi)容，其中的mem.memfree是free+buffers+cached，mem.memused=mem.memtotal-mem.memfree。用戶(hù)具體可以參考free命令的輸出和幫助文檔來(lái)理解每個(gè)metric的含義。

• mem.memtotal：內(nèi)存總大小
• mem.memused：使用了多少內(nèi)存
• mem.memused.percent：使用的內(nèi)存占比
• mem.memfree
• mem.memfree.percent
• mem.swaptotal：swap總大小
• mem.swapused：使用了多少swap
• mem.swapused.percent：使用的swap的占比
• mem.swapfree
• mem.swapfree.percent

10、網(wǎng)絡(luò)相關(guān)采集項(xiàng)

計(jì)算方法：讀取 /proc/net/dev 的內(nèi)容，每個(gè) metric 都附加有一組 tag，形如 iface=$iface，標(biāo)明具體那個(gè) interface，比如 eth0。metric 中帶有 in 的表示流入情況，out 表示流出情況，total 是總量 in+out，支持的 metric 如下：

• net.if.in.bytes
• net.if.in.compressed
• net.if.in.dropped
• net.if.in.errors
• net.if.in.fifo.errs
• net.if.in.frame.errs
• net.if.in.multicast
• net.if.in.packets
• net.if.out.bytes //網(wǎng)卡每秒向外傳輸?shù)臄?shù)據(jù)量
• net.if.out.carrier.errs
• net.if.out.collisions
• net.if.out.compressed
• net.if.out.dropped
• net.if.out.errors
• net.if.out.fifo.errs
• net.if.out.packets
• net.if.total.bytes //網(wǎng)卡每秒發(fā)送和接收的數(shù)據(jù)量
• net.if.total.dropped
• net.if.total.errors
• net.if.total.packets

11、端口采集項(xiàng)

計(jì)算方法，通過(guò)ss -ln，來(lái)判斷指定的端口是否處于listen狀態(tài)。原始值類(lèi)型，值要么是1：代表在監(jiān)聽(tīng)，要么是0，代表沒(méi)有在監(jiān)聽(tīng)。每個(gè)metric都附件一組tag，形如 port=$port，$port就是具體的端口。

• net.port.listen

12、機(jī)器內(nèi)核配置

• kernel.maxfiles：讀取的/proc/sys/fs/file-max
• kernel.files.allocated：讀取的/proc/sys/fs/file-nr第一個(gè)Field
• kernel.files.left：值=kernel.maxfiles-kernel.files.allocated
• kernel.maxproc：讀取的/proc/sys/kernel/pid_max

13、ntp采集項(xiàng)

使用 ntpq -pn 獲取本機(jī)時(shí)間相對(duì)于 ntp 服務(wù)器的 offset。

• sys.ntp.offset：本機(jī)偏移時(shí)間，單位為ms，值過(guò)大或者為0則表明有異常，需要報(bào)警

14、進(jìn)程監(jiān)控

• proc.num：判斷某個(gè)進(jìn)程的數(shù)目，這里需要分兩個(gè)場(chǎng)景，一種是根據(jù)進(jìn)程的名字來(lái)判定，比如name=sshd；另外一種是根據(jù)cmdline來(lái)判定，比如Java的應(yīng)用進(jìn)程名可能都是java，根據(jù)第一種情況沒(méi)法做區(qū)分，此時(shí)可以配置cmdline，如cmdline=./falcon_agent-c./cfg.ini

15、進(jìn)程資源監(jiān)控

• process.cpu.all：進(jìn)程和它的子進(jìn)程使用的sys+user的cpu，單位是jiffies
• process.cpu.sys：進(jìn)程和它的子進(jìn)程使用的sys cpu，單位是jiffies
• process.cpu.user：進(jìn)程和它的子進(jìn)程使用的user cpu，單位是jiffies
• process.swap：進(jìn)程和它的子進(jìn)程使用的swap，單位是page
• process.fd：進(jìn)程使用的文件描述符個(gè)數(shù)
• process.mem：進(jìn)程占用內(nèi)存，單位byte

16. ss命令輸出

• ss.orphaned
• ss.closed
• ss.timewait
• ss.slabinfo.timewait
• ss.synrecv
• ss.estab