查看Linux文件占用進程寫數(shù)據(jù)
背景
centos7 在某一段時間監(jiān)控報警磁盤使用率達99%，由于監(jiān)控屬于概要形式信息，沒有快照信息的監(jiān)控(能發(fā)現(xiàn)某進程的I/O，CPU消耗情況)，所以需要在服務(wù)器上去定時執(zhí)行統(tǒng)計命令獲取快照信息。 需要通過iostat -dx -k去查看avgqu-sz、await、svctm、%util; sar -u查看%iowait、%user; pidstat -d 查看進程I/O讀寫的快照信息
步驟
-
生成統(tǒng)計信息文件
cat>/tmp/at_task.sh</tmp/pidstat_`date +%F_%T`.log 2>& 1 &
sar -u 2 >/tmp/sar_`date +%F_%T`.log 2>& 1 &
while [ 1 ];do echo -n `date +%T` >>/tmp/iostat_`date +%F` 2>& 1 && iostat -dx -k 1 1 >>/tmp/iostat_`date +%F` 2>& 1; sleep 2; done &
EOF
在while循環(huán)中使用iostat的原因是要輸出
date +%T時間，不然只有數(shù)據(jù)，沒有時間信息也沒有什么用
-
使用at 命令定時執(zhí)行
at 15:14 today -f /tmp/at_task.sh
出現(xiàn)錯誤
Can't open /var/run/atd.pid to signal atd. No atd running?
重啟atd服務(wù)
service atd restart
重新開啟at定時任務(wù)
at 15:14 today -f /tmp/at_task.sh
job 2 at Wed Mar 13 1500 2019
得到如下快照信息
iostat
1535Linux 3.10.0-862.14.4.el7.x86_64 (ip-xxxxx) 03/13/2019 _x86_64_ (4 CPU)
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vda 0.12 0.07 17.31 19.41 580.79 90.52 36.57 0.09 2.39 4.42 0.57 0.72 2.63
scd0 0.00 0.00 0.00 0.00 0.00 0.00 6.00 0.00 0.28 0.28 0.00 0.25 0.00
sar
0300 PM CPU %user %nice %system %iowait %steal %idle
0302 PM all 0.25 0.00 0.38 0.00 0.00 99.37
0304 PM all 1.25 0.13 0.63 0.00 0.00 97.99
0306 PM all 0.25 0.13 0.50 0.00 0.00 99.12
0308 PM all 0.50 0.00 0.50 0.63 0.00 98.37
pidstat
0300 PM UID PID kB_rd/s kB_wr/s kB_ccwr/s Command
0302 PM 5700 9089 0.00 6.00 0.00 uxxx
0302 PM 5700 9140 0.00 6.00 0.00 uxxx
0302 PM 5700 9292 0.00 10.00 0.00 uxxx
0302 PM 0 18084 0.00 2.00 0.00 bash
kill 掉收集信息的命令
ps -ef | egrep 'iostat|sar|pidstat|while' | grep -v grep | awk '{print $2}' | xargs -l kill
但ps -ef | egrep 命令沒有獲取到while循環(huán)的pid，不kill掉該while循環(huán)，就會一直對/tmp/iostat_2019-03-13寫數(shù)據(jù)-_-
通過lsof 沒有定位到打開文件的進程
lsof /tmp/iostat_2019-03-13
[root@ip-10-186-60-117 ~]#
[root@ip-10-186-60-117 ~]#
通過lsof 可以定位到打開mysql-error.log的進程
lsof /opt/mysql/data/5690/mysql-error.log
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
mysqld 12858 actiontech-universe 1w REG 253,1 6345 20083533 /opt/mysql/data/5690/mysql-error.log
mysqld 12858 actiontech-universe 2w REG 253,1 6345 20083533 /opt/mysql/data/5690/mysql-error.log
可見，某進程只有一只持有某文件的inode，才可以通過lsof查看文件在被那些進程使用
獲取寫文件的進程號
安裝sysemtap
yum -y install systemtap
SystemTap 是對 Linux 內(nèi)核監(jiān)控和跟蹤的工具
利用systemtap中的inodewatch.stp工具來查找寫文件的進程號
得到文件的inode
stat -c '%i' /tmp/iostat_2019-03-13
4210339
獲取文件所在設(shè)備的major，minor
ls -al /dev/vda1
brw-rw---- 1 root disk 253, 1 Jan 30 13:57 /dev/vda1
得到寫文件的pid
stap /usr/share/systemtap/examples/io/inodewatch.stp 253 1 4210339
Checking "/lib/modules/3.10.0-862.14.4.el7.x86_64/build/.config" failed with error: No such file or directory
Incorrect version or missing kernel-devel package, use: yum install kernel-devel-3.10.0-862.14.4.el7.x86_64
根據(jù)系統(tǒng)內(nèi)核版本在kernel-devel rpm build for :ScientificLinux7網(wǎng)站上下載相應(yīng)的kernal-devel包
wget ftp://ftp.pbone.net/mirror/ftp.scientificlinux.org/linux/scientific/7.2/x86_64/updates/security/kernel-devel-3.10.0-862.14.4.el7.x86_64.rpm
rpm -ivh kernel-devel-3.10.0-862.14.4.el7.x86_64.rpm
再次執(zhí)行stap
stap /usr/share/systemtap/examples/io/inodewatch.stp 253 1 4210339
......
Missing separate debuginfos, use: debuginfo-install kernel-3.10.0-862.14.4.el7.x86_64
Pass 2: analysis failed. [man error::pass2]
Number of similar error messages suppressed: 2.
安裝debuginfo kernal
debuginfo-install kernel-3.10.0-862.14.4.el7.x86_64
Verifying : kernel-debuginfo-common-x86_64-3.10.0-862.14.4.el7.x86_64 1/3
Verifying : yum-plugin-auto-update-debug-info-1.1.31-50.el7.noarch 2/3
Verifying : kernel-debuginfo-3.10.0-862.14.4.el7.x86_64 3/3
Installed:
kernel-debuginfo.x86_64 0:3.10.0-862.14.4.el7
yum-plugin-auto-update-debug-info.noarch 0:1.1.31-50.el7
Dependency Installed:
kernel-debuginfo-common-x86_64.x86_64 0:3.10.0-862.14.4.el7
再次執(zhí)行stap
stap /usr/share/systemtap/examples/io/inodewatch.stp 253 1 4210339
ERROR: module version mismatch (#1 SMP Tue Sep 25 1452 CDT 2018 vs #1 SMP Wed Sep 26 1511 UTC 2018), release 3.10.0-862.14.4.el7.x86_64
WARNING: /usr/bin/staprun exited with status: 1
添加 -v查看詳細報錯
stap -v /usr/share/systemtap/examples/io/inodewatch.stp 253 1 4210339
Pass 1: parsed user script and 471 library scripts using 240276virt/41896res/3368shr/38600data kb, in 300usr/20sys/320real ms.
Pass 2: analyzed script: 2 probes, 12 functions, 8 embeds, 0 globals using 399436virt/196284res/4744shr/197760data kb, in 1540usr/560sys/2106real ms.
Pass 3: using cached /root/.systemtap/cache/f5/stap_f5c0cd780e8a2cac973c9e3ee69fba0c_7030.c
Pass 4: using cached /root/.systemtap/cache/f5/stap_f5c0cd780e8a2cac973c9e3ee69fba0c_7030.ko
Pass 5: starting run.
ERROR: module version mismatch (#1 SMP Tue Sep 25 1452 CDT 2018 vs #1 SMP Wed Sep 26 1511 UTC 2018), release 3.10.0-862.14.4.el7.x86_64
WARNING: /usr/bin/staprun exited with status: 1
Pass 5: run completed in 0usr/10sys/38real ms.
Pass 5: run failed. [man error::pass5]
修改
vim /usr/src/kernels/3.10.0-862.14.4.el7.x86_64/include/generated/compile.h
#define UTS_VERSION "#1 SMP Tue Sep 25 1452 CDT 2018"
改為
#define UTS_VERSION "#1 SMP Wed Sep 26 1511 UTC 2018"
rm -rf /root/.systemtap/cache/f5/stap_f5c0cd780e8a2cac973c9e3ee69fba0c_7030*
再次執(zhí)行
stap /usr/share/systemtap/examples/io/inodewatch.stp 253 1 4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4671) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4677) vfs_write 0xfd00001/4210339
iostat(4683) vfs_write 0xfd00001/4210339
............
可見已經(jīng)得到了寫/tmp/iostat_date +%F文件的進程號，但進程號一直在打印出來，因為后臺進程iostat -dx -m 的在while循環(huán)中的，每隔sleep 2s 后就會執(zhí)行一次iostat 產(chǎn)生新的pid。
那要怎樣才能讓iostat -dx -m 停止寫/tmp/iostat_date +%F文件了？除了重啟大法好 $_$
rm -rf 也不能終止后臺的while iostat進程寫文件，刪除了文件后，while循環(huán)又會生成新的文件
rm -rf /tmp/iostat_2019-03-1*
stat /tmp/iostat_2019-03-1*
File: ‘/tmp/iostat_2019-03-13’
Size: 146700 Blocks: 512 IO Block: 4096 regular file
Device: fd01h/64769dInode: 4210339 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2019-03-14 1626.211888899 +0800
Modify: 2019-03-14 1617.854019793 +0800
Change: 2019-03-14 1617.854019793 +0800
正確做法
cat>/tmp/iostat.sh<while [ 1 ];do echo -n `date +%T` >>/tmp/iostat_`date +%F` 2>& 1 && iostat -dx -m 1 1 >>/tmp/iostat_`date +%F` 2>& 1; sleep 2; done &
EOF
at now + 1 minute today
bash /tmp/iostat.sh
#這樣就能方便的獲取到進程號pid了
ps -ef | grep iostat
root 8593 1 0 16:16 pts/2 0000 bash /tmp/iostat.sh
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
Linux
+關(guān)注
關(guān)注
87文章
11511瀏覽量
213842 -
服務(wù)器
+關(guān)注
關(guān)注
13文章
9795瀏覽量
88002
原文標題：查看 Linux 文件占用進程寫數(shù)據(jù)？
文章出處：【微信號：良許Linux，微信公眾號：良許Linux】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
Linux系統(tǒng)查看及修改設(shè)備型號信息，觸覺智能RK3562開發(fā)板演示
本文介紹Linux系統(tǒng)如何查看及修改設(shè)備型號信息的方法，適用于想查看設(shè)備型號信息或者想將設(shè)備型號信息修改為自己項目的名稱的情況。觸覺智能RK3562開發(fā)板演示。查看設(shè)備信息命令如下：c
Linux系統(tǒng)進程管理入門指南
在 Linux 系統(tǒng)中，進程是正在運行的程序的實例。理解進程的管理、查看和控制對于系統(tǒng)管理員和開發(fā)者來說非常重要
linux服務(wù)器挖礦病毒處理方案
情況說明：挖礦進程被隱藏（CPU占用50%，htop/top卻看不到異常進程），結(jié)束挖礦進程后馬上又會運行起來（crontab -l查看發(fā)現(xiàn)
Linux固件燒寫中的陷阱：文件系統(tǒng)異步寫入引發(fā)的問題
在工業(yè)生產(chǎn)中，固件燒寫是確保產(chǎn)品正常運行的關(guān)鍵環(huán)節(jié)。本文通過一個實際案例，揭示了Linux系統(tǒng)下因文件寫入異步性導致的固件燒寫不完全問題?？蛻舭咐蛻舢a(chǎn)線上批量生產(chǎn)時，用SD卡進行固件
Linux實時查看日志的四種命令詳解
如何在Linux中實時查看日志文件的內(nèi)容？那么有很多實用程序可以幫助用戶在文件更改或不斷更新時輸出文件的內(nèi)容。在
深入解析Linux程序與進程
什么是程序 一組計算機能識別和執(zhí)行的指令，用于指導計算機執(zhí)行特定任務(wù)或解決特定問題。程序通常由代碼、數(shù)據(jù)和資源文件組成，涉及語法、算法和數(shù)據(jù)結(jié)構(gòu)。為二進制文件 什么是
Linux文件查找
Linux文件查找 1.find查找概述 為什么要有文件查找，因為很多時候我們可能會忘了某個文件所在的位置，此時就需要通過find來查找。 find命令可以根據(jù)不同的條件來進行查找
使用lsof實現(xiàn)對linux文件的誤刪除恢復練習
lsof命令的幫助，恢復該日志數(shù)據(jù) 確保當前nginx進程運行中 [root@master10 ~]# systemctl status nginx 查看nginx日志文件 [root
Linux lsof命令的基本用法
在 linux 系統(tǒng)中，一切皆文件。通過文件不僅僅可以訪問常規(guī)數(shù)據(jù)，還可以訪問網(wǎng)絡(luò)連接和硬件。所以 lsof 命令不僅可以查看
Linux用戶身份與進程權(quán)限詳解
在學習 Linux 系統(tǒng)權(quán)限相關(guān)的主題時，我們首先關(guān)注的基本都是文件的 ugo 權(quán)限。ugo 權(quán)限信息是文件的屬性，它指明了用戶與文件之間的關(guān)系。但是真正操作
Linux根文件系統(tǒng)的掛載過程
Linux根文件系統(tǒng)（rootfs）是Linux系統(tǒng)中所有其他文件系統(tǒng)和目錄的起點，它是內(nèi)核啟動時掛載的第一個文件系統(tǒng)。
Linux服務(wù)器性能查看方法
Linux服務(wù)器性能查看是系統(tǒng)管理員和開發(fā)人員在日常工作中經(jīng)常需要進行的任務(wù)，以確保系統(tǒng)穩(wěn)定運行并優(yōu)化資源使用。以下將詳細介紹多種Linux服務(wù)器性能查看的方法，這些方法涵蓋了CPU、
深入探討Linux的進程調(diào)度器
Linux操作系統(tǒng)作為一個開源且廣泛應(yīng)用的操作系統(tǒng)，其內(nèi)核設(shè)計包含了許多核心功能，而進程調(diào)度器（Scheduler）就是其中一個至關(guān)重要的模塊。進程調(diào)度器負責決定在任何給定的時刻哪個進程
在Linux中查看IP地址的方法
ifconfig是一個網(wǎng)絡(luò)管理工具，用于配置、控制和查詢網(wǎng)絡(luò)接口。在許多舊的Linux發(fā)行版中，ifconfig是查看和配置網(wǎng)絡(luò)接口的主要工具。
工商網(wǎng)監(jiān)
評論