常用的linux系統監控命令整理

 　　找到最耗CPU的java線程ps命令

　　命令：ps -mp pid -o THREAD,tid,time 或者 ps -Lfp pid

　　結果展示：

　　這個命令的作用，主要是可以獲取到對應一個進程下的線程的一些信息。 比如你想分析一下一個java進程的一些運行瓶頸點，可以通過該命令找到所有當前Thread的占用CPU的時間，也就是這裡的最後一列。

　　比如這裡找到了一個TID : 30834 ，所占用的TIME時間最高。

　　通過 printf "%xn" 30834 首先轉化成16進制， 繼續通過jstack命令dump出當前的jvm進程的堆棧信息。 通過Grep命令即可以查到對應16進制的線程id信息，很快就可以找到對應最耗CPU的代碼快在哪。

　　簡單的解釋下，jstack下這一串線程信息內容：

　　"DboServiceProcessor-4-thread-295" daemon prio=10 tid=0x00002aab047a9800 nid=0x7d9b waiting on condition [0x0000000046f66000]

　　nid : 對應的linux操作系統下的tid，就是前面轉化的16進制數字

　　tid: 這個應該是jvm的jmm內存規范中的唯一地址定位，如果你詳細分析jvm的一些內存數據時用得上，我自己還沒到那種程度，所以先放下

　　top命令

　　命令：top -Hp pid

　　結果顯示：

　　和前面的效果一下，你可以實時的跟蹤並獲取指定進程中最耗cpu的線程。 再用前面的方法提取到對應的線程堆棧信息。

　　判斷I/O瓶頸

　　mpstat命令

　　命令：mpstat -P ALL 1 1000

　　結果顯示：

　　注意一下這裡面的%iowait列，CPU等待I/O操作所花費的時間。這個值持續很高通常可能是I/O瓶頸所導致的。

　　通過這個參數可以比較直觀的看出當前的I/O操作是否存在瓶頸

　　iostat命令

　　命令: iostat -m -x 1 1000

　　同樣你可以觀察對應的CPU中的%iowait數據，除此之外iostat還提供了一些更詳細的I/O狀態數據，比如比較重要的有：

　　avgqu-sz : The average queue length of the requests that were issued to the device. (磁盤隊列的請求長度，正常的話2,3比較好。可以和cpu的load一樣的理解)

　　await : The average time (in milliseconds) for I/O requests issued to the device to be served. (代表一個I/O操作從wait到完成的總時間)

　　svctm和%util都是代表處理該I/O請求花費的時間和CPU的時間比例。 判斷是否瓶頸時，這兩個參數不是主要的

　　r/s w/s 和 rMB/s wMB/s 都是代表當前系統處理的I/O的一些狀態，前者是我們常說的tps，後者就是吞吐量。這也是評價一個系統的性能指標

　　pid命令

　　命令: pidstat -p pid -u -d -t -w -h 1 1000

　　結果顯示：

　　相當實用的一個命令，可以基於當個進程分析對應的性能數據，包括CPU,I/O,IR , CS等，可以方便開發者更加精細化的觀察系統的運行狀態。不過pidstat貌似是在2.6內核的一些較新的版本才有，需要安裝sysstat包。

　　ubuntu下，可以通過sudo apt-get install sysstat進行安裝。

　　sar命令

　　命令：sar -x pid 1 1000

　　sar也可以指定對應的pid，關注固定的幾個參數，沒有pidstat那麼強大。 看不到對應的I/O, IR等信息。

　　sar的功能可以覆蓋mpstat , iostat的相關功能。

　　dstat命令

　　命令：dstat -y --tcp 1 1000

　　通過dstat --tcp可以比較方便的看到當前的tcp的各種狀態，不需要每次netstat -nat去看

　　其他命令

　　netstat -natp : 查看對應的網絡鏈接，關注下Recv-Q , Send-Q , State。

　　lsof -p pid : 查找對應pid的文件句柄

　　lsof -i : 80 : 查找對應端口被哪個進程占用

　　lsof /tmp/1.txt ：查找對應文件被哪個進程占用

　　tcpdump / wireshark ：抓包分析工具

　　jstat / jmap / jstack / jps 等一系列的java監控命令

　　最後

　　如果你想做一些性能調優的工作，一定要善於利用一些工具進行關注相應的狀態。通過linux命令你可以比較方便的觀測到CPU , I/O , network等一些比較外圍的狀態， 很多時候就已經可以解決大部分的問題。jvm內部的一些運行狀態監控，得需要借助一些特有的工具進行細粒度的觀測。