Linux系統下用戶進程死循環問題解決方法

　　在進行Linux系統操作的時候，有時候會遇到一次用戶態進程死循環，即系統反應遲鈍、進程掛死等問題，那麼遇到這些問題又該如何解決呢?下面小編就給大家介紹下一次用戶態進程死循環的問題該如何處理。

　　1、問題現象

　　業務進程(用戶態多線程程序)掛死，操作系統反應遲鈍，系統日志沒有任何異常。從進程的內核態堆棧看，看似所有線程都卡在了內核態的如下堆棧流程中：

　　[root@vmc116 ~]# cat /proc/27007/task/11825/stack

　　[《ffffffff8100baf6》] retint_careful+0x14/0x32

　　[《ffffffffffffffff》] 0xffffffffffffffff

　　2、問題分析

　　1)內核堆棧分析

　　從內核堆棧看，所有進程都阻塞在 retint_careful上，這個是中斷返回過程中的流程，代碼(匯編)如下：

　　entry_64.S

　　代碼如下：

　　ret_from_intr：

　　DISABLE_INTERRUPTS(CLBR_NONE)

　　TRACE_IRQS_OFF

　　decl PER_CPU_VAR(irq_count)

　　/* Restore saved previous stack */

　　popq %rsi

　　CFI_DEF_CFA rsi，SS+8-RBP /* reg/off reset after def_cfa_expr */

　　leaq ARGOFFSET-RBP(%rsi)， %rsp

　　CFI_DEF_CFA_REGISTER rsp

　　CFI_ADJUST_CFA_OFFSET RBP-ARGOFFSET

　　。。。

　　retint_careful：

　　CFI_RESTORE_STATE

　　bt $TIF_NEED_RESCHED，%edx

　　jnc retint_signal

　　TRACE_IRQS_ON

　　ENABLE_INTERRUPTS(CLBR_NONE)

　　pushq_cfi %rdi

　　SCHEDULE_USER

　　popq_cfi %rdi

　　GET_THREAD_INFO(%rcx)

　　DISABLE_INTERRUPTS(CLBR_NONE)

　　TRACE_IRQS_OFF

　　jmp retint_check

　　這其實是用戶態進程在用戶態被中斷打斷後，從中斷返回的流程，結合retint_careful+0x14/0x32，進行反匯編，可以確認阻塞的點其實就在

　　SCHEDULE_USER

　　這其實就是調用schedule()進行調度，也就是說當進程走到中斷返回的流程中時，發現需要調度(設置了TIF_NEED_RESCHED)，於是在這裡發生了調度。

　　有一個疑問：為什麼在堆棧中看不到schedule()這一級的棧幀呢?

　　因為這裡是匯編直接調用的，沒有進行相關棧幀壓棧和上下文保存操作。

　　2)進行狀態信息分析

　　從top命令結果看，相關線程實際一直處於R狀態，CPU幾乎完全耗盡，而且絕大部分都消耗在用戶態：

　　[root@vmc116 ~]# top

　　top - 09:42:23 up 16 days， 2:21， 23 users， load average： 84.08， 84.30， 83.62

　　Tasks： 1037 total， 85 running， 952 sleeping， 0 stopped， 0 zombie

　　Cpu(s)： 97.6%us， 2.2%sy， 0.2%ni， 0.0%id， 0.0%wa， 0.0%hi， 0.0%si， 0.0%st

　　Mem： 32878852k total， 32315464k used， 563388k free， 374152k buffers

　　Swap： 35110904k total， 38644k used， 35072260k free， 28852536k cached

　　PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

　　27074 root 20 0 5316m 163m 14m R 10.2 0.5 321:06.17 z_itask_templat

　　27084 root 20 0 5316m 163m 14m R 10.2 0.5 296:23.37 z_itask_templat

　　27085 root 20 0 5316m 163m 14m R 10.2 0.5 337:57.26 z_itask_templat

　　27095 root 20 0 5316m 163m 14m R 10.2 0.5 327:31.93 z_itask_templat

　　27102 root 20 0 5316m 163m 14m R 10.2 0.5 306:49.44 z_itask_templat

　　27113 root 20 0 5316m 163m 14m R 10.2 0.5 310:47.41 z_itask_templat

　　25730 root 20 0 5316m 163m 14m R 10.2 0.5 283:03.37 z_itask_templat

　　30069 root 20 0 5316m 163m 14m R 10.2 0.5 283:49.67 z_itask_templat

　　13938 root 20 0 5316m 163m 14m R 10.2 0.5 261:24.46 z_itask_templat

　　16326 root 20 0 5316m 163m 14m R 10.2 0.5 150:24.53 z_itask_templat

　　6795 root 20 0 5316m 163m 14m R 10.2 0.5 100:26.77 z_itask_templat

　　27063 root 20 0 5316m 163m 14m R 9.9 0.5 337:18.77 z_itask_templat

　　27065 root 20 0 5316m 163m 14m R 9.9 0.5 314:24.17 z_itask_templat

　　27068 root 20 0 5316m 163m 14m R 9.9 0.5 336:32.78 z_itask_templat

　　27069 root 20 0 5316m 163m 14m R 9.9 0.5 338:55.08 z_itask_templat

　　27072 root 20 0 5316m 163m 14m R 9.9 0.5 306:46.08 z_itask_templat

　　27075 root 20 0 5316m 163m 14m R 9.9 0.5 316:49.51 z_itask_templat

 

　　。。。