Linux內核調試器內幕1

Hariprasad Nellitheertha（nharipra@in.ibm.com）
軟件工程師，IBM
2003 年 9 月
調試內核問(wèn)題時(shí)，能夠跟蹤內核執行情況并查看其內存和數據結構是非常有用的。Linux 中的內置內核調試器 KDB 提供了這種功能。在本文中您將了解如何使用 KDB 所提供的功能，以及如何在 Linux 機器上安裝和設置 KDB。您還將熟悉 KDB 中可以使用的命令以及設置和顯示選項。
Linux 內核調試器（KDB）允許您調試 Linux 內核。這個(gè)恰如其名的工具實(shí)質(zhì)上是內核代碼的補丁，它允許高手訪(fǎng)問(wèn)內核內存和數據結構。KDB 的主要優(yōu)點(diǎn)之一就是它不需要用另一臺機器進(jìn)行調試：您可以調試正在運行的內核。
設置一臺用于 KDB 的機器需要花費一些工作，因為需要給內核打補丁并進(jìn)行重新編譯。KDB 的用戶(hù)應當熟悉 Linux 內核的編譯（在一定程度上還要熟悉內核內部機理），但是如果您需要編譯內核方面的幫助，請參閱本文結尾處的參考資料一節。
在本文中，我們將從有關(guān)下載 KDB 補丁、打補丁、（重新）編譯內核以及啟動(dòng) KDB 方面的信息著(zhù)手。然后我們將了解 KDB 命令并研究一些較常用的命令。最后，我們將研究一下有關(guān)設置和顯示選項方面的一些詳細信息。
入門(mén)
KDB 項目是由 Silicon Graphics 維護的（請參閱參考資料以獲取鏈接），您需要從它的 FTP 站點(diǎn)下載與內核版本有關(guān)的補丁。（在編寫(xiě)本文時(shí)）可用的最新 KDB 版本是 4.2。您將需要下載并應用兩個(gè)補丁。一個(gè)是“公共的”補丁，包含了對通用內核代碼的更改，另一個(gè)是特定于體系結構的補丁。補丁可作為 bz2 文件獲取。例如，在運行 2.4.20 內核的 x86 機器上，您會(huì )需要 kdb-v4.2-2.4.20- common-1.bz2 和 kdb-v4.2-2.4.20-i386-1.bz2。
這里所提供的所有示例都是針對 i386 體系結構和 2.4.20 內核的。您將需要根據您的機器和內核版本進(jìn)行適當的更改。您還需要擁有 root 許可權以執行這些操作。
將文件復制到 /usr/src/linux 目錄中并從用 bzip2 壓縮的文件解壓縮補丁文件：
[code:1:6ddc15f4ad]#bzip2 -d kdb-v4.2-2.4.20-common-1.bz2

#bzip2 -d kdb-v4.2-2.4.20-i386-1.bz2 [/code:1:6ddc15f4ad]
您將獲得 kdb-v4.2-2.4.20-common-1 和 kdb-v4.2-2.4-i386-1 文件。
現在，應用這些補?。?
[code:1:6ddc15f4ad]#patch -p1 <kdb-v4.2-2.4.20-common-1

#patch -p1 <kdb-v4.2-2.4.20-i386-1 [/code:1:6ddc15f4ad]
這些補丁應該干凈利落地加以應用。查找任何以 .rej 結尾的文件。這個(gè)擴展名表明這些是失敗的補丁。如果內核樹(shù)沒(méi)問(wèn)題，那么補丁的應用就不會(huì )有任何問(wèn)題。
接下來(lái)，需要構建內核以支持 KDB。第一步是設置 CONFIG_KDB 選項。使用您喜歡的配置機制（xconfig 和 menuconfig 等）來(lái)完成這一步。轉到結尾處的“Kernel hacking”部分并選擇“Built- in Kernel Debugger support”選項。
您還可以根據自己的偏好選擇其它兩個(gè)選項。選擇“Compile the kernel with frame pointers”選項（如果有的話(huà)）則設置 CONFIG_FRAME_POINTER 標志。這將產(chǎn)生更好的堆?；厮?，因為幀指針寄存器被用作幀指針而不是通用寄存器。您還可以選擇“KDB off by default”選項。這將設置 CONFIG_KDB_OFF 標志，并且在缺省情況下將關(guān)閉 KDB。我們將在后面一節中對此進(jìn)行詳細介紹。
保存配置，然后退出。重新編譯內核。建議在構建內核之前執行“make clean”。用常用方式安裝內核并引導它。
[size=18:6ddc15f4ad]初始化并設置環(huán)境變量[/size:6ddc15f4ad]
您可以定義將在 KDB 初始化期間執行的 KDB 命令。需要在純文本文件 kdb_cmds 中定義這些命令，該文件位于 Linux 源代碼樹(shù)（當然是在打了補丁之后）的 KDB 目錄中。該文件還可以用來(lái)定義設置顯示和打印選項的環(huán)境變量。文件開(kāi)頭的注釋提供了編輯文件方面的幫助。使用這個(gè)文件的缺點(diǎn)是，在您更改了文件之后需要重新構建并重新安裝內核。{{分頁(yè)}}
[size=18:6ddc15f4ad]激活 KDB[/size:6ddc15f4ad]
如果編譯期間沒(méi)有選中 CONFIG_KDB_OFF，那么在缺省情況下 KDB 是活動(dòng)的。否則，您需要顯式地激活它 － 通過(guò)在引導期間將 kdb=on 標志傳遞給內核或者通過(guò)在掛裝了 /proc 之后執行該工作：
[code:1:6ddc15f4ad]#echo "1" >/proc/sys/kernel/kdb [/code:1:6ddc15f4ad]
倒過(guò)來(lái)執行上述步驟則會(huì )取消激活 KDB。也就是說(shuō)，如果缺省情況下 KDB 是打開(kāi)的，那么將 kdb=off 標志傳遞給內核或者執行下面這個(gè)操作將會(huì )取消激活 KDB：
[code:1:6ddc15f4ad]#echo "0" >/proc/sys/kernel/kdb[/code:1:6ddc15f4ad] 
在引導期間還可以將另一個(gè)標志傳遞給內核。kdb=early 標志將導致在引導過(guò)程的初始階段就把控制權傳遞給 KDB。如果您需要在引導過(guò)程初始階段進(jìn)行調試，那么這將有所幫助。
調用 KDB 的方式有很多。如果 KDB 處于打開(kāi)狀態(tài)，那么只要內核中有緊急情況就自動(dòng)調用它。按下鍵盤(pán)上的 PAUSE 鍵將手工調用 KDB。調用 KDB 的另一種方式是通過(guò)串行控制臺。當然，要做到這一點(diǎn)，需要設置串行控制臺（請參閱參考資料以獲取這方面的幫助）并且需要一個(gè)從串行控制臺進(jìn)行讀取的程序。按鍵序列 Ctrl-A 將從串行控制臺調用 KDB。
[size=18:6ddc15f4ad]KDB 命令[/size:6ddc15f4ad]
KDB 是一個(gè)功能非常強大的工具，它允許進(jìn)行幾個(gè)操作，比如內存和寄存器修改、應用斷點(diǎn)和堆棧跟蹤。根據這些，可以將 KDB 命令分成幾個(gè)類(lèi)別。下面是有關(guān)每一類(lèi)中最常用命令的詳細信息。
[size=18:6ddc15f4ad]內存顯示和修改[/size:6ddc15f4ad]
這一類(lèi)別中最常用的命令是 md、mdr、mm 和 mmW。
[size=18:6ddc15f4ad]md[/size:6ddc15f4ad] 命令以一個(gè)地址／符號和行計數為參數，顯示從該地址開(kāi)始的 line-count 行的內存。如果沒(méi)有指定 line-count，那么就使用環(huán)境變量所指定的缺省值。如果沒(méi)有指定地址，那么 md 就從上一次打印的地址繼續。地址打印在開(kāi)頭，字符轉換打印在結尾。
[size=18:6ddc15f4ad]mdr[/size:6ddc15f4ad] 命令帶有地址／符號以及字節計數，顯示從指定的地址開(kāi)始的 byte-count 字節數的初始內存內容。它本質(zhì)上和 md 一樣，但是它不顯示起始地址并且不在結尾顯示字符轉換。mdr 命令較少使用。
[size=18:6ddc15f4ad]mm[/size:6ddc15f4ad] 命令修改內存內容。它以地址／符號和新內容作為參數，用 new-contents 替換地址處的內容。
[size=18:6ddc15f4ad]mmW[/size:6ddc15f4ad] 命令更改從地址開(kāi)始的 W 個(gè)字節。請注意，mm 更改一個(gè)機器字。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
[code:1:6ddc15f4ad]顯示從 0xc000000 開(kāi)始的 15 行內存：
[0]kdb> md 0xc000000 15 
將內存位置為 0xc000000 上的內容更改為 0x10：
[0]kdb> mm 0xc000000 0x10 [/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]寄存器顯示和修改[/size:6ddc15f4ad]
這一類(lèi)別中的命令有 rd、rm 和 ef。
[size=18:6ddc15f4ad]rd[/size:6ddc15f4ad] 命令（不帶任何參數）顯示處理器寄存器的內容。它可以有選擇地帶三個(gè)參數。如果傳遞了 c 參數，則 rd 顯示處理器的控制寄存器；如果帶有 d 參數，那么它就顯示調試寄存器；如果帶有 u 參數，則顯示上一次進(jìn)入內核的當前任務(wù)的寄存器組。
[size=18:6ddc15f4ad]rm[/size:6ddc15f4ad] 命令修改寄存器的內容。它以寄存器名稱(chēng)和 new- contents 作為參數，用 new-contents 修改寄存器。寄存器名稱(chēng)與特定的體系結構有關(guān)。目前，不能修改控制寄存器。
[size=18:6ddc15f4ad]ef[/size:6ddc15f4ad] 命令以一個(gè)地址作為參數，它顯示指定地址處的異常幀。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
顯示通用寄存器組：
[code:1:6ddc15f4ad][0]kdb> rd 
將寄存器 ebx 的內容設置成 0x25：
[0]kdb> rm %ebx 0x25 [/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]斷點(diǎn)[/size:6ddc15f4ad]
常用的斷點(diǎn)命令有 bp、bc、bd、be 和 bl。
[size=18:6ddc15f4ad]bp[/size:6ddc15f4ad] 命令以一個(gè)地址／符號作為參數，它在地址處應用斷點(diǎn)。當遇到該斷點(diǎn)時(shí)則停止執行并將控制權交予 KDB。該命令有幾個(gè)有用的變體。[size=18:6ddc15f4ad]bpa[/size: 6ddc15f4ad] 命令對 SMP 系統中的所有處理器應用斷點(diǎn)。bph 命令強制在支持硬件寄存器的系統上使用它。bpha 命令類(lèi)似于 bpa 命令，差別在于它強制使用硬件寄存器。 {{分頁(yè)}}
[size=18:6ddc15f4ad]bd[/size:6ddc15f4ad] 命令禁用特殊斷點(diǎn)。它接收斷點(diǎn)號作為參數。該命令不是從斷點(diǎn)表中除去斷點(diǎn)，而只是禁用它。斷點(diǎn)號從 0 開(kāi)始，根據可用性順序分配給斷點(diǎn)。
[size=18:6ddc15f4ad]be[/size:6ddc15f4ad] 命令啟用斷點(diǎn)。該命令的參數也是斷點(diǎn)號。
[size=18:6ddc15f4ad]bl [/size:6ddc15f4ad]命令列出當前的斷點(diǎn)集。它包含了啟用的和禁用的斷點(diǎn)。
[size=18:6ddc15f4ad]bc[/size:6ddc15f4ad] 命令從斷點(diǎn)表中除去斷點(diǎn)。它以具體的斷點(diǎn)號或 * 作為參數，在后一種情況下它將除去所有斷點(diǎn)。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
[code:1:6ddc15f4ad]對函數 sys_write() 設置斷點(diǎn)：
[0]kdb> bp sys_write 
列出斷點(diǎn)表中的所有斷點(diǎn)：
[0]kdb> bl 
清除斷點(diǎn)號 1：
[0]kdb> bc 1[/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]堆棧跟蹤[/size:6ddc15f4ad]
主要的堆棧跟蹤命令有 bt、btp、btc 和 bta。
[size=18:6ddc15f4ad]bt [/size:6ddc15f4ad]命令設法提供有關(guān)當前線(xiàn)程的堆棧的信息。它可以有選擇地將堆棧幀地址作為參數。如果沒(méi)有提供地址，那么它采用當前寄存器來(lái)回溯堆棧。否則，它假定所提供的地址是有效的堆棧幀起始地址并設法進(jìn)行回溯。如果內核編譯期間設置了 CONFIG_FRAME_POINTER 選項，那么就用幀指針寄存器來(lái)維護堆棧，從而就可以正確地執行堆?；厮?。如果沒(méi)有設置 CONFIG_FRAME_POINTER，那么 bt 命令可能會(huì )產(chǎn)生錯誤的結果。
[size=18:6ddc15f4ad]btp[/size:6ddc15f4ad] 命令將進(jìn)程標識作為參數，并對這個(gè)特定進(jìn)程進(jìn)行堆?；厮?。
[size=18:6ddc15f4ad]btc[/size:6ddc15f4ad] 命令對每個(gè)活動(dòng) CPU 上正在運行的進(jìn)程執行堆?；厮?。它從第一個(gè)活動(dòng) CPU 開(kāi)始執行 bt，然后切換到下一個(gè)活動(dòng) CPU，以此類(lèi)推。
[size=18:6ddc15f4ad]bta[/size:6ddc15f4ad] 命令對處于某種特定狀態(tài)的所有進(jìn)程執行回溯。若不帶任何參數，它就對所有進(jìn)程執行回溯?？梢杂羞x擇地將各種參數傳遞給該命令。將根據參數處理處于特定狀態(tài)的進(jìn)程。選項以及相應的狀態(tài)如下：
?D：不可中斷狀態(tài) 
?R：正運行 
?S：可中斷休眠 
?T：已跟蹤或已停止 
?Z：僵死 
?U：不可運行
這類(lèi)命令中的每一個(gè)都會(huì )打印出一大堆信息。請查閱下面的參考資料以獲取這些字段的詳細文檔。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
[code:1:6ddc15f4ad]跟蹤當前活動(dòng)線(xiàn)程的堆棧：
[0]kdb> bt 
跟蹤標識為 575 的進(jìn)程的堆棧：
[0]kdb> btp 575 [/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]其它命令[/size:6ddc15f4ad]
下面是在內核調試過(guò)程中非常有用的其它幾個(gè) KDB 命令。
[size=18:6ddc15f4ad]id [/size:6ddc15f4ad]命令以一個(gè)地址／符號作為參數，它對從該地址開(kāi)始的指令進(jìn)行反匯編。環(huán)境變量 IDCOUNT 確定要顯示多少行輸出。
[size=18:6ddc15f4ad]ss [/size:6ddc15f4ad]命令單步執行指令然后將控制返回給 KDB。該指令的一個(gè)變體是 ssb，它執行從當前指令指針地址開(kāi)始的指令（在屏幕上打印指令），直到它遇到將引起分支轉移的指令為止。分支轉移指令的典型示例有 call、 return 和 jump。
[size=18:6ddc15f4ad]go[/size:6ddc15f4ad] 命令讓系統繼續正常執行。一直執行到遇到斷點(diǎn)為止（如果已應用了一個(gè)斷點(diǎn)的話(huà)）。
[size=18:6ddc15f4ad]reboot [/size:6ddc15f4ad]命令立刻重新引導系統。它并沒(méi)有徹底關(guān)閉系統，因此結果是不可預測的。
[size=18:6ddc15f4ad]ll[/size:6ddc15f4ad] 命令以地址、偏移量和另一個(gè) KDB 命令作為參數。它對鏈表中的每個(gè)元素反復執行作為參數的這個(gè)命令。所執行的命令以列表中當前元素的地址作為參數。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
[code:1:6ddc15f4ad]反匯編從例程 schedule 開(kāi)始的指令。所顯示的行數取決于環(huán)境變量 IDCOUNT：
[0]kdb> id schedule 
執行指令直到它遇到分支轉移條件（在本例中為指令 jne）為止：
[0]kdb> ssb

0xc0105355 default_idle+0x25: cli
0xc0105356 default_idle+0x26: mov 0x14(%edx),%eax
0xc0105359 default_idle+0x29: test %eax, %eax
0xc010535b default_idle+0x2b: jne 0xc0105361 default_idle+0x31 [/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]技巧和訣竅[/size:6ddc15f4ad]
調試一個(gè)問(wèn)題涉及到：使用調試器（或任何其它工具）找到問(wèn)題的根源以及使用源代碼來(lái)跟蹤導致問(wèn)題的根源。單單使用源代碼來(lái)確定問(wèn)題是極其困難的，只有老練的內核黑客才有可能做得到。相反，大多數的新手往往要過(guò)多地依靠調試器來(lái)修正錯誤。這種方法可能會(huì )產(chǎn)生不正確的問(wèn)題解決方案。我們擔心的是這種方法只會(huì )修正表面癥狀而不能解決真正的問(wèn)題。此類(lèi)錯誤的典型示例是添加錯誤處理代碼以處理 NULL 指針或錯誤的引用，卻沒(méi)有查出無(wú)效引用的真正原因。
結合研究代碼和使用調試工具這兩種方法是識別和修正問(wèn)題的最佳方案。 {{分頁(yè)}}
調試器的主要用途是找到錯誤的位置、確認癥狀（在某些情況下還有起因）、確定變量的值，以及確定程序是如何出現這種情況的（即，建立調用堆棧）。有經(jīng)驗的黑客會(huì )知道對于某種特定的問(wèn)題應使用哪一個(gè)調試器，并且能迅速地根據調試獲取必要的信息，然后繼續分析代碼以識別起因。
因此，這里為您介紹了一些技巧，以便您能使用 KDB 快速地取得上述結果。當然，要記住，調試的速度和精確度來(lái)自經(jīng)驗、實(shí)踐和良好的系統知識（硬件和內核內部機理等）。
[size=18:6ddc15f4ad]技巧 #1[/size:6ddc15f4ad]
在 KDB 中，在提示處輸入地址將返回與之最為匹配的符號。這在堆棧分析以及確定全局數據的地址／值和函數地址方面極其有用。同樣，輸入符號名則返回其虛擬地址。
示例
[code:1:6ddc15f4ad]表明函數 sys_read 從地址 0xc013db4c 開(kāi)始：
[0]kdb> 0xc013db4c

0xc013db4c = 0xc013db4c (sys_read) 
同樣，
同樣，表明 sys_write 位于地址 0xc013dcc8：
[0]kdb> sys_write

sys_write = 0xc013dcc8 (sys_write) 
這些有助于在分析堆棧時(shí)找到全局數據和函數地址。[/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]技巧 #2[/size:6ddc15f4ad]在編譯帶 KDB 的內核時(shí)，只要 CONFIG_FRAME_POINTER 選項出現就使用該選項。為此，需要在配置內核時(shí)選擇“Kernel hacking”部分下面的 “Compile the kernel with frame pointers”選項。這確保了幀指針寄存器將被用作幀指針，從而產(chǎn)生正確的回溯。實(shí)際上，您可以手工轉儲幀指針寄存器的內容并跟蹤整個(gè)堆棧。例如，在 i386 機器上，%ebp 寄存器可以用來(lái)回溯整個(gè)堆棧。
例如，在函數 rmqueue() 上執行第一個(gè)指令后，堆?？瓷先ヮ?lèi)似于下面這樣：
[code:1:6ddc15f4ad][0]kdb> md %ebp

0xc74c9f38 c74c9f60 c0136c40 000001f0 00000000
0xc74c9f48 08053328 c0425238 c04253a8 00000000
0xc74c9f58 000001f0 00000246 c74c9f6c c0136a25
0xc74c9f68 c74c8000 c74c9f74 c0136d6d c74c9fbc
0xc74c9f78 c014fe45 c74c8000 00000000 08053328

[0]kdb> 0xc0136c40

0xc0136c40 = 0xc0136c40 (__alloc_pages +0x44)

[0]kdb> 0xc0136a25

0xc0136a25 = 0xc0136a25 (_alloc_pages +0x19)

[0]kdb> 0xc0136d6d

0xc0136d6d = 0xc0136d6d (__get_free_pages +0xd)[/code:1:6ddc15f4ad]