“拼湊內(nèi)核”這套連載做到第三章第三節(jié)前兩回我們已經(jīng)把中斷控制器、時(shí)鐘芯片驅(qū)動(dòng)和任務(wù)切換勉強(qiáng)跑通代碼能在一個(gè)模擬環(huán)境下“活”起來(lái)。這一節(jié)要聊的軟件定時(shí)器正好是整個(gè)內(nèi)核里非常討巧的一塊基礎(chǔ)設(shè)施它不直接碰硬件卻依賴(lài)時(shí)鐘中斷這個(gè)“心跳”來(lái)驅(qū)動(dòng)自己。你可能會(huì)說(shuō)不就是一個(gè)到了時(shí)間就執(zhí)行回調(diào)的機(jī)制嗎實(shí)際寫(xiě)起來(lái)遠(yuǎn)沒(méi)那么簡(jiǎn)單從數(shù)據(jù)結(jié)構(gòu)怎么設(shè)計(jì)、時(shí)間怎么換算到高并發(fā)下怎么安全地刪一個(gè)定時(shí)器坑一個(gè)接一個(gè)。這篇內(nèi)容適合兩類(lèi)讀者一類(lèi)是正在跟做操作系統(tǒng)實(shí)驗(yàn)、想把手寫(xiě)內(nèi)核里程碑補(bǔ)全的學(xué)生另一類(lèi)是剛接觸內(nèi)核驅(qū)動(dòng)開(kāi)發(fā)、想弄明白timer_list和hrtimer到底怎么用的工程師。我會(huì)從“為什么需要軟件定時(shí)器”講起一路說(shuō)到時(shí)間輪算法、實(shí)際驅(qū)動(dòng)里的用法和調(diào)試經(jīng)驗(yàn)盡量把教材里一筆帶過(guò)的地方展開(kāi)講透。1. 軟件定時(shí)器是什么為什么內(nèi)核離不開(kāi)它1.1 從硬件定時(shí)器到軟件定時(shí)器硬件定時(shí)器是芯片上一組獨(dú)立的計(jì)數(shù)器電路比如常見(jiàn)的可編程間隔定時(shí)器它由外部晶振提供時(shí)鐘源計(jì)數(shù)到設(shè)定值后觸發(fā)中斷。問(wèn)題在于一塊板子上的硬件定時(shí)器通道非常有限而內(nèi)核里需要“延遲執(zhí)行”“超時(shí)判斷”“周期性任務(wù)”的地方數(shù)不勝數(shù)網(wǎng)絡(luò)協(xié)議棧要重傳超時(shí)、塊設(shè)備層要處理請(qǐng)求超時(shí)、內(nèi)核線程要做周期調(diào)度統(tǒng)計(jì)?？坑布〞r(shí)器一個(gè)一個(gè)去滿(mǎn)足完全不現(xiàn)實(shí)。所以?xún)?nèi)核把硬件定時(shí)器當(dāng)作一個(gè)“節(jié)拍發(fā)生器”讓它以固定頻率產(chǎn)生時(shí)鐘中斷每次中斷到來(lái)時(shí)軟件定時(shí)器模塊就被喚起一次檢查哪些定時(shí)器到期然后執(zhí)行對(duì)應(yīng)的回調(diào)函數(shù)。這樣一個(gè)或幾個(gè)硬件通道就能支撐無(wú)數(shù)個(gè)軟件定時(shí)器同時(shí)運(yùn)行。軟件定時(shí)器的本質(zhì)就是把“時(shí)間維度上的事件調(diào)度”從硬件遷移到軟件層面。它犧牲了一點(diǎn)精度換來(lái)的是數(shù)量上的幾乎無(wú)上限。編寫(xiě)驅(qū)動(dòng)時(shí)你申請(qǐng)一個(gè)軟件定時(shí)器只是在內(nèi)存里填了個(gè)結(jié)構(gòu)體注冊(cè)到內(nèi)核的定時(shí)器鏈表里不再占用任何硬件資源。這東西在實(shí)戰(zhàn)里的出場(chǎng)頻率極高凡是驅(qū)動(dòng)里需要“等一會(huì)兒再做事”的邏輯基本都要靠它。1.2 兩個(gè)必需的基礎(chǔ)概念時(shí)鐘節(jié)拍與 jiffies理解軟件定時(shí)器繞不開(kāi)兩個(gè)底層概念一個(gè)是時(shí)鐘節(jié)拍tick一個(gè)是jiffies。系統(tǒng)開(kāi)機(jī)后硬件定時(shí)器被編程為每1/HZ秒產(chǎn)生一次中斷這個(gè)時(shí)間單位被稱(chēng)為一個(gè) tick。HZ是一個(gè)編譯期常量常見(jiàn)取值是 100、250、1000含義是每秒產(chǎn)生多少個(gè)時(shí)鐘中斷。如果HZ250那么每個(gè) tick 就是 4 毫秒軟件定時(shí)器的精度上限就鎖死在 4 毫秒——你說(shuō)我想定時(shí) 1 毫秒老式的低精度定時(shí)器是做不到的這是你先要接受的一個(gè)硬約束。jiffies是內(nèi)核里的全局“心跳計(jì)數(shù)器”每次時(shí)鐘中斷它自增 1。它從開(kāi)機(jī)開(kāi)始累積類(lèi)型是unsigned long volatile在 32 位系統(tǒng)上大約 497 天后會(huì)回繞一次64 位系統(tǒng)上這個(gè)概念基本可以忽略。所有軟件定時(shí)器的到期時(shí)間都以jiffies為單位表示。一個(gè)定時(shí)器的生命周期是這樣的初始化時(shí)填好回調(diào)函數(shù)和參數(shù)設(shè)置一個(gè)到期時(shí)間差比如“10 個(gè) jiffies 之后”然后掛到內(nèi)核的管理結(jié)構(gòu)中。之后每來(lái)一次時(shí)鐘中斷內(nèi)核就把jiffies加 1并檢查有沒(méi)有到期項(xiàng)。這種設(shè)計(jì)把硬件只需要負(fù)責(zé)“周期性發(fā)中斷”這一件事其余全部邏輯都收攏到通用的軟件框架里。2. 定時(shí)器對(duì)象與常用 API一切從數(shù)據(jù)結(jié)構(gòu)開(kāi)始2.1 struct timer_list 是怎么設(shè)計(jì)的經(jīng)典低精度定時(shí)器的結(jié)構(gòu)體定義不同內(nèi)核版本略有差異但核心成員一直是那幾項(xiàng)。我以比較普及的內(nèi)核版本為參考struct timer_list { struct hlist_node entry; // 掛入時(shí)間輪散列表的節(jié)點(diǎn) unsigned long expires; // 到期時(shí)刻單位jiffies void (*function)(struct timer_list *); // 回調(diào)函數(shù) u32 flags; // 標(biāo)志位 } __randomize_layout;entry用來(lái)把定時(shí)器節(jié)點(diǎn)掛到內(nèi)核的時(shí)間輪桶里這個(gè)成員在用戶(hù)視角不需要碰。expires是絕對(duì)到期時(shí)間注意是“絕對(duì)值”而不是“還要等多久”。如果現(xiàn)在jiffies是 10000你想等 20 個(gè) tick就要填 10020而不是填 20。這個(gè)細(xì)節(jié)新手經(jīng)常搞反一旦填了相對(duì)值定時(shí)器要么立即觸發(fā)要么等到系統(tǒng)運(yùn)行很久很久之后才輪到它看起來(lái)就是“定時(shí)器完全不可用”。function是回調(diào)函數(shù)指針?biāo)娜雲(yún)⑹莝truct timer_list *也就是說(shuō)回調(diào)函數(shù)能拿到定時(shí)器結(jié)構(gòu)體本身。經(jīng)典教材里老版本內(nèi)核經(jīng)常寫(xiě)void my_callback(unsigned long data)這是 2.6 時(shí)代的老接口?，F(xiàn)在統(tǒng)一改成傳入struct timer_list *好處很明顯回調(diào)里可以直接用container_of通過(guò)定時(shí)器結(jié)構(gòu)找到宿主數(shù)據(jù)結(jié)構(gòu)不需要依賴(lài)一個(gè)裸的unsigned long參數(shù)。比如你在一個(gè)設(shè)備結(jié)構(gòu)體里內(nèi)嵌了定時(shí)器回調(diào)函數(shù)里就能通過(guò)container_of找回整個(gè)設(shè)備結(jié)構(gòu)體。flags字段在正常驅(qū)動(dòng)開(kāi)發(fā)時(shí)通常直接傳 0。它內(nèi)部可能攜帶一些與 CPU 親和性相關(guān)的標(biāo)記但這是內(nèi)核框架自己用的驅(qū)動(dòng)層一般不需要主動(dòng)設(shè)置。2.2 初始化的正確姿勢(shì)timer_setup初始化接口現(xiàn)在統(tǒng)一使用timer_setup它把setup_timer那套老 API 淘汰了。一個(gè)典型的初始化是這樣的static struct timer_list my_timer; static void my_timer_handler(struct timer_list *t) { // 定時(shí)器到期的處理邏輯 } static int __init xxx_init(void) { timer_setup(my_timer, my_timer_handler, 0); // 此時(shí)定時(shí)器還沒(méi)掛到時(shí)間輪上只是完成了對(duì)象初始化 return 0; }timer_setup會(huì)把回調(diào)函數(shù)指針填好把節(jié)點(diǎn)的鏈表指針清空標(biāo)志位置好。這一步只做“對(duì)象初始化”不參與調(diào)度。很多不熟悉內(nèi)核框架的人以為初始化完就開(kāi)始計(jì)時(shí)了其實(shí)還差兩步設(shè)置到期時(shí)間把定時(shí)器真正掛載到時(shí)間輪桶中。獨(dú)立設(shè)置到期時(shí)間可以用timer-expires jiffies x但更推薦用輔助函數(shù)mod_timer(my_timer, jiffies msecs_to_jiffies(100));mod_timer是“修改到期時(shí)間并掛載”的復(fù)合操作。如果定時(shí)器已經(jīng)在時(shí)間輪里它會(huì)把舊的桶節(jié)點(diǎn)摘下來(lái)按新到期時(shí)間重新插入如果定時(shí)器還沒(méi)掛載它就直接以新到期時(shí)間掛進(jìn)去。這個(gè)接口內(nèi)部會(huì)做必要的同步保護(hù)是驅(qū)動(dòng)開(kāi)發(fā)里最常用的一個(gè)入口。還有一對(duì)容易混淆的刪除接口。del_timer只是把節(jié)點(diǎn)從時(shí)間輪里摘下來(lái)不關(guān)心是否已注冊(cè)也不關(guān)心是否正在其他 CPU 上執(zhí)行回調(diào)流程。del_timer_sync額外保證當(dāng)函數(shù)返回時(shí)該定時(shí)器的回調(diào)函數(shù)一定沒(méi)有在其他 CPU 上運(yùn)行或者已經(jīng)運(yùn)行完畢。在驅(qū)動(dòng)卸載路徑上最穩(wěn)妥的選擇是del_timer_sync。2.3 改期mod_timer 的語(yǔ)義坑mod_timer的語(yǔ)義比很多入門(mén)文檔寫(xiě)的更強(qiáng)。除了“改到期時(shí)間”它實(shí)際上等價(jià)于“若已激活則先刪除、再按新時(shí)間激活”。這意味著一個(gè)已激活的定時(shí)器可以反復(fù)用mod_timer調(diào)整時(shí)間實(shí)現(xiàn)“滾動(dòng)定時(shí)器”也就是周期性任務(wù)。但這里有第一個(gè)值得警惕的坑mod_timer返回 0 表示定時(shí)器之前是未激活的返回 1 表示它之前已經(jīng)激活并被重新調(diào)度了。有些驅(qū)動(dòng)代碼只關(guān)心“定時(shí)器有沒(méi)有被激活過(guò)”就可以利用這個(gè)返回值做狀態(tài)判斷。不過(guò)我要提醒你別在工作量很大的回調(diào)函數(shù)里反復(fù)高頻調(diào)用mod_timer那會(huì)引入不必要的鎖競(jìng)爭(zhēng)和處理器間干擾。批量執(zhí)行周期任務(wù)時(shí)更推薦用hrtimer或者內(nèi)核工作隊(duì)列配合延時(shí)函數(shù)。3. 時(shí)間換算的藝術(shù)從用戶(hù)態(tài)的毫秒到內(nèi)核的 jiffies3.1 常用換算函數(shù)清單應(yīng)用層程序員用毫秒、微秒內(nèi)核里的人卻活在jiffies里。兩種時(shí)間單位之間必須顯式換算不能想當(dāng)然地直接賦值。Linux 內(nèi)核提供了一組語(yǔ)義清晰的輔助函數(shù)msecs_to_jiffies(m)毫秒轉(zhuǎn) jiffies向上取整usecs_to_jiffies(u)微秒轉(zhuǎn) jiffies向上取整timespec_to_jiffies(ts)結(jié)構(gòu)體時(shí)間轉(zhuǎn) jiffiesjiffies_to_msecs(j)反向換算用于把內(nèi)核時(shí)間輸出給用戶(hù)態(tài)為什么要“向上取整”因?yàn)閮?nèi)核定時(shí)器的到期檢查粒度是 tick。當(dāng)HZ1000時(shí)每個(gè) tick 是 1 毫秒user 傳一個(gè) 1.5 毫秒的延時(shí)如果不向上取整直接按照 1 毫秒算實(shí)際延時(shí)就會(huì)比請(qǐng)求時(shí)間短。向上取整能保證“只晚不早”這在超時(shí)類(lèi)業(yè)務(wù)里是行規(guī)——寧可晚一點(diǎn)喚醒不能早一點(diǎn)誤判超時(shí)。來(lái)看一個(gè)實(shí)際換算unsigned long delay msecs_to_jiffies(250); mod_timer(my_timer, jiffies delay);當(dāng)HZ100時(shí)250 毫秒等于 25 個(gè) jiffies取整后沒(méi)有任何誤差。當(dāng)HZ1000時(shí)250 毫秒等于 250 個(gè) jiffies。但如果傳入 255 毫秒且HZ100因?yàn)橐粋€(gè) tick 是 10 毫秒25.5 必須向上取整到 26 個(gè) tick實(shí)際到期時(shí)間就變成了 260 毫秒誤差 5 毫秒。注意在模塊代碼中做了msecs_to_jiffies之后不要再試圖把結(jié)果轉(zhuǎn)換成毫秒傳回用戶(hù)態(tài)。內(nèi)核內(nèi)部的時(shí)間處理必須保持在 native 單位里進(jìn)行反復(fù)橫跳只會(huì)引入無(wú)謂的精度損失。3.2 HZ 的取值是個(gè)權(quán)衡不是越大越好有人覺(jué)得把HZ配成 1000定時(shí)器精度變成 1 毫秒豈不是更好事情沒(méi)有這么簡(jiǎn)單。HZ越大每個(gè) tick 間隔越短做一次進(jìn)程調(diào)度、檢查定時(shí)器、更新系統(tǒng)統(tǒng)計(jì)的頻率就越高。這些工作全部疊加在中斷上下文里會(huì)吃掉不少 CPU 周期。桌面內(nèi)核傾向于 250 或 1000 讓交互更順滑服務(wù)器內(nèi)核反而傾向 100因?yàn)榇笈坑?jì)算任務(wù)根本不在乎這幾毫秒的定時(shí)粒度省下中斷開(kāi)銷(xiāo)才是實(shí)打?qū)嵉氖找?。低精度軟件定時(shí)器的精度上限就是/HZ秒。有些課程實(shí)驗(yàn)把HZ設(shè)成 10那定時(shí)器誤差高達(dá) 100 毫秒做簡(jiǎn)單的 LED 閃爍沒(méi)問(wèn)題做網(wǎng)絡(luò)重傳計(jì)時(shí)就完全不可用。所以你寫(xiě)代碼時(shí)凡是精度敏感的場(chǎng)合要對(duì)HZ足夠敏感凡是要求微秒級(jí)定時(shí)的場(chǎng)合就該扭頭去看hrtimer而不是指望提高HZ來(lái)硬扛。3.3 和 real time 的差異定時(shí)器到點(diǎn)了不代表現(xiàn)在是那個(gè)時(shí)刻軟件定時(shí)器的到期事件發(fā)生在時(shí)鐘中斷上下文里它表示的是“系統(tǒng)運(yùn)行了足夠多的 tick”而不是“現(xiàn)實(shí)世界過(guò)去了準(zhǔn)確的時(shí)間”。系統(tǒng)休眠、內(nèi)核被搶占、中斷長(zhǎng)時(shí)間關(guān)閉都會(huì)讓定時(shí)器觸發(fā)晚點(diǎn)。如果你在用戶(hù)態(tài)通過(guò)gettimeofday去測(cè)量定時(shí)器到點(diǎn)的真實(shí)時(shí)刻會(huì)發(fā)現(xiàn)它可能偏差幾毫秒甚至更久。這在實(shí)時(shí)性要求到“必須準(zhǔn)點(diǎn)”的應(yīng)用里是不能接受的。結(jié)論很簡(jiǎn)單低精度定時(shí)器適合做“相對(duì)延時(shí)、超時(shí)判斷、輪詢(xún)節(jié)流”不適合做“硬實(shí)時(shí)調(diào)度”。要硬實(shí)時(shí)用hrtimer它基于硬件時(shí)鐘提供的精確時(shí)間線與jiffies解耦。4. 定時(shí)器核心機(jī)制從樸素鏈表到多級(jí)時(shí)間輪4.1 樸素鏈表實(shí)現(xiàn)為什么不行如果讓你設(shè)計(jì)一個(gè)最簡(jiǎn)單的定時(shí)器框架腦子里第一反應(yīng)肯定是維護(hù)一個(gè)全局有序鏈表每個(gè)節(jié)點(diǎn)記錄到期時(shí)間。時(shí)鐘中斷來(lái)了從鏈表頭開(kāi)始檢查凡是expires jiffies的節(jié)點(diǎn)都取出來(lái)執(zhí)行然后把它們從鏈表里摘除。插入時(shí)按到期時(shí)間排序保持鏈表有序。這個(gè)方案的瓶頸非常明顯。插入一個(gè)定時(shí)器的時(shí)間復(fù)雜度是 O(n)因?yàn)橐刂湵碚业胶线m的位置最壞情況下系統(tǒng)的定器數(shù)量如果有數(shù)千個(gè)每次插入都是一次大規(guī)模的線性掃描。海量定時(shí)器情況下中斷處理函數(shù)里做這種高成本操作是不可接受的。你想想網(wǎng)絡(luò)棧里每個(gè)連接可能同時(shí)掛著若干超時(shí)定時(shí)器高并發(fā)服務(wù)器上定時(shí)器數(shù)量輕松上萬(wàn)線性掃描幾萬(wàn)個(gè)節(jié)點(diǎn)中斷延遲會(huì)被拖垮。4.2 多級(jí)時(shí)間輪的核心思想內(nèi)核采用的多級(jí)時(shí)間輪本質(zhì)上是“以空間換時(shí)間”的典型代表也是各種高性能定時(shí)器方案的基礎(chǔ)思想。想象鐘表上的表盤(pán)秒針走一圈 60 格每走一格是 1 秒分針 60 格時(shí)針 12 格。秒針走完一圈分針動(dòng)一格分針走完一圈時(shí)針動(dòng)一格。多級(jí)時(shí)間輪完全復(fù)刻了這種“進(jìn)制”思想。具體到內(nèi)核時(shí)間輪有 5 個(gè)級(jí)別每個(gè)級(jí)別是一個(gè)桶數(shù)組。第一級(jí)桶數(shù)量較多每個(gè)桶代表一個(gè) tick后面每個(gè)級(jí)別的桶數(shù)量變少但每個(gè)桶代表的 tick 數(shù)成倍放大。當(dāng)?shù)谝患?jí)的某個(gè)桶輪轉(zhuǎn)到位時(shí)如果發(fā)現(xiàn)里面有定時(shí)器就把他們從第一級(jí)的桶取出來(lái)重新按剩余時(shí)間散列到更精確的級(jí)別里去。這個(gè)動(dòng)作叫“級(jí)聯(lián)”。在中斷處理里內(nèi)核只需要看當(dāng)前 tick 對(duì)應(yīng)第一級(jí)的哪個(gè)桶把那個(gè)桶里的定時(shí)器全部取出來(lái)執(zhí)行即可。每過(guò)固定數(shù)量的 tick才需要把下一級(jí)的桶展開(kāi)、重新散列所以平均下來(lái)每個(gè) tick 的開(kāi)銷(xiāo)非常小插入和刪除還是 O(1) 時(shí)間。它跟有序鏈表最大的差別在于不排序只散列到固定的時(shí)間區(qū)間里。4.3 索引計(jì)算一個(gè)簡(jiǎn)化的時(shí)間輪推導(dǎo)我用一個(gè)簡(jiǎn)化版本來(lái)演示索引計(jì)算邏輯幫助你建立直覺(jué)。假設(shè)第一級(jí)桶數(shù)組有 8 個(gè)桶時(shí)間范圍是一個(gè) 8-tick 周期?，F(xiàn)在jiffies當(dāng)前值是base某個(gè)定時(shí)器到期值是expires。它在第一級(jí)桶里的索引可以直接用index (expires 7);因?yàn)榈讓邮?8 個(gè)桶取低 3 位即可。問(wèn)題在于當(dāng)?shù)谝患?jí)輪轉(zhuǎn)多次以后只靠低 3 位就無(wú)法區(qū)分這個(gè)到期時(shí)間落在哪一個(gè)輪次里。所以需要二級(jí)輪子。兩級(jí)時(shí)間輪做法是第一級(jí) 8 個(gè)桶每格 1 個(gè) tick第二級(jí)也是 8 個(gè)桶但每格代表“第一級(jí)完整輪轉(zhuǎn)一圈”的長(zhǎng)度。第二級(jí)一個(gè)格子里掛的定時(shí)器到期時(shí)間離jiffies的距離會(huì)是“幾個(gè)完整輪”加“桶內(nèi)偏移”。計(jì)算第二級(jí)索引時(shí)需要先算出時(shí)間差再除以第一級(jí)周期得到“圈數(shù)”然后對(duì)第二級(jí)取模。處理流程是這樣的每次 tick檢查第一級(jí)對(duì)應(yīng)的桶執(zhí)行桶內(nèi)所有到期定時(shí)器。當(dāng)?shù)谝患?jí)轉(zhuǎn)完一整圈觸發(fā)一次提升把第二級(jí)當(dāng)前桶里的定時(shí)器全部取出。對(duì)每個(gè)取出的定時(shí)器按新的剩余時(shí)間重新放回第一級(jí)的某個(gè)桶或者放到更高一級(jí)。這就是級(jí)聯(lián)定時(shí)器的基本運(yùn)作。真實(shí)內(nèi)核里的時(shí)間輪比這個(gè)演示復(fù)雜但底層的“區(qū)間劃分、級(jí)聯(lián)、O(1) 插入刪除”核心一模一樣。在實(shí)現(xiàn)自己的小內(nèi)核時(shí)你完全可以先用這個(gè)簡(jiǎn)化版本先把功能跑通再去考慮匹配真實(shí)內(nèi)核的實(shí)現(xiàn)細(xì)節(jié)。重要提醒寫(xiě)內(nèi)核代碼時(shí)別自己去實(shí)現(xiàn)一套多級(jí)時(shí)間輪替代內(nèi)核自帶定時(shí)器除非你是在課程作業(yè)里自己拼一個(gè)微型內(nèi)核。真實(shí)內(nèi)核的時(shí)間輪已經(jīng)處理了 SMP 并發(fā)、回調(diào)上下文、延遲遷移等各種邊界自己造輪子很難在正確性上勝過(guò)它。5. 實(shí)操在一個(gè)內(nèi)核模塊里用好軟件定時(shí)器5.1 場(chǎng)景設(shè)計(jì)與完整示例現(xiàn)在我們把知識(shí)落到代碼上。場(chǎng)景寫(xiě)一個(gè)非常簡(jiǎn)單的內(nèi)核模塊它提供一個(gè) proc 節(jié)點(diǎn)用戶(hù)往節(jié)點(diǎn)寫(xiě)一個(gè)毫秒數(shù)值模塊就在指定時(shí)長(zhǎng)后打印一條日志并自動(dòng)把時(shí)間重置為下一個(gè)周期實(shí)現(xiàn)周期性打印。#include linux/module.h #include linux/kernel.h #include linux/timer.h #include linux/jiffies.h #include linux/proc_fs.h #include linux/uaccess.h static struct timer_list demo_timer; static unsigned long interval_jiffies HZ; /* 默認(rèn) 1 秒 */ static void demo_timer_callback(struct timer_list *t) { pr_info(demo timer fired at %lu\n, jiffies); /* 周期持續(xù)運(yùn)行把到期時(shí)間改到當(dāng)前時(shí)間再加一個(gè)間隔 */ mod_timer(demo_timer, jiffies interval_jiffies); } static ssize_t demo_write(struct file *file, const char __user *buf, size_t count, loff_t *ppos) { char kbuf[32]; unsigned int msecs 0; if (count sizeof(kbuf)) return -EINVAL; if (copy_from_user(kbuf, buf, count)) return -EFAULT; kbuf[count] \0; if (kstrtouint(kbuf, 10, msecs)) return -EINVAL; if (msecs 0) interval_jiffies HZ; else interval_jiffies msecs_to_jiffies(msecs); mod_timer(demo_timer, jiffies interval_jiffies); pr_info(timer interval updated to %u ms\n, msecs); return count; } static const struct proc_ops demo_proc_ops { .proc_write demo_write, }; static int __init demo_init(void) { timer_setup(demo_timer, demo_timer_callback, 0); mod_timer(demo_timer, jiffies interval_jiffies); proc_create(demo_timer, 0666, NULL, demo_proc_ops); pr_info(demo timer module loaded\n); return 0; } static void __exit demo_exit(void) { remove_proc_entry(demo_timer, NULL); del_timer_sync(demo_timer); pr_info(demo timer module unloaded\n); } module_init(demo_init); module_exit(demo_exit); MODULE_LICENSE(GPL);這個(gè)模塊的設(shè)計(jì)有幾個(gè)值得琢磨的點(diǎn)。第一回調(diào)函數(shù)里把mod_timer放在最后一行而不是放在回調(diào)一開(kāi)始這樣能避免一種競(jìng)爭(zhēng)如果定時(shí)器剛被觸發(fā)此刻還沒(méi)有重新排隊(duì)用戶(hù)在 proc 寫(xiě)操作里改時(shí)間邊界的順序就變得可控。先重新排期再打印日志是更好的做法但為了代碼簡(jiǎn)潔放在pr_info之后也問(wèn)題不大——只要你不在這兩者之間做狀態(tài)清理。第二del_timer_sync是卸載時(shí)最關(guān)鍵的一行。模塊退出函數(shù)里先刪除 proc 節(jié)點(diǎn)防止新用戶(hù)操作進(jìn)來(lái)再同步刪除定時(shí)器保證回調(diào)函數(shù)已經(jīng)不在任何處理器上運(yùn)行之后才能放心釋放模塊申請(qǐng)的資源。順序不能反如果先刪定時(shí)器再刪 proc 節(jié)點(diǎn)中間窗口期用戶(hù)還是可能改定時(shí)器的到期時(shí)間卸載路徑上就多了一個(gè)需要同步的變量。第三用戶(hù)傳入 0 毫秒時(shí)的處理。把它當(dāng)成重置為默認(rèn)值這里使用 0 作為非法值是刻意設(shè)計(jì)避免msecs_to_jiffies(0)直接生成 0 個(gè) jiffies 導(dǎo)致定時(shí)器立刻觸發(fā)讓系統(tǒng)陷入空轉(zhuǎn)。5.2 回調(diào)函數(shù)里什么事情絕對(duì)不能做如果說(shuō)定時(shí)器 API 是形式那回調(diào)函數(shù)的約束才是靈魂。軟件定時(shí)器的回調(diào)運(yùn)行在軟中斷上下文準(zhǔn)確說(shuō)是TIMER_SOFTIRQ這種軟中斷環(huán)境里不是進(jìn)程上下文。這里有幾條高壓線不能調(diào)用sleep或任何可能睡眠的函數(shù)比如msleep、wait_event、mutex_lock。睡眠會(huì)導(dǎo)致軟中斷卡死進(jìn)而連累整個(gè)系統(tǒng)的定時(shí)器分發(fā)。不能調(diào)用kmalloc并帶有GFP_KERNEL標(biāo)志因?yàn)榉峙鋬?nèi)存可能需要阻塞來(lái)回收頁(yè)面。這時(shí)候要用GFP_ATOMIC但也要盡量少用。不能直接操作用戶(hù)態(tài)內(nèi)存比如通過(guò)指針訪問(wèn)用戶(hù)空間地址。因?yàn)榇藭r(shí)沒(méi)有合法的進(jìn)程地址空間上下文。不能長(zhǎng)時(shí)間自旋忙等因?yàn)檐浿袛嗥陂g本地中斷處理也受約束長(zhǎng)時(shí)間忙等會(huì)讓其他中斷延遲劇增。如果回調(diào)里確實(shí)需要做耗時(shí)操作標(biāo)準(zhǔn)做法是立刻把一個(gè)工作項(xiàng)提交到 Linux 工作隊(duì)列定時(shí)器回調(diào)只是“叫醒服務(wù)”真正干活的人在進(jìn)程上下文里運(yùn)行。用一句話概括定時(shí)器回調(diào)是門(mén)鈴不是廚師。門(mén)鈴響了廚師才從休息室出來(lái)開(kāi)火你不能讓門(mén)鈴自己把一整桌菜做出來(lái)。static void timer_cb(struct timer_list *t) { /* 只投遞不干活 */ schedule_work(my_work); }5.3 周期定時(shí)器三種寫(xiě)法的取舍實(shí)現(xiàn)周期任務(wù)有三種常見(jiàn)寫(xiě)法我也給新手一個(gè)選擇依據(jù)。第一種回調(diào)函數(shù)末尾再調(diào)用mod_timer。優(yōu)點(diǎn)是代碼簡(jiǎn)單缺點(diǎn)是如果回調(diào)執(zhí)行時(shí)間波動(dòng)較大周期會(huì)跟著漂移因?yàn)樗偸菑摹盎卣{(diào)執(zhí)行時(shí)刻”重新計(jì)算下個(gè)到期點(diǎn)。第二種在回調(diào)開(kāi)頭記錄jiffies末尾用“基準(zhǔn)時(shí)刻加上固定間隔”重新設(shè)置到期時(shí)間。這能讓周期盡量逼近理想值但要小心如果回調(diào)執(zhí)行時(shí)間已經(jīng)超過(guò)一個(gè)周期就會(huì)出現(xiàn)到期時(shí)間落在當(dāng)前時(shí)間之前的情況mod_timer會(huì)對(duì)過(guò)去時(shí)間做什么它會(huì)直接通知你馬上到期導(dǎo)致連續(xù)觸發(fā)俗稱(chēng)“追趕”。第三種用hrtimer的HRTIMER_MODE_REL或HRTIMER_MODE_ABS模式實(shí)現(xiàn)高精度周期任務(wù)。雖然更復(fù)雜但能利用硬件時(shí)鐘的精確性。比起糾結(jié)低精度定時(shí)器的周期漂移直接提升定時(shí)器精度往往更省心。我個(gè)人寫(xiě)驅(qū)動(dòng)時(shí)除非目標(biāo)是極簡(jiǎn)驗(yàn)證流程否則周期任務(wù)優(yōu)先考慮用內(nèi)核工作隊(duì)列的schedule_delayed_work它自帶延遲調(diào)度語(yǔ)義也更適合跑流程較重的邏輯。6. 常見(jiàn)問(wèn)題與調(diào)試實(shí)錄6.1 癥狀定時(shí)器從不觸發(fā)如果加載模塊后日志里一次回調(diào)都沒(méi)出現(xiàn)先別急著懷疑 API 用法。多數(shù)情況是下面三個(gè)原因之一。第一個(gè)原因是到期時(shí)間設(shè)置為相對(duì)值而不是絕對(duì)值。比如寫(xiě)的是timer.expires 100意思想表達(dá)“等 100 個(gè) tick”實(shí)際語(yǔ)義卻是“系統(tǒng)運(yùn)行到 100 個(gè) tick 時(shí)就觸發(fā)”。如果系統(tǒng)已經(jīng)跑了幾十萬(wàn)個(gè) tick這個(gè)定時(shí)器永遠(yuǎn)等不來(lái)。解決方式是在打印日志時(shí)把jiffies也輸出對(duì)比一下當(dāng)前值和到期值。第二個(gè)原因是定時(shí)器根本沒(méi)有被掛到時(shí)間輪上。只調(diào)用了timer_setup沒(méi)調(diào)add_timer或mod_timer定時(shí)器只是初始化了但不在任何桶里。檢查代碼里有沒(méi)有真的執(zhí)行掛載操作以及掛載操作是否在 error path 里被跳過(guò)。第三個(gè)原因是回調(diào)函數(shù)本身出錯(cuò)導(dǎo)致模塊崩潰但這個(gè)癥狀往往不是“從不觸發(fā)”而是觸發(fā)后系統(tǒng)死掉或者模塊 unload 失敗。用 dmesg 抓一下崩潰的棧信息基本都能定位到回調(diào)函數(shù)的哪一行出了問(wèn)題。我在調(diào)試時(shí)習(xí)慣在初始化和回調(diào)入口各打一條帶jiffies的日志這樣能立刻看到時(shí)間是否在推進(jìn)、定時(shí)器是否到期、回調(diào)是否入庫(kù)。6.2 癥狀模塊卸載時(shí)死鎖或者崩潰卸載時(shí)遇到死鎖首先要想到del_timer_sync和回調(diào)函數(shù)的鎖順序問(wèn)題。假設(shè)回調(diào)函數(shù)持有一個(gè)鎖 A卸載路徑先拿到同一個(gè)鎖 A再去調(diào)用del_timer_sync等回調(diào)結(jié)束這種情況下必定死鎖。因?yàn)榛卣{(diào)在等鎖而持鎖方在等回調(diào)結(jié)束。這類(lèi)死鎖的本質(zhì)是“回調(diào)函數(shù)和卸載路徑共享了同一把鎖”。解決辦法是不要讓卸載路徑持鎖去等待定時(shí)器同步結(jié)束可以在釋放鎖之后再做del_timer_sync或者回調(diào)函數(shù)內(nèi)部只用無(wú)鎖的原子變量傳遞狀態(tài)。如果卸載時(shí)直接崩潰大概率是del_timer_sync之后仍然訪問(wèn)了回調(diào)函數(shù)可能用到的數(shù)據(jù)。比如某個(gè)設(shè)備結(jié)構(gòu)體已經(jīng)被kfree而回調(diào)函數(shù)里還通過(guò)container_of把這個(gè)結(jié)構(gòu)體取出來(lái)用。標(biāo)準(zhǔn)做法是先del_timer_sync保證回調(diào)不再運(yùn)行再釋放相關(guān)數(shù)據(jù)結(jié)構(gòu)。次序錯(cuò)了就是“定時(shí)器先釋放、回調(diào)后訪問(wèn)”的懸垂指針災(zāi)難。6.3 癥狀定時(shí)器回調(diào)里睡眠導(dǎo)致系統(tǒng)異常新手最容易踩的就是在回調(diào)函數(shù)里調(diào)用msleep(10)。表面看只是一次毫秒級(jí)睡眠實(shí)際上軟中斷上下文不允許睡眠內(nèi)核會(huì)在調(diào)度器入口處打出BUG: scheduling while atomic的警告系統(tǒng)進(jìn)入不穩(wěn)定狀態(tài)時(shí)不時(shí)無(wú)響應(yīng)。要徹底扭轉(zhuǎn)自己的直覺(jué)不是“盡量別在回調(diào)里睡眠”而是“回調(diào)里絕對(duì)不許睡眠”。耗時(shí)工作全部外包給schedule_work或者queue_work。頻繁觸發(fā)的高頻定時(shí)器外包時(shí)要注意合并請(qǐng)求避免產(chǎn)生堆積的大量工作項(xiàng)可以考慮使用work_pending之類(lèi)的判斷來(lái)防止重復(fù)提交。附上一份我在教學(xué)時(shí)常用的排查速查表可以幫你快速定位問(wèn)題癥狀可能原因排查方向定時(shí)器完全不觸發(fā)expires 填了相對(duì)值、沒(méi)掛載打印 jiffies 對(duì)比檢查 add_timer/mod_timer觸發(fā)時(shí)間偏晚HZ 太小、回調(diào)被搶占核對(duì) HZ 配置區(qū)分開(kāi)軟件定時(shí)器與 hrtimer卸載時(shí)死鎖鎖順序問(wèn)題分析卸載路徑與回調(diào)的鎖依賴(lài)卸載后崩潰del_timer_sync 之后數(shù)據(jù)被釋放調(diào)整釋放順序先同步刪除定時(shí)器再釋放結(jié)構(gòu)體系統(tǒng)警告 scheduling while atomic回調(diào)中睡眠改用工作隊(duì)列禁止在回調(diào)里調(diào)用可睡眠函數(shù)定時(shí)器被重復(fù)觸發(fā)回調(diào)里 mod_timer 邏輯有誤檢查邊界條件保證至少有一個(gè)固定間隔間隔6.4 調(diào)試技巧利用軟中斷上下文信息當(dāng)你在dmesg里看到BUG: scheduling while atomic這類(lèi)消息時(shí)它其實(shí)帶著一份調(diào)用棧足以指出睡眠發(fā)生的位置。不要只盯著最后一行BUG標(biāo)題往上翻找__might_sleep調(diào)用之前的函數(shù)鏈找到的是你的定時(shí)器回調(diào)被調(diào)用的入口。如果系統(tǒng)只是卡死而不報(bào)錯(cuò)優(yōu)先懷疑鎖的問(wèn)題而非死循環(huán)。軟中斷里死循環(huán)的現(xiàn)象是所有 CPU 軟中斷被卡住而普通用戶(hù)態(tài)任務(wù)可能還能運(yùn)行。這種區(qū)分方式比無(wú)腦打印日志更高效。配合perf采樣可以更精準(zhǔn)定位熱點(diǎn)不過(guò)很多人忽略了這里也算一個(gè)經(jīng)驗(yàn)之談。6.5 一個(gè)容易忽視的提升點(diǎn)定時(shí)器對(duì)象的復(fù)用注意定時(shí)器對(duì)象可以被反復(fù)mod_timer但它不能被同時(shí)掛到兩個(gè)不同的執(zhí)行路徑上。比如驅(qū)動(dòng)里如果有兩個(gè)線程都想操作同一個(gè)定時(shí)器各自調(diào)用mod_timer最后的到期時(shí)間取決于后調(diào)用的那個(gè)。這種競(jìng)爭(zhēng)在低并發(fā)場(chǎng)景下可能無(wú)害但在高并發(fā)驅(qū)動(dòng)里可能導(dǎo)致一個(gè)事件的超時(shí)判斷被另一個(gè)無(wú)關(guān)請(qǐng)求覆蓋。解決辦法很簡(jiǎn)單要么保證代碼里只有一個(gè)執(zhí)行路徑能修改定時(shí)器要么為每個(gè)需求創(chuàng)建獨(dú)立的定時(shí)器實(shí)例要么用spinlock保護(hù)對(duì)定時(shí)器的所有操作。我在實(shí)際項(xiàng)目中偏好“獨(dú)立實(shí)例”因?yàn)殒i雖簡(jiǎn)單但一旦回調(diào)里再操作同一把鎖死鎖風(fēng)險(xiǎn)就悄悄爬上來(lái)了。獨(dú)立實(shí)例讓鎖定邊界更清晰是一個(gè)工程直覺(jué)上的加分選項(xiàng)。收尾之前一句話給你兜底軟件定時(shí)器這個(gè)模塊說(shuō)簡(jiǎn)單也簡(jiǎn)單說(shuō)難也難。簡(jiǎn)單在于它的 API 只有初始化、改期、刪除三個(gè)動(dòng)作復(fù)雜在于它和時(shí)鐘中斷、軟中斷、并發(fā)安全、鎖依賴(lài)這些問(wèn)題緊緊抱在一起。在我?guī)н^(guò)的新人里能把mod_timer用得順手的人不算少但能同時(shí)說(shuō)清楚“為什么回調(diào)不能睡、為什么卸載要先刪 proc 再刪定時(shí)器、為什么 expires 必須填絕對(duì)值”的基本都能算對(duì)內(nèi)核調(diào)度有點(diǎn)真理解了。最后一件事分享給做實(shí)驗(yàn)的同學(xué)HZ設(shè)置成 100 做演示沒(méi)有什么問(wèn)題但你在文檔里描述定時(shí)器精度時(shí)記得把CONFIG_HZ的值寫(xiě)進(jìn)去否則別人復(fù)現(xiàn)你的實(shí)驗(yàn)換個(gè)HZ1000的發(fā)行版內(nèi)核得到的觸發(fā)間隔和你的結(jié)論對(duì)不上排查半天發(fā)現(xiàn)是配置差異。我在指導(dǎo)某個(gè)學(xué)生項(xiàng)目時(shí)踩過(guò)這個(gè)坑后來(lái)所有實(shí)驗(yàn)文檔第一行就固定寫(xiě)清環(huán)境參數(shù)這類(lèi)問(wèn)題再也沒(méi)出現(xiàn)過(guò)。拼湊內(nèi)核拼到定時(shí)器這一站后面的路就順了——畢竟時(shí)間能“軟”起來(lái)剩下的調(diào)度、超時(shí)、協(xié)作就都有地方落腳。