在調(diào)試一個(gè)多進(jìn)程程序的時(shí)候我碰到過(guò)一個(gè)讓新手極其困惑的現(xiàn)象父進(jìn)程里打印某個(gè)全局變量的地址是0x601040fork 出來(lái)的子進(jìn)程里打印同一個(gè)變量地址還是0x601040。兩個(gè)進(jìn)程明明是兩個(gè)獨(dú)立的執(zhí)行體為什么變量地址會(huì)一模一樣更讓人想不通的是子進(jìn)程改了這個(gè)變量的值父進(jìn)程那邊紋絲不動(dòng)既然地址一樣改的不應(yīng)該是同一塊內(nèi)存嗎這兩個(gè)問(wèn)題指向的都是進(jìn)程地址空間這套機(jī)制。它解決了操作系統(tǒng)里最核心的矛盾之一多個(gè)進(jìn)程如何在一個(gè)物理內(nèi)存有限的機(jī)器上互不干擾地運(yùn)行。理解進(jìn)程地址空間、頁(yè)表、寫(xiě)時(shí)拷貝和虛擬地址這幾件事你才能真正看懂 fork 的代價(jià)、內(nèi)存映射文件的共享語(yǔ)義、以及為什么一個(gè)野指針有時(shí)候崩有時(shí)候不崩。這篇內(nèi)容偏向操作系統(tǒng)底層與系統(tǒng)編程適合寫(xiě)過(guò)一點(diǎn) C、用過(guò) fork 和 malloc但對(duì)背后機(jī)制還停留在“知道有這么回事”階段的讀者。我會(huì)從“為什么要設(shè)計(jì)它”講起一路拆到頁(yè)表項(xiàng)里的每一個(gè)標(biāo)志位和寫(xiě)時(shí)拷貝觸發(fā)的那一刻中間配上可以直接跑起來(lái)的驗(yàn)證代碼。1. 從一次段錯(cuò)誤說(shuō)起進(jìn)程地址空間到底解決了什么問(wèn)題1.1 虛擬地址不是障眼法是精心設(shè)計(jì)的隔離層很多人第一次接觸虛擬地址會(huì)覺(jué)得這就是操作系統(tǒng)玩的障眼法應(yīng)用程序看到的是假的地址硬件在背后偷偷換算成真的。這個(gè)理解沒(méi)錯(cuò)但只說(shuō)對(duì)了表象真正值得琢磨的是為什么非要做這層換算。設(shè)想一個(gè)沒(méi)有虛擬地址的世界程序編譯出來(lái)直接操作物理地址。那么你在寫(xiě)代碼時(shí)就得操心我這次 malloc 拿到的地址會(huì)不會(huì)和隔壁進(jìn)程要用的地址撞上操作系統(tǒng)加載第二個(gè)程序時(shí)得先掃描物理內(nèi)存找到一塊足夠大且連續(xù)的空洞把程序搬進(jìn)去還要把程序里所有寫(xiě)死的地址重新改一遍才能跑。物理內(nèi)存一旦碎片化一個(gè)需要 100MB 連續(xù)空間的程序哪怕總空閑有 200MB 也起不來(lái)。更要命的是任何一個(gè)進(jìn)程的野指針都可以直接踩到別的進(jìn)程的數(shù)據(jù)一個(gè) bug 能連帶毀掉整臺(tái)機(jī)器上所有在跑的東西。虛擬地址機(jī)制把“程序看到的地址”和“內(nèi)存條上的實(shí)際位置”徹底解耦。每個(gè)進(jìn)程拿到一張獨(dú)立的映射表表里寫(xiě)著“我的 0x601040 對(duì)應(yīng)物理內(nèi)存的某一塊”。編譯器生成的地址是虛擬地址鏈接器算的也是虛擬地址CPU 執(zhí)行時(shí)先查表再訪存。物理內(nèi)存怎么擺放是內(nèi)核的事程序完全不用管。這就是解耦帶來(lái)的最直接的價(jià)值程序不再需要關(guān)心自己被加載到哪也不需要關(guān)心別人在哪。1.2 為什么每個(gè)進(jìn)程都以為自己獨(dú)占整臺(tái)機(jī)器的內(nèi)存虛擬地址帶來(lái)的第二個(gè)紅利是“獨(dú)占”的錯(cuò)覺(jué)。在 64 位系統(tǒng)上每個(gè)用戶進(jìn)程都擁有一套從 0 到某個(gè)上限的地址范圍看起來(lái)整臺(tái)機(jī)器的地址空間都是它的。所有進(jìn)程的地址空間布局幾乎是相同的代碼段在上方數(shù)據(jù)段、堆、共享庫(kù)、棧按固定的相對(duì)位置排布。這種一致性有個(gè)巨大的好處就是可預(yù)測(cè)性。棧地址的起始位置、堆的起始位置、共享庫(kù)的加載區(qū)域內(nèi)核會(huì)做一定的隨機(jī)化處理但整體格局不變。調(diào)試器看到某個(gè)地址立刻能判斷它大概率落在哪個(gè)區(qū)程序里errno或者線程局部存儲(chǔ)的偏移也是基于這套布局設(shè)計(jì)的。如果地址空間不統(tǒng)一每次加載都要重新規(guī)劃調(diào)試信息和 core dump 的分析會(huì)變得極其痛苦。注意所謂“進(jìn)程看到的是連續(xù)地址空間”指的是虛擬地址連續(xù)背后的物理頁(yè)幾乎一定不連續(xù)。一個(gè) 10MB 的數(shù)組映射到物理內(nèi)存上可能是散落在幾十個(gè)頁(yè)里。把虛擬地址連續(xù)等同于物理連續(xù)是初學(xué)階段最容易帶偏后續(xù)理解的誤區(qū)。1.3 地址空間的布局不是隨機(jī)排的每一塊都有講究拿一個(gè)典型的 64 位 Linux 進(jìn)程來(lái)說(shuō)用戶空間布局大致是這樣的最低地址往后是代碼段text只讀可執(zhí)行接著是已經(jīng)初始化的數(shù)據(jù)段和未初始化的 BSS 段可讀寫(xiě)再往上是堆用 brk 或 mmap 向上生長(zhǎng)中間一大片留空然后是動(dòng)態(tài)鏈接庫(kù)的映射區(qū)mmap 出來(lái)的匿名頁(yè)和文件映射也落在這一帶棧從高地址往低地址生長(zhǎng)環(huán)境變量和命令行參數(shù)就在棧頂。內(nèi)核空間和用戶空間之間有一道分界線x86-64 上這條線大約在地址的高半部分用戶空間占低 128TB內(nèi)核空間占高半部分。每個(gè)進(jìn)程的頁(yè)表里都包含內(nèi)核空間的映射但頁(yè)表項(xiàng)上標(biāo)記了只有特權(quán)級(jí) 0 才能訪問(wèn)所以用戶代碼跑過(guò)去立刻觸發(fā)保護(hù)異常。這種設(shè)計(jì)的巧思在于發(fā)生系統(tǒng)調(diào)用或者進(jìn)程從用戶態(tài)切換到內(nèi)核態(tài)時(shí)不需要切換頁(yè)表基址寄存器內(nèi)核代碼可以直接沿用當(dāng)前進(jìn)程的頁(yè)表訪問(wèn)內(nèi)核空間省掉一次代價(jià)很高的地址空間切換。2. 地址空間存在的深層原因隔離、共享與按需分配2.1 進(jìn)程隔離是底線但不能只靠邊界檢查有人會(huì)問(wèn)操作系統(tǒng)不是有特權(quán)級(jí)嗎為什么不能讓用戶進(jìn)程直接用物理地址靠硬件在每個(gè)訪存指令上做邊界檢查來(lái)隔離答案在于性能和靈活性邊界檢查只能保證不越界保證不了兩個(gè)進(jìn)程不重疊。每個(gè)進(jìn)程的合法區(qū)間是動(dòng)態(tài)變化的堆會(huì)漲棧會(huì)擴(kuò)mmap 會(huì)新增映射。如果靠“給每個(gè)進(jìn)程登記一個(gè)物理區(qū)間”來(lái)管理一旦堆和棧之間的空檔被別的進(jìn)程占了這個(gè)進(jìn)程就再也長(zhǎng)不大了。物理內(nèi)存的連續(xù)性和進(jìn)程需求的不連續(xù)性天然沖突。虛擬地址把“需求”和“供給”拆開(kāi)。進(jìn)程要向內(nèi)核申請(qǐng)內(nèi)存內(nèi)核只需要在它的地址空間里找一段空閑的虛擬區(qū)間分配幾個(gè)物理頁(yè)掛上去就行物理頁(yè)在哪完全無(wú)所謂。進(jìn)程之間的虛擬區(qū)間可以重疊只要映射到不同的物理頁(yè)即可。隔離從“物理上不碰撞”變成了“映射表上不指向同一塊”這個(gè)轉(zhuǎn)換是整套機(jī)制能成立的關(guān)鍵。2.2 共享內(nèi)存和寫(xiě)時(shí)拷貝都建立在地址空間之上隔離不是目的可控的共享才是。兩個(gè)進(jìn)程想共享一塊數(shù)據(jù)有了地址空間之后變得很自然把各自的虛擬區(qū)間映射到相同的物理頁(yè)就行。共享庫(kù)的代碼段就是這么處理的同一個(gè)libc.so的代碼頁(yè)在物理內(nèi)存里只有一份幾百個(gè)進(jìn)程都映射到它只讀不寫(xiě)內(nèi)存利用率直線上升。寫(xiě)時(shí)拷貝也建立在同一套機(jī)制上。fork 的時(shí)候子進(jìn)程的地址空間和父進(jìn)程的地址空間內(nèi)容完全一樣但并不是把物理頁(yè)復(fù)制一遍。內(nèi)核把父子進(jìn)程的頁(yè)表都指向同一批物理頁(yè)然后把這些頁(yè)在雙方的頁(yè)表項(xiàng)里都標(biāo)記成只讀。任何一方要寫(xiě)觸發(fā)頁(yè)保護(hù)異常內(nèi)核才真正復(fù)制出一份新的頁(yè)給寫(xiě)入方。這套機(jī)制把 fork 的代價(jià)從“復(fù)制整個(gè)地址空間”降低到了“復(fù)制頁(yè)表”進(jìn)程創(chuàng)建的語(yǔ)義沒(méi)變開(kāi)銷卻小了一個(gè)數(shù)量級(jí)。沒(méi)有虛擬地址這套間接層寫(xiě)時(shí)拷貝根本無(wú)從談起。2.3 按需分配與缺頁(yè)異常內(nèi)存可以“看著有實(shí)際沒(méi)有”地址空間還有一個(gè)容易被低估的作用它讓內(nèi)存分配可以做到承諾與兌現(xiàn)分離。malloc 申請(qǐng) 1GB 內(nèi)存內(nèi)核可以立刻返回一個(gè)虛擬地址但一個(gè)物理頁(yè)都不給只在這段虛擬區(qū)間上做標(biāo)記。等你真正去讀或者寫(xiě)某個(gè)地址時(shí)MMU 查表發(fā)現(xiàn)頁(yè)表項(xiàng)是空的觸發(fā)缺頁(yè)異常內(nèi)核這時(shí)候才分配物理頁(yè)、建立映射。這個(gè)動(dòng)作叫按需調(diào)頁(yè)。這個(gè)設(shè)計(jì)在現(xiàn)實(shí)里的價(jià)值極高。程序習(xí)慣性地預(yù)留大塊地址空間但只用其中很小一部分或者進(jìn)程啟動(dòng)時(shí)先 mmap 一大塊當(dāng)內(nèi)存池這些場(chǎng)景下按需分配能省下大量物理內(nèi)存。也正因?yàn)槿绱四悴艜?huì)看到進(jìn)程的虛擬內(nèi)存大小VSZ可能有幾個(gè) G而實(shí)際駐留內(nèi)存RSS只有幾十兆。這兩者的差距不是虛胖是地址空間機(jī)制允許的“延遲兌現(xiàn)”。2.4 地址空間與安全頁(yè)表項(xiàng)上的權(quán)限位是最后一道閘門(mén)頁(yè)表項(xiàng)里除了物理頁(yè)號(hào)還有一組權(quán)限標(biāo)志位它們才是運(yùn)行時(shí)安全真正落地的地方。常見(jiàn)的標(biāo)志包括存在位頁(yè)面是否在物理內(nèi)存里、讀寫(xiě)位、用戶/超級(jí)用戶位、可執(zhí)行位、臟位、訪問(wèn)位。代碼段被標(biāo)記為只讀且可執(zhí)行你往函數(shù)體里寫(xiě)數(shù)據(jù)會(huì)直接觸發(fā)段錯(cuò)誤棧和堆標(biāo)記為不可執(zhí)行這是緩解緩沖區(qū)溢出攻擊的常規(guī)手段。這些標(biāo)志不是建議性的是 MMU 在每次地址轉(zhuǎn)換時(shí)強(qiáng)制性檢查的。用戶態(tài)代碼試圖訪問(wèn)標(biāo)記為超級(jí)用戶的頁(yè)MMU 直接拒絕連內(nèi)核代碼路徑都不會(huì)走到。理解這一點(diǎn)之后你就能明白為什么緩沖區(qū)溢出攻擊過(guò)去那么容易得手而現(xiàn)在要先想方設(shè)法繞過(guò)不可執(zhí)行棧也能明白為什么某些嵌入式和實(shí)時(shí)系統(tǒng)為了性能會(huì)放松這些保護(hù)代價(jià)是什么。3. 頁(yè)表虛擬地址到物理地址的翻譯官3.1 頁(yè)表的最基本形態(tài)與地址拆分方式頁(yè)表的核心作用只有一個(gè)給定虛擬地址查出對(duì)應(yīng)的物理頁(yè)號(hào)然后拼上頁(yè)內(nèi)偏移得到物理地址。這個(gè)過(guò)程由 MMU 硬件完成內(nèi)核負(fù)責(zé)維護(hù)頁(yè)表內(nèi)容。地址被拆成“頁(yè)號(hào)”和“頁(yè)內(nèi)偏移”兩部分拆分位置由頁(yè)大小決定。假設(shè)頁(yè)大小是 4KB也就是 2 的 12 次方那么虛擬地址的低 12 位就是頁(yè)內(nèi)偏移高位是虛擬頁(yè)號(hào)。32 位地址下虛擬頁(yè)號(hào)有 20 位能索引 100 萬(wàn)個(gè)頁(yè)面64 位地址下虛擬頁(yè)號(hào)有 52 位理論上有 400 多萬(wàn)億個(gè)頁(yè)。如果直接用一張單級(jí)大表每個(gè)進(jìn)程一張每個(gè)條目哪怕只占 8 字節(jié)64 位下一個(gè)進(jìn)程的頁(yè)表本身就要占用幾十 TB 的空間顯然不現(xiàn)實(shí)。所以現(xiàn)實(shí)中的頁(yè)表都是多級(jí)的。32 位系統(tǒng)常用兩級(jí)頁(yè)表把 20 位虛擬頁(yè)號(hào)再拆成 10 位 10 位第一級(jí) 1024 個(gè)條目每個(gè)條目指向一張第二級(jí)頁(yè)表第二級(jí) 1024 個(gè)條目。64 位系統(tǒng)常用四級(jí)把 52 位拆成 9999剩下 16 位留給高半部分的內(nèi)核空間劃分每一級(jí)指向下一級(jí)的表。這套結(jié)構(gòu)本質(zhì)上是一棵多叉樹(shù)只有實(shí)際用到的分支才會(huì)被分配內(nèi)存。3.2 多級(jí)頁(yè)表省內(nèi)存的原理只分配用到的分支多級(jí)頁(yè)表省內(nèi)存的關(guān)鍵在于稀疏分配的天然適配。一個(gè)進(jìn)程真正用到的地址空間往往只占理論范圍的極小一部分代碼幾兆、數(shù)據(jù)幾兆、棧幾兆、堆看需求共享庫(kù)幾十兆。這些區(qū)域在 64 位地址空間里是極其稀疏地散落的。用一棵四級(jí)樹(shù)去索引大部分分支根本不存在對(duì)應(yīng)的中間層頁(yè)表壓根不用創(chuàng)建。算一筆賬就清楚了。假設(shè)一個(gè)進(jìn)程實(shí)際占用了 100MB 內(nèi)存按 4KB 一頁(yè)算有 25600 個(gè)頁(yè)。這些頁(yè)如果分布在一個(gè)完全不連續(xù)的區(qū)域里最壞情況下需要 25600 個(gè)葉子頁(yè)表?xiàng)l目分散在若干個(gè)葉子頁(yè)表里。每個(gè)葉子頁(yè)表能裝 512 個(gè)條目最壞需要 50 個(gè)葉子頁(yè)表。每一層向上需要的表數(shù)量繼續(xù)收縮。整個(gè)頁(yè)表占用的內(nèi)存大概是葉子層 50 張、中間層可能十幾張、再上層幾張每張 4KB總共不到 1MB。如果換成單級(jí)表64 位下要占幾十 TB差了七個(gè)數(shù)量級(jí)。這就是“用層級(jí)換空間”的經(jīng)典權(quán)衡。維度單級(jí)頁(yè)表四級(jí)頁(yè)表頁(yè)表體積與地址空間總大小成正比64 位下不可接受與實(shí)際使用量成正比稀疏場(chǎng)景下極小查表次數(shù)1 次訪存4 次訪存未命中緩存時(shí)分配粒度全有或全無(wú)按需逐層分配缺頁(yè)處理簡(jiǎn)單需要逐層檢查路徑3.3 頁(yè)表項(xiàng)里的標(biāo)志位與訪存過(guò)程的完整鏈條一個(gè)頁(yè)表項(xiàng)不是只有物理頁(yè)號(hào)它是一堆字段的集合。存在位告訴你這個(gè)頁(yè)當(dāng)前是否在內(nèi)存里如果不在訪問(wèn)時(shí)會(huì)觸發(fā)缺頁(yè)異常讀寫(xiě)位決定這個(gè)頁(yè)是可寫(xiě)還是只讀用戶位決定用戶態(tài)能不能訪問(wèn)可執(zhí)行位配合硬件提供的執(zhí)行保護(hù)決定這個(gè)頁(yè)能不能當(dāng)指令執(zhí)行訪問(wèn)位和臟位由 MMU 自動(dòng)維護(hù)供頁(yè)面置換算法參考此外還有緩存控制位、全局位等等。一次完整的訪存長(zhǎng)這樣CPU 發(fā)出虛擬地址MMU 先查 TLB轉(zhuǎn)換后備緩沖區(qū)本質(zhì)是頁(yè)表項(xiàng)的緩存命中就直接拿到物理地址沒(méi)命中就按頁(yè)表基址寄存器指向的根表逐級(jí)往下查。每一級(jí)查表都是一次內(nèi)存訪問(wèn)四級(jí)頁(yè)表意味著最多四次訪存才能完成一次地址轉(zhuǎn)換。查完之后把結(jié)果塞回 TLB后續(xù)再訪問(wèn)同一頁(yè)就能直接命中。這也是為什么頁(yè)表結(jié)構(gòu)的變化對(duì)性能影響很大多一級(jí)就多一次可能的訪存。提示TLB 的存在使得頁(yè)表查詢的開(kāi)銷在大多數(shù)情況下被隱藏。但進(jìn)程切換時(shí) TLB 需要刷新或者打上地址空間標(biāo)識(shí)來(lái)區(qū)分這是上下文切換成本的重要來(lái)源之一。理解這一點(diǎn)才能理解為什么大量的線程同進(jìn)程運(yùn)行比大量獨(dú)立進(jìn)程切換要便宜。3.4 頁(yè)表基址寄存器與進(jìn)程切換時(shí)發(fā)生了什么每個(gè)進(jìn)程都有自己的頁(yè)表樹(shù)根表的物理地址存在一個(gè)專門(mén)的寄存器里。x86-64 上是 CR3ARM64 上是 TTBR0/TTBR1。進(jìn)程切換時(shí)內(nèi)核要做的關(guān)鍵動(dòng)作之一就是把這個(gè)寄存器換成新進(jìn)程的根表地址。這個(gè)動(dòng)作叫切換地址空間。換完之后TLB 里緩存的老進(jìn)程的頁(yè)表項(xiàng)就全部失效了如果不做處理新的地址會(huì)被錯(cuò)誤翻譯。所以切換時(shí)要清 TLB或者用地址空間標(biāo)識(shí)ASID給 TLB 條目打標(biāo)簽讓不同進(jìn)程的條目可以共存而不互相污染?，F(xiàn)代處理器一般支持 ASID這樣切換進(jìn)程時(shí)不必整體刷 TLB只需要切換當(dāng)前的 ASID開(kāi)銷小很多。這也解釋了為什么在支持 ASID 的平臺(tái)上進(jìn)程創(chuàng)建和切換的實(shí)測(cè)性能會(huì)更好。4. 寫(xiě)時(shí)拷貝fork 之后到底發(fā)生了幾次內(nèi)存復(fù)制4.1 fork 的直覺(jué)實(shí)現(xiàn)與它不可接受的開(kāi)銷教科書(shū)上講 fork 會(huì)創(chuàng)建一個(gè)和父進(jìn)程幾乎一模一樣的子進(jìn)程包括地址空間內(nèi)容的完整副本。如果嚴(yán)格按字面實(shí)現(xiàn)fork 的代價(jià)就是復(fù)制整個(gè)地址空間代碼段不用復(fù)制只讀可以共享但數(shù)據(jù)段、堆、棧全都要復(fù)制一份。一個(gè)占用了 500MB 內(nèi)存的進(jìn)程 fork 一次就要再消耗 500MB 物理內(nèi)存還要花時(shí)間做復(fù)制。現(xiàn)實(shí)中的使用模式卻往往是 fork 之后立刻 exec 別的程序。也就是說(shuō)剛復(fù)制完的 500MB 馬上就會(huì)被 exec 整個(gè)丟掉這次復(fù)制純屬浪費(fèi)。即使不 exec子進(jìn)程往往也只改動(dòng)其中很小一部分?jǐn)?shù)據(jù)其余部分父子完全一致。這兩種場(chǎng)景都說(shuō)明全量復(fù)制是極其低效的。寫(xiě)時(shí)拷貝就是為了消掉這筆開(kāi)銷而設(shè)計(jì)的。4.2 寫(xiě)時(shí)拷貝的完整實(shí)現(xiàn)思路fork 時(shí)內(nèi)核做的是這樣幾件事子進(jìn)程獲得一份父進(jìn)程頁(yè)表的副本注意是頁(yè)表副本不是物理頁(yè)副本頁(yè)表項(xiàng)里指向的物理頁(yè)還是父進(jìn)程原來(lái)那些同時(shí)內(nèi)核把所有可寫(xiě)的頁(yè)表項(xiàng)在父子雙方的頁(yè)表里都改成只讀并在頁(yè)表項(xiàng)里打上一個(gè)“寫(xiě)時(shí)拷貝”的內(nèi)部標(biāo)記頁(yè)面本身的引用計(jì)數(shù)加一。接下來(lái)任何一方對(duì)這些頁(yè)發(fā)起寫(xiě)操作MMU 會(huì)先檢查讀寫(xiě)位發(fā)現(xiàn)是只讀頁(yè)觸發(fā)頁(yè)保護(hù)異常。內(nèi)核進(jìn)入缺頁(yè)處理路徑發(fā)現(xiàn)地址所在的頁(yè)帶著寫(xiě)時(shí)拷貝標(biāo)記就明白這不是真的非法訪問(wèn)而是需要兌現(xiàn)復(fù)制。此時(shí)內(nèi)核分配一個(gè)新的物理頁(yè)把老頁(yè)的內(nèi)容復(fù)制過(guò)去更新觸發(fā)寫(xiě)入那一方的頁(yè)表項(xiàng)指向新頁(yè)并恢復(fù)可寫(xiě)減少老頁(yè)的引用計(jì)數(shù)。如果老頁(yè)的引用計(jì)數(shù)已經(jīng)降到只剩另一方在用那也可以直接把老頁(yè)的只讀屬性改回可寫(xiě)省掉一次復(fù)制。這套機(jī)制的妙處在于它讓“復(fù)制整個(gè)地址空間”這個(gè)語(yǔ)義保持不變但實(shí)際搬運(yùn)只發(fā)生在真正被寫(xiě)到的頁(yè)上。父子進(jìn)程共享不變的部分只在分歧處各自持有副本。從程序員的視角看fork 之后兩個(gè)進(jìn)程的內(nèi)存是完全隔離的改誰(shuí)都不影響誰(shuí)這個(gè)保證一點(diǎn)沒(méi)丟。4.3 一次寫(xiě)操作觸發(fā)寫(xiě)時(shí)拷貝的微觀過(guò)程把觸發(fā)過(guò)程走一遍會(huì)理解得更扎實(shí)。假設(shè)父進(jìn)程有一個(gè)全局?jǐn)?shù)組arrfork 之前它是可寫(xiě)的對(duì)應(yīng)某個(gè)物理頁(yè) P。fork 之后這個(gè)頁(yè)在父和子雙方的頁(yè)表項(xiàng)里都變成只讀標(biāo)記寫(xiě)時(shí)拷貝P 的引用計(jì)數(shù)變成 2。子進(jìn)程執(zhí)行arr[0] 1。CPU 發(fā)出寫(xiě)請(qǐng)求MMU 查頁(yè)表發(fā)現(xiàn)頁(yè)是只讀的硬件拋出一個(gè)頁(yè)錯(cuò)誤異常把出錯(cuò)的虛擬地址和錯(cuò)誤碼塞進(jìn)特定寄存器跳到內(nèi)核的缺頁(yè)處理函數(shù)。內(nèi)核根據(jù)錯(cuò)誤碼判斷這是一次寫(xiě)保護(hù)錯(cuò)誤而不是頁(yè)不存在錯(cuò)誤。接著它去找對(duì)應(yīng)的虛擬內(nèi)存區(qū)域描述符確認(rèn)這個(gè)地址本來(lái)應(yīng)該是可寫(xiě)的再檢查頁(yè)表項(xiàng)上的寫(xiě)時(shí)拷貝標(biāo)記。確認(rèn)無(wú)誤后內(nèi)核分配新頁(yè) Q把 P 的內(nèi)容復(fù)制到 Q更新子進(jìn)程的頁(yè)表項(xiàng)讓它指向 Q 并設(shè)為可寫(xiě)P 的引用計(jì)數(shù)減到 1。對(duì)于父進(jìn)程既然現(xiàn)在只有它自己在用 P把 P 的頁(yè)表項(xiàng)改回可寫(xiě)寫(xiě)時(shí)拷貝標(biāo)記清掉。整個(gè)處理結(jié)束重新執(zhí)行剛才那條寫(xiě)指令這次 MMU 看到的是可寫(xiě)頁(yè)寫(xiě)入成功。這一整套下來(lái)只有真正被寫(xiě)的那一頁(yè)被復(fù)制了其他頁(yè)原封不動(dòng)依然共享。4.4 寫(xiě)時(shí)拷貝的幾個(gè)實(shí)戰(zhàn)陷阱寫(xiě)時(shí)拷貝聽(tīng)起來(lái)很美用的時(shí)候有幾個(gè)坑很容易踩。第一個(gè)是引用計(jì)數(shù)的維護(hù)成本。每一頁(yè)的引用計(jì)數(shù)都要在 fork 時(shí)增加、寫(xiě)時(shí)拷貝時(shí)減少、進(jìn)程退出時(shí)清理內(nèi)核在頁(yè)結(jié)構(gòu)上維護(hù)這個(gè)計(jì)數(shù)鎖競(jìng)爭(zhēng)在高并發(fā) fork 場(chǎng)景下會(huì)成為瓶頸。有些老版本的內(nèi)核在這方面有過(guò)比較明顯的性能問(wèn)題。第二個(gè)是寫(xiě)時(shí)拷貝會(huì)放大內(nèi)存峰值。fork 一個(gè)占內(nèi)存很大的進(jìn)程如果父子都開(kāi)始大量寫(xiě)物理內(nèi)存可能瞬間翻倍觸發(fā)內(nèi)存回收甚至 OOM。容器場(chǎng)景下內(nèi)存限額卡得緊這種突發(fā)很容易被誤判為內(nèi)存泄漏。第三個(gè)是大頁(yè)與寫(xiě)時(shí)拷貝的互動(dòng)。透明大頁(yè)讓一次寫(xiě)時(shí)拷貝的復(fù)制粒度從 4KB 變成 2MB單次復(fù)制的開(kāi)銷明顯變大延遲毛刺更容易出現(xiàn)。注意不要假設(shè) fork 之后子進(jìn)程立刻擁有獨(dú)立內(nèi)存。如果你的邏輯依賴“fork 后父子內(nèi)存已經(jīng)隔離”這個(gè)事實(shí)那是對(duì)的但如果你的邏輯依賴“fork 后內(nèi)存已經(jīng)復(fù)制完成”那就是錯(cuò)的。物理復(fù)制是延遲到寫(xiě)入那一刻的。這個(gè)區(qū)別在分析內(nèi)存占用和性能曲線時(shí)非常關(guān)鍵。5. 動(dòng)手驗(yàn)證親手看清虛擬地址、頁(yè)表與寫(xiě)時(shí)拷貝5.1 打印變量地址看清虛擬地址的一致性與獨(dú)立性先寫(xiě)一段最直接的代碼驗(yàn)證“父子進(jìn)程同一變量地址相同但值互不影響”。#include stdio.h #include unistd.h #include sys/wait.h int shared_var 100; int main(void) { printf(before fork: shared_var %p, value %d\n, (void*)shared_var, shared_var); pid_t pid fork(); if (pid 0) { printf(child : shared_var %p, value %d\n, (void*)shared_var, shared_var); shared_var 200; printf(child after write: shared_var %p, value %d\n, (void*)shared_var, shared_var); _exit(0); } waitpid(pid, NULL, 0); printf(parent: shared_var %p, value %d\n, (void*)shared_var, shared_var); return 0; }編譯運(yùn)行之后你會(huì)看到子進(jìn)程打印的地址和父進(jìn)程完全一致都是同一個(gè)虛擬地址子進(jìn)程把它改成 200 之后父進(jìn)程讀到的仍然是 100。這正是寫(xiě)時(shí)拷貝在起作用。地址一致是因?yàn)樽舆M(jìn)程復(fù)制了父進(jìn)程的頁(yè)表虛擬地址到物理頁(yè)的映射關(guān)系被復(fù)制了值隔離是因?yàn)閷?xiě)入觸發(fā)了復(fù)制子進(jìn)程寫(xiě)到一張新頁(yè)上父進(jìn)程那張頁(yè)仍保持原值。值得多說(shuō)一句的是地址為什么能一致。因?yàn)?fork 復(fù)制的是地址空間的結(jié)構(gòu)子進(jìn)程的地址空間布局和父進(jìn)程一模一樣同一變量自然占據(jù)同一個(gè)虛擬地址。如果這里看到的地址不一樣那才是出了問(wèn)題。5.2 用引用計(jì)數(shù)和內(nèi)存統(tǒng)計(jì)觀察寫(xiě)時(shí)拷貝的實(shí)際開(kāi)銷光看值變化還不夠我們想量化寫(xiě)時(shí)拷貝?？梢栽?fork 前后讀取/proc/self/status里的 VmRSS駐留物理內(nèi)存和/proc/self/smaps里的共享內(nèi)存字段。寫(xiě)一段對(duì)照實(shí)驗(yàn)先 fork 一個(gè)吃掉幾百兆內(nèi)存的子進(jìn)程讓父子都只讀觀察 RSS再讓父子都大量寫(xiě)觀察 RSS 變化。# 簡(jiǎn)化示意查看當(dāng)前進(jìn)程的駐留內(nèi)存與共享內(nèi)存 grep -E VmRSS|VmSize|RssAnon|RssFile|RssShmem /proc/self/status實(shí)測(cè)下來(lái)會(huì)發(fā)現(xiàn)一個(gè)典型現(xiàn)象fork 之后、寫(xiě)入之前父子的 {RssShmem} 都會(huì)包含同一批頁(yè)總和并不等于兩者之和因?yàn)槲锢眄?yè)只有一份一旦雙方開(kāi)始寫(xiě)同一批頁(yè)RSS 總量會(huì)上升上升的幅度大致等于被寫(xiě)的頁(yè)數(shù)乘以頁(yè)大小。這個(gè)測(cè)量方法是判斷“寫(xiě)時(shí)拷貝有沒(méi)有真正生效”最直接的手段比看代碼推測(cè)靠譜得多。提示觀察時(shí)要注意頁(yè)緩存和匿名頁(yè)的區(qū)別。文件映射的頁(yè)在寫(xiě)時(shí)拷貝里走的是另一條路徑復(fù)制到匿名頁(yè)只盯著 VmRSS 會(huì)漏掉部分信息把 RssAnon 和 RssShmem 一起看才完整。5.3 用頁(yè)錯(cuò)誤計(jì)數(shù)器確認(rèn)寫(xiě)時(shí)拷貝的觸發(fā)時(shí)機(jī)如果內(nèi)核支持 perf可以直接統(tǒng)計(jì)缺頁(yè)事件把寫(xiě)時(shí)拷貝的觸發(fā)點(diǎn)抓出來(lái)。perf stat -e page-faults,minor-faults,major-faults ./cow_demominor fault 是頁(yè)已經(jīng)在內(nèi)存里但頁(yè)表項(xiàng)需要更新的情況寫(xiě)時(shí)拷貝觸發(fā)的正是這一類。跑一個(gè)只讀子進(jìn)程minor fault 數(shù)量很低跑一個(gè)寫(xiě)完整個(gè)數(shù)據(jù)區(qū)的子進(jìn)程minor fault 數(shù)量會(huì)明顯上升大約和寫(xiě)入的頁(yè)數(shù)同量級(jí)。這個(gè)對(duì)應(yīng)關(guān)系非常直觀是做性能分析時(shí)的常用佐證。另一個(gè)手段是/proc/pid/pagemap和/proc/pid/smaps能拿到每個(gè)虛擬頁(yè)對(duì)應(yīng)的物理頁(yè)幀號(hào)需要相應(yīng)權(quán)限把父子進(jìn)程同一虛擬地址的物理幀號(hào)對(duì)比就能看到寫(xiě)入前相同、寫(xiě)入后不同。這個(gè)驗(yàn)證比任何文字說(shuō)明都有說(shuō)服力強(qiáng)烈建議自己動(dòng)手做一遍做過(guò)之后對(duì)寫(xiě)時(shí)拷貝的理解會(huì)從“背下來(lái)的概念”變成“親眼見(jiàn)過(guò)的事實(shí)”。5.4 觀察棧、堆、共享庫(kù)的地址分布理解地址空間布局最后再補(bǔ)一個(gè)小實(shí)驗(yàn)把各區(qū)域的地址打印出來(lái)驗(yàn)證地址空間的布局。#include stdio.h #include stdlib.h int g_init 1; int g_bss; int main(void) { int local 2; int *heap malloc(sizeof(int)); printf(text approx : %p\n, (void*)main); printf(data : %p\n, (void*)g_init); printf(bss : %p\n, (void*)g_bss); printf(heap : %p\n, (void*)heap); printf(stack : %p\n, (void*)local); printf(libc printf : %p\n, (void*)printf); free(heap); return 0; }跑出來(lái)通常是代碼段地址最低數(shù)據(jù)段緊隨其后堆在數(shù)據(jù)段上方并且向上增長(zhǎng)棧地址明顯偏高共享庫(kù)落在中間偏上的映射區(qū)。每次運(yùn)行的具體數(shù)值因?yàn)殡S機(jī)化會(huì)略有差異但相對(duì)次序穩(wěn)定。把這個(gè)次序和前面講的布局對(duì)上地址空間就不再是一個(gè)抽象名詞而是一張你能畫(huà)出來(lái)的圖。6. 常見(jiàn)問(wèn)題與踩坑記錄6.1 寫(xiě)時(shí)拷貝與虛擬地址相關(guān)問(wèn)題速查現(xiàn)象可能原因排查與處理思路fork 后子進(jìn)程改數(shù)據(jù)父進(jìn)程也變了誤用了共享內(nèi)存映射或全局可變狀態(tài)被其他路徑影響確認(rèn)是否用了 MAP_SHARED 的 mmap檢查是否有信號(hào)處理函數(shù)或其他線程在改數(shù)據(jù)父子進(jìn)程變量地址相同但值不同懷疑程序有 bug其實(shí)是寫(xiě)時(shí)拷貝的正常表現(xiàn)這是預(yù)期行為虛擬地址相同不代表物理頁(yè)相同內(nèi)存占用統(tǒng)計(jì)出現(xiàn)雙份懷疑泄漏寫(xiě)時(shí)拷貝被大量觸發(fā)物理頁(yè)真的復(fù)制了關(guān)注 RssAnon 與 minor fault 數(shù)量確認(rèn)是否大量寫(xiě)入共享頁(yè)程序訪問(wèn)某地址崩潰換一次運(yùn)行卻不崩訪問(wèn)落在未映射區(qū)間或落在依賴環(huán)境的內(nèi)存布局上別依賴未定義行為用調(diào)試器看崩潰地址落在哪個(gè)區(qū)域頁(yè)表分析工具讀不到物理幀號(hào)權(quán)限不足或內(nèi)核配置限制了 pagemap 訪問(wèn)檢查權(quán)限容器環(huán)境里這類信息通常被屏蔽大頁(yè)開(kāi)啟后延遲毛刺變多寫(xiě)時(shí)拷貝按大頁(yè)粒度復(fù)制單次開(kāi)銷變大對(duì)延遲敏感的進(jìn)程可考慮關(guān)閉透明大頁(yè)或調(diào)整策略6.2 幾個(gè)我在實(shí)際排查中踩過(guò)的坑第一個(gè)坑是把虛擬地址當(dāng)成唯一標(biāo)識(shí)。做進(jìn)程間通信時(shí)曾經(jīng)想用變量地址當(dāng) key 去共享數(shù)據(jù)結(jié)果兩個(gè)進(jìn)程地址一樣但根本指向不同的物理頁(yè)數(shù)據(jù)完全對(duì)不上。正確做法是用文件映射或者顯式的共享內(nèi)存區(qū)并約定偏移量而不是拿虛擬地址當(dāng)索引。第二個(gè)坑是忽略寫(xiě)時(shí)拷貝導(dǎo)致的延遲抖動(dòng)。某個(gè)服務(wù) fork 出工作進(jìn)程后工作進(jìn)程第一筆請(qǐng)求的延遲總是偏高一開(kāi)始以為是冷啟動(dòng)。后來(lái)用 perf 看 minor fault發(fā)現(xiàn)是寫(xiě)時(shí)拷貝在第一次寫(xiě)大量頁(yè)時(shí)集中觸發(fā)復(fù)制開(kāi)銷堆在了請(qǐng)求路徑上。處理方式是在 fork 之后、開(kāi)始服務(wù)之前先主動(dòng)預(yù)熱一遍要寫(xiě)的數(shù)據(jù)區(qū)把復(fù)制成本前移。第三個(gè)坑是誤判內(nèi)存泄漏。容器里看著內(nèi)存一直在漲實(shí)際上是因?yàn)?fork 出來(lái)的子進(jìn)程和父進(jìn)程都在寫(xiě)同一批頁(yè)寫(xiě)時(shí)拷貝復(fù)制了物理頁(yè)父進(jìn)程的 RSS 沒(méi)降子進(jìn)程的 RSS 又漲上來(lái)總和翻倍。這不是泄漏是寫(xiě)時(shí)拷貝的正常開(kāi)銷進(jìn)程退出后會(huì)釋放。區(qū)分這兩種情況的關(guān)鍵是看增長(zhǎng)曲線是否收斂以及是否與 fork 事件強(qiáng)相關(guān)。第四個(gè)坑是頁(yè)表項(xiàng)的權(quán)限位理解不到位導(dǎo)致誤判。有同學(xué)寫(xiě)了一段往只讀段寫(xiě)數(shù)據(jù)的代碼看到崩潰就以為是段錯(cuò)誤機(jī)制沒(méi)生效實(shí)際上是編譯器把那個(gè)“變量”優(yōu)化進(jìn)了寄存器壓根沒(méi)發(fā)生內(nèi)存寫(xiě)。這類問(wèn)題最好在編譯時(shí)關(guān)掉優(yōu)化-O0再觀察或者把變量聲明成volatile并實(shí)際取地址避免被優(yōu)化掉。6.3 關(guān)于頁(yè)表與地址空間幾個(gè)值得記住的經(jīng)驗(yàn)判斷遇到與內(nèi)存相關(guān)的詭異問(wèn)題時(shí)我一般按這個(gè)順序排查先確認(rèn)崩潰地址落在哪個(gè)區(qū)域是代碼段、堆、棧還是未映射區(qū)再看/proc/pid/maps確認(rèn)這個(gè)區(qū)域的權(quán)限是否符合預(yù)期接著看/proc/pid/smaps里的詳細(xì)字段確認(rèn)是共享頁(yè)還是私有頁(yè)最后用 perf 或 strace 看系統(tǒng)調(diào)用路徑。這個(gè)順序能把大部分問(wèn)題定位在一兩分鐘內(nèi)。關(guān)于頁(yè)表有個(gè)判斷標(biāo)準(zhǔn)值得分享如果一個(gè)進(jìn)程的 VSZ 很大但 RSS 很小別急著喊內(nèi)存泄漏先看是不是按需分配的正常表現(xiàn)如果 RSS 持續(xù)增長(zhǎng)且不收斂再看是不是寫(xiě)時(shí)拷貝復(fù)制了物理頁(yè)。這兩個(gè)統(tǒng)計(jì)量配合 minor fault 計(jì)數(shù)一起看基本能覆蓋 90% 的內(nèi)存困惑。最后一個(gè)經(jīng)驗(yàn)是關(guān)于寫(xiě)時(shí)拷貝的使用邊界。它在“fork 后 exec”和“fork 后少量寫(xiě)”這兩種模式下收益最大在“fork 后大量寫(xiě)”的模式下反而會(huì)把開(kāi)銷堆到后面甚至比直接復(fù)制更差。如果你的程序?qū)儆诘谌N模式不要指望寫(xiě)時(shí)拷貝來(lái)救場(chǎng)直接改成線程模型或者在 fork 前把共享數(shù)據(jù)整理成只讀可能才是更合適的做法。