用了這么多年Linux/dev、/sys、/proc這三個(gè)目錄幾乎天天都在打交道但你有沒有真正想過它們到底是誰創(chuàng)建的、底層跑的是什么機(jī)制、為什么有的文件能直接cat出信息、有的文件寫進(jìn)去一個(gè)數(shù)字系統(tǒng)行為就變了這篇文章不打算講教科書上那種照本宣科的科普而是從一個(gè)實(shí)際運(yùn)維和開發(fā)者的視角把這三大虛擬文件系統(tǒng)的來龍去脈、核心設(shè)計(jì)、實(shí)操玩法以及我踩過的坑一次性講透。對(duì)于剛接觸Linux的朋友這三個(gè)目錄是繞不開的“詭異存在”——它們不占用磁盤空間文件大小經(jīng)常是0可偏偏是系統(tǒng)運(yùn)行的核心樞紐。對(duì)于有經(jīng)驗(yàn)的工程師理解這幾個(gè)目錄的內(nèi)部邏輯不只是為了面試更是排查硬件故障、調(diào)整內(nèi)核參數(shù)、做性能分析的基本功。我盡量用類比和現(xiàn)場(chǎng)實(shí)例把背后的原理講明白讀完你再去敲ls /dev、cat /proc/meminfo、find /sys/class感官會(huì)完全不一樣。1. 三個(gè)目錄的整體定位與設(shè)計(jì)思路1.1 它們不是普通目錄而是“虛擬文件系統(tǒng)”的掛載點(diǎn)第一次接觸Linux的人往往會(huì)問為什么/dev、/proc、/sys在df -h里看不到占用空間卻又能“存”東西答案很簡(jiǎn)單它們根本不是磁盤上的目錄而是內(nèi)核在內(nèi)存中構(gòu)建出來的虛擬文件系統(tǒng)掛載到了對(duì)應(yīng)路徑。你可以用mount命令確認(rèn)一下常見的輸出類似這樣$ mount | grep -E /dev|/proc|/sys devtmpfs on /dev type devtmpfs (rw,nosuid,relatime,size65052k,nr_inodes65052,mode755) proc on /proc type proc (rw,nosuid,nodev,noexec,relatime) sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)注意它們的文件系統(tǒng)類型分別是devtmpfs、proc、sysfs都不是ext4或xfs這種真正的磁盤文件系統(tǒng)。換句話說你“看到”的文件、目錄、屬性都是內(nèi)核按需生成并呈現(xiàn)在你面前的背后沒有物理存儲(chǔ)介質(zhì)。這個(gè)設(shè)計(jì)思路很妙對(duì)用戶態(tài)程序訪問設(shè)備信息、進(jìn)程狀態(tài)、內(nèi)核參數(shù)統(tǒng)一走“打開文件、讀寫文件”這套熟悉接口不用發(fā)明新API也不用手寫一堆ioctl調(diào)用。1.2 三個(gè)目錄的分工設(shè)備節(jié)點(diǎn)、進(jìn)程信息、設(shè)備模型說白了一句話記法/dev是“設(shè)備的入口”/proc是“進(jìn)程與內(nèi)核的臨時(shí)窗口”/sys是“設(shè)備與驅(qū)動(dòng)的結(jié)構(gòu)化視圖”。三者緊密關(guān)聯(lián)但定位不同。/dev提供設(shè)備訪問節(jié)點(diǎn)。你想讀寫硬盤、串口、聲卡都是打開/dev/下面的某個(gè)文件。這里核心是“能操作”是向磁盤、硬件驅(qū)動(dòng)發(fā)請(qǐng)求的通道。/proc提供進(jìn)程級(jí)別和內(nèi)核級(jí)別的運(yùn)行時(shí)信息。比如系統(tǒng)負(fù)載、內(nèi)存使用、每個(gè)進(jìn)程的映射、命令行參數(shù)。核心是“看狀態(tài)、改參數(shù)”最早的動(dòng)態(tài)內(nèi)核參數(shù)入口就在這里。/sys提供設(shè)備、驅(qū)動(dòng)、總線之間關(guān)系的結(jié)構(gòu)化視圖。核心是“管設(shè)備”它把內(nèi)核設(shè)備模型暴露出來你能看到一塊SSD掛在哪個(gè)控制器下、某個(gè)驅(qū)動(dòng)綁定哪個(gè)設(shè)備也能在運(yùn)行時(shí)調(diào)整設(shè)備級(jí)參數(shù)比如風(fēng)扇轉(zhuǎn)速、屏幕背光。如果還不直觀打個(gè)比方/dev像一個(gè)小區(qū)大門口的門禁設(shè)備你刷個(gè)卡就能進(jìn)出具體單元/proc像是物業(yè)中心的公告欄上面實(shí)時(shí)貼著整個(gè)小區(qū)的運(yùn)行數(shù)據(jù)有些欄位還允許你貼新通知來調(diào)規(guī)則/sys則是整個(gè)小區(qū)的規(guī)劃沙盤每一棟樓、每一條管道、每一個(gè)設(shè)備都按樹狀結(jié)構(gòu)擺得明明白白還能撥動(dòng)沙盤上的旋鈕做實(shí)時(shí)調(diào)整。1.3 為什么內(nèi)核不把這些功能做成普通命令而要做成文件這個(gè)設(shè)計(jì)是UNIX哲學(xué)的一部分“一切皆文件”。做成文件的好處顯而易見shell、Python、Perl甚至grep、awk、dd都能直接處理不用專門寫復(fù)雜的用戶態(tài)工具。想獲取CPU信息直接cat /proc/cpuinfo想給指定PID發(fā)個(gè)狀態(tài)查詢cat /proc/1234/status。這在排查生產(chǎn)問題時(shí)有巨大優(yōu)勢(shì)——很多場(chǎng)景下系統(tǒng)已經(jīng)嚴(yán)重卡頓連常規(guī)工具都起不來但cat一個(gè)文件這種原子操作仍然可以執(zhí)行這些虛擬文件系統(tǒng)此時(shí)就是最后的救命通道。2. /dev目錄設(shè)備文件系統(tǒng)的入口與實(shí)操要點(diǎn)2.1 字符設(shè)備、塊設(shè)備與設(shè)備號(hào)/dev中絕大部分文件對(duì)應(yīng)兩類設(shè)備字符設(shè)備和塊設(shè)備。字符設(shè)備以字節(jié)流方式讀寫比如鍵盤、串口、聲卡每次讀寫不經(jīng)過緩存層典型代表是/dev/null、/dev/tty。塊設(shè)備以固定大小的塊為單位讀寫數(shù)據(jù)可以走緩存、排隊(duì)、合并典型代表是磁盤/dev/sda、分區(qū)/dev/sda1。怎么快速區(qū)分ls -l第一列是c就是字符設(shè)備b就是塊設(shè)備。而設(shè)備文件最核心的標(biāo)識(shí)其實(shí)是“設(shè)備號(hào)”也就是主設(shè)備號(hào)和次設(shè)備號(hào)$ ls -l /dev/sda /dev/tty /dev/null brw-rw---- 1 root disk 8, 0 1月 5 10:00 /dev/sda crw-rw-rw- 1 root tty 5, 0 1月 5 10:00 /dev/tty crw-rw-rw- 1 root root 1, 3 1月 5 10:00 /dev/null這里8, 0表示主設(shè)備號(hào)8、次設(shè)備號(hào)0。主設(shè)備號(hào)對(duì)應(yīng)驅(qū)動(dòng)類型內(nèi)核靠它找到正確的設(shè)備驅(qū)動(dòng)次設(shè)備號(hào)用于區(qū)分同一驅(qū)動(dòng)下的不同物理設(shè)備或邏輯單元。/dev/sda和/dev/sdb共享主設(shè)備號(hào)8都是同一套SATA/SCSI磁盤驅(qū)動(dòng)只是次設(shè)備號(hào)不同。注意設(shè)備文件本身只是“門牌”不包含設(shè)備數(shù)據(jù)。真正干活的是內(nèi)核驅(qū)動(dòng)。你可以把設(shè)備文件理解成一個(gè)指向驅(qū)動(dòng)程序的門牌號(hào)應(yīng)用程序open它時(shí)內(nèi)核根據(jù)門牌號(hào)找到驅(qū)動(dòng)之后read/write就是驅(qū)動(dòng)和硬件在交互。2.2 devtmpfs與udev設(shè)備節(jié)點(diǎn)的自動(dòng)生成機(jī)制在老版本Linux里要在/dev下創(chuàng)建設(shè)備節(jié)點(diǎn)需要手寫mknod還得知道主次設(shè)備號(hào)維護(hù)成本極高。現(xiàn)代系統(tǒng)采用兩套機(jī)制配合內(nèi)核啟動(dòng)早期掛載devtmpfs由內(nèi)核自身為已經(jīng)識(shí)別的設(shè)備自動(dòng)創(chuàng)建設(shè)備節(jié)點(diǎn)保證基本可用隨后udev守護(hù)進(jìn)程接管根據(jù)內(nèi)核發(fā)出的uevent事件和規(guī)則文件做符號(hào)鏈接、權(quán)限設(shè)置、命名調(diào)整。比如一塊USB盤插上內(nèi)核識(shí)別后自動(dòng)在/dev下生成/dev/sdbudev再根據(jù)/dev/disk/by-uuid/之類的規(guī)則補(bǔ)建友好的穩(wěn)定鏈接。手動(dòng)創(chuàng)建設(shè)備節(jié)點(diǎn)的能力仍然值得掌握某些容器環(huán)境、嵌入式裁剪系統(tǒng)或恢復(fù)場(chǎng)景下設(shè)備節(jié)點(diǎn)缺失很常見一條mknod命令能救命mknod /dev/testnull c 1 3這條命令創(chuàng)建一個(gè)字符設(shè)備主設(shè)備號(hào)1、次設(shè)備號(hào)3恰好對(duì)應(yīng)null設(shè)備。創(chuàng)建完你可以echo hi /dev/testnull完全不會(huì)報(bào)錯(cuò)。反過來如果忘記指定主次設(shè)備號(hào)或搞錯(cuò)類型open設(shè)備會(huì)直接失敗。這也是排查“設(shè)備節(jié)點(diǎn)存在但無法訪問”問題時(shí)的關(guān)鍵步驟——節(jié)點(diǎn)只是入口入口對(duì)了驅(qū)動(dòng)不對(duì)一樣出錯(cuò)。2.3 常見設(shè)備節(jié)點(diǎn)及用途速查長(zhǎng)期和Linux打交道的開發(fā)者至少要和下面這些設(shè)備節(jié)點(diǎn)熟起來設(shè)備節(jié)點(diǎn)類型常見用途/dev/sda、/dev/nvme0n1塊設(shè)備整塊磁盤訪問配合fdisk、parted分區(qū)/dev/sda1、/dev/nvme0n1p1塊設(shè)備磁盤分區(qū)/dev/ttyS0字符設(shè)備串口調(diào)試嵌入式設(shè)備、網(wǎng)絡(luò)設(shè)備/dev/tty字符設(shè)備當(dāng)前終端echo test /dev/tty直接顯示在當(dāng)前屏/dev/null字符設(shè)備丟棄一切寫入數(shù)據(jù)讀取返回EOF最常見的“黑洞”/dev/zero字符設(shè)備讀取永遠(yuǎn)返回0字節(jié)用于清零或生成空數(shù)據(jù)/dev/random、/dev/urandom字符設(shè)備隨機(jī)數(shù)源urandom性能更好現(xiàn)代系統(tǒng)兩者基本等價(jià)/dev/loop0塊設(shè)備回環(huán)設(shè)備將鏡像文件模擬成塊設(shè)備掛載iso、ext4鏡像必備/dev/mapper/xxx塊設(shè)備設(shè)備映射器LVM、dm-crypt生成的邏輯設(shè)備實(shí)操中一個(gè)高頻用法是用/dev/zero配合dd生成指定大小的臨時(shí)文件dd if/dev/zero of./alldata.bin bs1M count1024 statusprogress這會(huì)在當(dāng)前目錄生成一個(gè)1G的全零文件經(jīng)常用來做稀疏文件測(cè)試、磁盤性能測(cè)試或者制造占位文件。同理把if/dev/urandom加進(jìn)去就能生成隨機(jī)內(nèi)容文件。這個(gè)“文件即設(shè)備、設(shè)備即文件”的思路在處理數(shù)據(jù)時(shí)真的非常順手。2.4 /dev的實(shí)操排查思路業(yè)務(wù)上遇到“無法識(shí)別磁盤”的問題我的排查順序基本固定。先lsblk看內(nèi)核是否能發(fā)現(xiàn)設(shè)備再ls -l /dev/看節(jié)點(diǎn)是否存在。如果內(nèi)核發(fā)現(xiàn)了但節(jié)點(diǎn)沒創(chuàng)建多半是udev規(guī)則問題查看udevadm monitor抓取uevent確認(rèn)規(guī)則是否攔截了命名如果節(jié)點(diǎn)存在但dd讀寫報(bào)錯(cuò)再dmesg看看底層驅(qū)動(dòng)有沒有I/O錯(cuò)誤、鏈路是否正常。這里要特別強(qiáng)調(diào)不要手動(dòng)在正常系統(tǒng)里亂刪/dev下面的設(shè)備節(jié)點(diǎn)再靠mknod重建因?yàn)閡dev規(guī)則和selinux上下文可能對(duì)不上重啟或拔插后反而更亂正常環(huán)境請(qǐng)讓udev管好它自己。3. /proc目錄進(jìn)程與內(nèi)核狀態(tài)的信息中樞3.1 procfs的設(shè)計(jì)理念沒有文件的文件系統(tǒng)/proc在早期Linux中是個(gè)很特別的存在它不存數(shù)據(jù)而是在你打開某一文件、讀取某一目錄時(shí)內(nèi)核動(dòng)態(tài)調(diào)用相應(yīng)函數(shù)生成內(nèi)容。/proc下沒有磁盤塊、沒有inode一切都是“現(xiàn)算現(xiàn)賣”。所以你看到很多文件大小是0但cat依然能輸出一堆內(nèi)容——這就是虛擬文件系統(tǒng)的特征。/proc最初是為了進(jìn)程信息而創(chuàng)建后來內(nèi)核參數(shù)也塞了進(jìn)來逐漸成了大雜燴。這也是后來/sys被設(shè)計(jì)出來的原因之一/proc什么都有但結(jié)構(gòu)混亂、分類不清晰、權(quán)限粒度粗糙。3.2 /proc三大類內(nèi)容進(jìn)程目錄、系統(tǒng)信息、內(nèi)核參數(shù)最核心的內(nèi)容分三類。第一類是/proc/[PID]/目錄每個(gè)運(yùn)行中的進(jìn)程都有一個(gè)以其PID命名的目錄。進(jìn)入任意一個(gè)進(jìn)程目錄status看狀態(tài)、cmdline看完整命令行、environ看環(huán)境變量、fd/看打開的文件描述符、maps看內(nèi)存映射。第二類是系統(tǒng)級(jí)信息比如/proc/cpuinfoCPU型號(hào)與特性、/proc/meminfo內(nèi)存使用細(xì)節(jié)、/proc/loadavg系統(tǒng)負(fù)載、/proc/uptime開機(jī)時(shí)長(zhǎng)與空閑時(shí)長(zhǎng)、/proc/interrupts中斷統(tǒng)計(jì)。第三類是內(nèi)核可調(diào)參數(shù)目錄/proc/sys/它與sysctl命令對(duì)應(yīng)幾乎是內(nèi)核運(yùn)行時(shí)調(diào)優(yōu)的主戰(zhàn)場(chǎng)。舉一個(gè)實(shí)操例子線上排查CPU使用率異常時(shí)除了top我會(huì)直接看進(jìn)程的/proc/[PID]/status和/proc/[PID]/schedstat判斷是不是發(fā)生了綁定異?；虼罅孔栽干舷挛那袚Q?？茨硞€(gè)進(jìn)程打開了哪些文件則可直接ls -l /proc/[PID]/fd比lsof在某些受限環(huán)境里更原始可靠$ ls -l /proc/1234/fd | head total 0 lrwx------ 1 user user 64 1月 5 10:00 0 - /dev/null lrwx------ 1 user user 64 1月 5 10:00 1 - /var/log/app.log lr-x------ 1 user user 64 1月 5 10:00 2 - /etc/app.conf3.3 內(nèi)核參數(shù)調(diào)整/proc/sys與sysctl的關(guān)系/proc/sys下面的文件很多可以直接寫寫入即生效。但要注意兩點(diǎn)第一寫操作需要root權(quán)限第二這樣修改是臨時(shí)的重啟后丟失。持久化要通過/etc/sysctl.conf或/etc/sysctl.d/下的配置文件。sysctl命令本質(zhì)上就是在讀寫/proc/sys比如以下兩條命令是等價(jià)的echo 1 /proc/sys/net/ipv4/ip_forward sysctl -w net.ipv4.ip_forward1在修改內(nèi)核參數(shù)前我強(qiáng)烈建議先確認(rèn)當(dāng)前值和上下文。比如要啟用IP轉(zhuǎn)發(fā)先cat /proc/sys/net/ipv4/ip_forward再確認(rèn)網(wǎng)絡(luò)架構(gòu)中是否存在多個(gè)網(wǎng)卡之間需要轉(zhuǎn)發(fā)流量否則開著轉(zhuǎn)發(fā)在安全敏感環(huán)境里可能有風(fēng)險(xiǎn)。更常規(guī)的做法是修改/etc/sysctl.conf后執(zhí)行sysctl -p這樣既能持久化也能檢查語(yǔ)法。另外/proc/sys下的參數(shù)命名規(guī)律很有用/proc/sys/net/ipv4/tcp_tw_reuse對(duì)應(yīng)net.ipv4.tcp_tw_reuse就是把路徑中的/proc/sys/前綴和斜杠換成點(diǎn)。3.4 一個(gè)需要注意的特殊文件/proc/kcore 與 /proc/sysrq-trigger/proc/kcore是內(nèi)核核心內(nèi)存的映像大小跟你物理內(nèi)存差不多但別拿cat去讀也別隨手cp否則系統(tǒng)會(huì)卡死。要分析內(nèi)核內(nèi)存請(qǐng)用crash、gdb等專門機(jī)制或者直接繞過這個(gè)文件。另一個(gè)常被忽視的/proc/sysrq-trigger則是系統(tǒng)卡死時(shí)的終極逃生門允許你向內(nèi)核發(fā)送特殊序列命令。比如系統(tǒng)完全無響應(yīng)但還能按下鍵時(shí)執(zhí)行echo s /proc/sysrq-trigger echo u /proc/sysrq-trigger echo b /proc/sysrq-triggerecho s同步磁盤echo u只讀方式重新掛載文件系統(tǒng)echo b立即重啟。整套組合拳在運(yùn)維現(xiàn)場(chǎng)曾經(jīng)救過我一回。生產(chǎn)環(huán)境要提前確認(rèn)內(nèi)核/proc/sys/kernel/sysrq的值不為0否則sysrq-trigger會(huì)被禁用。3.5 /proc容易踩坑的細(xì)節(jié)有一個(gè)我踩過不少次的坑解析/proc/meminfo時(shí)不同內(nèi)核版本字段名稱會(huì)有變動(dòng)比如MemFree里可能包含被內(nèi)核回收的緩存如果直接拿它判斷“內(nèi)存還夠不夠”經(jīng)常會(huì)被誤導(dǎo)。我更習(xí)慣看MemAvailable這是內(nèi)核經(jīng)過算法預(yù)估的可分配內(nèi)存比MemFree更有參考意義。另一個(gè)坑是/proc/[PID]/status中的VmRSS只能代表物理內(nèi)存駐留量無法完全等價(jià)于程序真正占用的內(nèi)存如果程序有共享庫(kù)映射VmRSS會(huì)重復(fù)計(jì)算共享部分精確分析得綜合smaps里的細(xì)分項(xiàng)。4. /sys目錄設(shè)備模型與內(nèi)核對(duì)象的結(jié)構(gòu)化視圖4.1 sysfs的誕生對(duì)癥下藥解決/proc的混亂/sys對(duì)應(yīng)的文件系統(tǒng)叫sysfs出現(xiàn)在Linux 2.6時(shí)代核心目的就是“收拾”/proc這個(gè)雜物間。它把內(nèi)核的設(shè)備和驅(qū)動(dòng)模型以嚴(yán)格的層次結(jié)構(gòu)暴露給用戶空間。如果說/proc是按用途堆文件那么/sys就是按“設(shè)備拓?fù)洹苯夸?。你?sys下看到的目錄名稱背后都對(duì)應(yīng)著內(nèi)核中的kobject對(duì)象目錄的嵌套結(jié)構(gòu)對(duì)應(yīng)kobject之間的父子關(guān)系。這也是理解/sys最關(guān)鍵的一點(diǎn)它不是隨便設(shè)計(jì)的目錄樹它是內(nèi)核設(shè)備模型在用戶態(tài)的真實(shí)映射。4.2 核心子目錄速覽/sys/devices、/sys/bus、/sys/class、/sys/block/sys/devices是最底層真實(shí)的設(shè)備樹包含系統(tǒng)總線PCIe、USB、平臺(tái)總線等上所有真實(shí)設(shè)備路徑冗長(zhǎng)但最完整。/sys/bus按總線類型組織是查找設(shè)備和驅(qū)動(dòng)綁定的近路比如/sys/bus/pci/devices/下列出所有PCI設(shè)備每個(gè)設(shè)備目錄下有driver符號(hào)鏈接指向當(dāng)前綁定的驅(qū)動(dòng)。/sys/class按設(shè)備功能分類比如net下是網(wǎng)卡、block下是塊設(shè)備、backlight下是屏幕背光、thermal下是溫度傳感器這種分類最貼近日常使用。/sys/block是塊設(shè)備專屬視圖軟鏈到真實(shí)設(shè)備路徑。查看某個(gè)nvme固態(tài)硬盤的信息可以這樣$ ls -l /sys/class/block/nvme0n1 lrwxrwxrwx 1 root root 0 1月 5 10:00 /sys/class/block/nvme0n1 - ../../devices/pci0000:00/0000:00:01.0/0000:01:00.0/nvme/nvme0/nvme0n1順著這條軟鏈能看到它掛在哪個(gè)PCI控制器下進(jìn)而判斷是不是接了轉(zhuǎn)接卡、走的是不是直通CPU的PCIe通道。4.3 實(shí)用場(chǎng)景通過/sys讀取設(shè)備狀態(tài)與調(diào)節(jié)參數(shù)/sys里很多文件是只讀的但不乏可寫的高頻參數(shù)入口。比如查看CPU頻率策略直接讀/sys/devices/system/cpu/cpu0/cpufreq/scaling_cur_freq單位是kHz。調(diào)整最大最小頻率則寫對(duì)應(yīng)文件echo 2400000 /sys/devices/system/cpu/cpu0/cpufreq/scaling_max_freq再比如查看硬盤溫度部分NVMe設(shè)備支持cat /sys/class/nvme/nvme0/device/hwmon/hwmon*/temp1_input輸出的是毫攝氏度除以1000就是正常攝氏度讀數(shù)。另一個(gè)高頻操作是背光亮度調(diào)節(jié)筆記本場(chǎng)景下/sys/class/backlight/intel_backlight/brightness可以直接寫數(shù)值比在桌面環(huán)境里拖滑塊更快多級(jí)腳本調(diào)光也常走這里。但切記這些寫入操作都是臨時(shí)的重啟后復(fù)位需要持久化請(qǐng)走systemd服務(wù)或?qū)?yīng)的硬件抽象層工具。4.4 sysfs與uevent/udev的關(guān)系/sys不只是給人看的也是給用戶態(tài)事件機(jī)制用的。內(nèi)核檢測(cè)到設(shè)備插入或移除時(shí)sysfs會(huì)生成uevent事件udev通過netlink監(jiān)聽到這些事件后根據(jù)規(guī)則在/dev下創(chuàng)建設(shè)備節(jié)點(diǎn)、創(chuàng)建符號(hào)鏈接、設(shè)置權(quán)限。你可以在命令行手工觸發(fā)uevent重放讓udev重新處理某個(gè)設(shè)備這在調(diào)試設(shè)備規(guī)則時(shí)非常有用echo change /sys/class/net/eth0/uevent執(zhí)行后udev會(huì)重新處理eth0的change事件。調(diào)試網(wǎng)卡改名規(guī)則、權(quán)限規(guī)則時(shí)配合udevadm monitor看實(shí)時(shí)事件輸出整個(gè)鏈路清晰可見。所以/sys與/dev的關(guān)系可以理解為/sys是設(shè)備和驅(qū)動(dòng)的“關(guān)系網(wǎng)”/dev是面向應(yīng)用訪問的“操作門戶”而uevent是維護(hù)門戶的更新信號(hào)。4.5 使用/sys排查硬件問題的經(jīng)驗(yàn)?zāi)玫揭慌_(tái)服務(wù)器懷疑網(wǎng)卡掉速或PCIe降速我會(huì)查/sys/bus/pci/devices/0000:xx:00.0/目錄下的link_speed、link_width對(duì)比設(shè)備原始能力和當(dāng)前協(xié)商狀態(tài)。同樣命令cat /sys/class/net/eth0/carrier顯示1表示物理鏈路正常0表示沒插線或?qū)Ψ皆O(shè)備未啟動(dòng)cat /sys/class/net/eth0/operstate則直接顯示up、down、unknown等狀態(tài)。遇到NVMe設(shè)備掉盤/sys/class/nvme/nvme0/device/下經(jīng)常能看到健康信息nvme smart-log也是讀同一套數(shù)據(jù)只是通過字符設(shè)備另外暴露兩者可以交叉驗(yàn)證。5. 三個(gè)目錄的差異對(duì)比與整體協(xié)作5.1 一張表看懂三者核心區(qū)別對(duì)比項(xiàng)/dev/proc/sys文件系統(tǒng)類型devtmpfs、udev管理procsysfs核心內(nèi)容設(shè)備文件節(jié)點(diǎn)進(jìn)程信息、內(nèi)核信息與參數(shù)設(shè)備、驅(qū)動(dòng)、總線拓?fù)涫欠裾鎸?shí)占磁盤否否否典型操作open、read、write設(shè)備cat查看、echo修改內(nèi)核參數(shù)cat查看、echo修改設(shè)備參數(shù)主要設(shè)計(jì)目的提供設(shè)備訪問入口進(jìn)程與內(nèi)核運(yùn)行時(shí)狀態(tài)結(jié)構(gòu)化設(shè)備模型與運(yùn)行期配置內(nèi)容是否可寫多數(shù)不可寫/proc/sys下可寫部分屬性文件可寫持久性動(dòng)態(tài)重建改動(dòng)重啟丟失改動(dòng)重啟丟失常用命令lsblk、fdisk、dd、mknodps、lsof、sysctl、catudevadm、cat、echo、find這張表基本可以覆蓋日常工作的認(rèn)知。重點(diǎn)提示三者都不是永久存儲(chǔ)不要指望在里面保存數(shù)據(jù)。曾有同事把配置寫到/proc下面的臨時(shí)文件里重啟機(jī)器什么都沒了這種用法天然就是錯(cuò)的。真正的配置要么寫到/etc要么通過systemd單元重啟后自動(dòng)重建。5.2 三者在一次磁盤故障排查中的聯(lián)合用法我用一個(gè)非常典型的磁盤故障場(chǎng)景把三個(gè)目錄串起來。某次線上機(jī)器告警某塊數(shù)據(jù)盤讀寫超時(shí)。我先執(zhí)行l(wèi)sblk確認(rèn)盤符為/dev/sdc接著cat /sys/class/block/sdc/device/state查看設(shè)備狀態(tài)發(fā)現(xiàn)狀態(tài)異常。隨后dmesg確認(rèn)I/O錯(cuò)誤再看cat /proc/diskstats統(tǒng)計(jì)該磁盤的IO錯(cuò)誤計(jì)數(shù)最后smartctl -a /dev/sdc獲取SMART健康信息綜合判斷是物理磁盤即將損壞及時(shí)更換。整個(gè)過程涉及/dev、/proc、/sys互補(bǔ)/dev給出訪問入口/proc給出全局IO統(tǒng)計(jì)/sys給出設(shè)備與驅(qū)動(dòng)狀態(tài)。少任何一個(gè)目錄排查效率和信息完整性都會(huì)大打折扣。5.3 容器環(huán)境下的新變化近年容器化普及后這三個(gè)目錄的行為出現(xiàn)了新差異。容器內(nèi)部的/proc和/sys通常并非宿主機(jī)全局視圖而是掛載了帶有命名空間隔離或只讀約束的副本。在容器里cat /proc/meminfo會(huì)看到宿主機(jī)的物理內(nèi)存但/proc/[PID]/下的很多進(jìn)程在容器外的父進(jìn)程視角完全不同早期版本的Docker默認(rèn)以只讀方式掛載/sys部分子目錄導(dǎo)致在容器內(nèi)調(diào)節(jié)某些設(shè)備參數(shù)直接報(bào)Read-only file system。排查這類問題時(shí)要先mount | grep sysfs確認(rèn)掛載參數(shù)不要想當(dāng)然認(rèn)為容器內(nèi)能改宿主機(jī)的設(shè)備參數(shù)。安全上這是合理限制也是Linux內(nèi)核持續(xù)演進(jìn)的方向之一。6. 常見問題與避坑經(jīng)驗(yàn)實(shí)錄6.1 誤刪/dev節(jié)點(diǎn)如何恢復(fù)偶爾會(huì)有人誤刪/dev/null、/dev/sda。正常系統(tǒng)下最快恢復(fù)方式是借助mknod重建前提是你知道正確的主次設(shè)備號(hào)和類型。比如恢復(fù)null設(shè)備rm -f /dev/null mknod /dev/null c 1 3 chmod 666 /dev/null執(zhí)行前用ls -l /dev/null查詢?cè)瓕傩宰顬榉€(wěn)妥。如果是磁盤類設(shè)備節(jié)點(diǎn)損壞優(yōu)先考慮重啟或觸發(fā)udev重放而不是手動(dòng)mknod重建否則分區(qū)符號(hào)鏈接、磁盤組、設(shè)備映射器的依賴容易對(duì)不上。嵌入式和容器里沒有udev才需手動(dòng)mknod這時(shí)明確自己系統(tǒng)里設(shè)備的主次設(shè)備號(hào)就是基本功了可以在同型號(hào)正常機(jī)器上查好了備用。6.2 為什么cat /proc/xxx發(fā)現(xiàn)文件大小是0這完全正常。虛擬文件系統(tǒng)沒有真實(shí)數(shù)據(jù)塊文件大小通常表示不了什么。讀取時(shí)動(dòng)態(tài)生成內(nèi)容才是它的工作方式。所以不要因?yàn)閘s -l /proc/meminfo顯示0就把它當(dāng)成空文件直接用cat看內(nèi)容。相關(guān)地du -h /proc也毫無意義它會(huì)顯示0反而可能讓你誤判。6.3 修改/sys或/proc參數(shù)后重啟失效這不是bug而是設(shè)計(jì)。/proc/sys和/sys的可調(diào)參數(shù)屬于運(yùn)行時(shí)設(shè)置以內(nèi)核內(nèi)存為存儲(chǔ)介質(zhì)重啟必然恢復(fù)默認(rèn)。要實(shí)現(xiàn)持久化/proc/sys走/etc/sysctl.conf或/etc/sysctl.d/*.conf/sys設(shè)備參數(shù)沒有統(tǒng)一持久化入口一般通過systemd服務(wù)、rc.local或者udev規(guī)則在開機(jī)時(shí)重新寫入。我自己寫過一個(gè)專門調(diào)背光和CPU頻率閾值的systemd unitExecStart里逐行echo生產(chǎn)環(huán)境中穩(wěn)定復(fù)現(xiàn)比依賴具體桌面環(huán)境可靠得多。6.4 修改/sys或/proc提示Permission denied兩種常見情況非root用戶權(quán)限不足文件本身被內(nèi)核標(biāo)記為只讀。對(duì)于root用戶仍報(bào)拒絕的多數(shù)是掛在只讀屬性上echo前先cat /sys/.../文件確認(rèn)當(dāng)前內(nèi)容再判斷內(nèi)核是否允許寫。有些參數(shù)受其他子系統(tǒng)約束比如CPU頻率受熱保護(hù)策略干預(yù)即使寫入了也會(huì)被內(nèi)核自動(dòng)糾正反復(fù)改不生效時(shí)先看dmesg和thermal相關(guān)文件。6.5 /dev/random和/dev/urandom到底用哪個(gè)現(xiàn)代Linux內(nèi)核里/dev/random和/dev/urandom的差異已經(jīng)大幅縮小。早期隨機(jī)數(shù)池估計(jì)不足時(shí)random讀多了會(huì)阻塞urandom不會(huì)今天兩者底層共享相同的CRNG密碼學(xué)隨機(jī)數(shù)生成器僅在啟動(dòng)初期存在理論差異。絕大多數(shù)業(yè)務(wù)場(chǎng)景直接用/dev/urandom即可需要高安全性且能容忍阻塞的場(chǎng)景才考慮讀/dev/random。生成密鑰或會(huì)話令牌時(shí)優(yōu)先建議直接用內(nèi)核提供的getrandom()系統(tǒng)調(diào)用而不是手動(dòng)打開設(shè)備文件更簡(jiǎn)潔也更規(guī)范。6.6 在/sys或/proc里誤寫危險(xiǎn)參數(shù)導(dǎo)致系統(tǒng)異常/proc/sys/kernel/panic被設(shè)為0以上時(shí)內(nèi)核panic后會(huì)自動(dòng)重啟/proc/sys/vm/drop_caches寫入1、2、3會(huì)丟棄頁(yè)緩存、目錄項(xiàng)或inode緩存對(duì)啟動(dòng)時(shí)內(nèi)存吃緊的系統(tǒng)可能造成短暫卡頓/sys下某些電源管理文件寫錯(cuò)可能導(dǎo)致設(shè)備直接掉電。因此任何寫操作特別是生產(chǎn)環(huán)境一是提前備份原值二是先確認(rèn)文件語(yǔ)義三是寫好回滾方案。如果只是臨時(shí)測(cè)試建議在測(cè)試機(jī)或容器環(huán)境內(nèi)驗(yàn)證再推廣到生產(chǎn)。7. 一點(diǎn)實(shí)操心得這三個(gè)目錄用熟了你對(duì)Linux的認(rèn)知會(huì)有實(shí)質(zhì)提升。我最深的體會(huì)是它們不是三個(gè)獨(dú)立零散的文件夾而是內(nèi)核向用戶態(tài)開的三扇窗/dev提供出入口/proc反映運(yùn)行時(shí)狀態(tài)/sys描述設(shè)備關(guān)系。排查思路的起點(diǎn)就是先想清楚當(dāng)前問題該看哪扇窗而不是盲目地在所有目錄里翻找。最后再分享一個(gè)提高效率的小技巧善用find在兩個(gè)虛擬目錄組合搜索。比如你想找出所有可調(diào)亮的背光設(shè)備一條命令find /sys/class -maxdepth 2 -name brightness -type f直接定位想確認(rèn)哪些進(jìn)程還打開著某個(gè)已經(jīng)被刪除的文件find /proc/*/fd -lname *deleted*能快速掃出來。這些操作沒有復(fù)雜的工具依賴純shell就能完成在救援模式下尤為好用。多讀、多試、多對(duì)比/dev、/proc、/sys會(huì)成為你最順手的Linux排查利器。