文本處理三劍客的實戰(zhàn)拆解grep、awk、sed 到底該怎么用很多人第一次接觸命令行文本處理都是從一條grep開始的。查日志、篩配置、找報錯一條命令下去屏幕上刷刷刷滾出結(jié)果那種感覺確實很爽。但真到了要批量改文件、做字段統(tǒng)計、按條件重組數(shù)據(jù)的時候光靠grep就不夠用了于是開始翻awk和sed的手冊結(jié)果被一堆$1、NR、s///g搞得頭暈。我見過不少同行這三個命令用了好幾年實際只會grep 關(guān)鍵字 文件和sed -i s/舊/新/g稍微復(fù)雜一點的需求就退回寫腳本效率白白丟掉一大截。這篇內(nèi)容就是想把grep、awk、sed這三個命令從“會用”拉到“用透”的層面。我不打算照著手冊逐條翻譯參數(shù)而是按真實工作里最常見的場景來拆怎么精準篩選、怎么按字段做統(tǒng)計、怎么安全地批量替換。每個命令都會講清楚它解決什么問題、核心機制是什么、參數(shù)為什么這么選再配上可以直接復(fù)制運行的實例。不管你是剛接觸命令行的新手還是已經(jīng)能寫點 shell 但總覺得不夠利索的老手應(yīng)該都能從里面摳出幾招能馬上用上的東西。1. 先把三個命令的分工掰清楚在動手之前有個認知必須先建立起來grep、awk、sed不是三個可以互相替代的工具它們各自負責文本處理流水線上的不同環(huán)節(jié)。搞混分工是很多人用起來別扭的根源。1.1 三者的定位差異找、改、算用一句話概括grep負責找sed負責改awk負責算。grep的本質(zhì)是一個行過濾器。它逐行讀入文本判斷每一行是否匹配給定模式匹配就輸出不匹配就丟棄。它不關(guān)心行里面的結(jié)構(gòu)只關(guān)心“這一行整體符不符合條件”。所以它最擅長的事情是從一大堆內(nèi)容里撈出包含某個特征的行。sed的本質(zhì)是一個流編輯器。它也是逐行處理但它不只是判斷而是可以對匹配到的內(nèi)容做替換、刪除、插入、追加等編輯動作。關(guān)鍵在于“流”字——它不需要把整個文件讀進內(nèi)存再改而是一邊讀一邊改一邊輸出所以處理大文件時內(nèi)存占用很穩(wěn)。awk的本質(zhì)是一個字段級處理語言。它把每一行按分隔符切成若干字段你可以按字段做條件判斷、數(shù)值計算、格式化輸出還支持變量、數(shù)組、循環(huán)、函數(shù)。嚴格來說它已經(jīng)是一門小型編程語言了只是語法緊湊到可以寫成一行。理解了這個分工很多選擇就自然清楚了只是篩行用grep要改內(nèi)容用sed要按列統(tǒng)計或做復(fù)雜條件處理用awk。當然實際工作中三者經(jīng)常串起來用管道一接各干各的活。1.2 為什么很多人只學(xué)會了 grep這里插一句觀察。大部分人卡在grep階段不是因為awk和sed難而是因為沒有遇到非用不可的場景。日常的“找一下”需求grep確實夠了。真正逼著人往上走的往往是這幾類任務(wù)日志里按狀態(tài)碼統(tǒng)計次數(shù)、配置文件批量改某個字段、從結(jié)構(gòu)化文本里抽某幾列重排。這些任務(wù)用grep硬做會很別扭用awk或sed就是幾秒鐘的事。所以下面的內(nèi)容我會盡量從“什么場景下必須用它”切入而不是干講語法。語法查手冊就有場景判斷才是經(jīng)驗。2. grep不只是“搜關(guān)鍵字”grep看起來最簡單但它的參數(shù)組合能玩出的花樣比想象中多。很多人只用過grep 關(guān)鍵詞 文件其實它的正則能力、上下文控制、文件級篩選都相當能打。2.1 基礎(chǔ)匹配與正則的取舍最基本的用法不用多說grep error app.log這會在app.log里找出所有包含error的行。但這里有個容易被忽略的點默認情況下grep用的是基本正則表達式BRE某些元字符需要轉(zhuǎn)義才能生效。比如你想匹配“以 error 開頭”的行寫grep ^error沒問題但想用、?、|這些擴展元字符就得加-E切到擴展正則ERE或者老老實實加反斜杠。我的建議是只要用到稍微復(fù)雜一點的正則直接上-E?？勺x性好不容易因為轉(zhuǎn)義漏寫而匹配錯。對比一下# BRE 寫法豎線要轉(zhuǎn)義 grep error\|warning app.log # ERE 寫法清爽 grep -E error|warning app.log兩種都能跑但后者明顯更好維護。團隊協(xié)作時別人讀你的命令不用在腦子里做轉(zhuǎn)義換算。還有一個高頻需求是忽略大小寫加-i即可。日志里Error、ERROR、error混著出現(xiàn)是常態(tài)不加-i很容易漏。grep -iE error|fail|exception app.log這條命令在實際排查問題時出場率極高一次把三類異常關(guān)鍵詞都撈出來。2.2 上下文參數(shù)-A、-B、-C 的實戰(zhàn)價值只輸出匹配行很多時候信息不夠。比如日志里報了一行NullPointerException你光看這一行根本不知道前面發(fā)生了什么。這時候上下文參數(shù)就派上用場了-A n輸出匹配行之后的 n 行After-B n輸出匹配行之前的 n 行Before-C n輸出匹配行前后各n 行Contextgrep -B 3 -A 5 NullPointerException app.log這條命令會把異常行前面 3 行、后面 5 行一起打出來通常足夠看清調(diào)用棧的開頭部分。我個人的習(xí)慣是排查異常時用-B 5 -A 10因為異常信息往往在拋出點之后才展開前面幾行則是觸發(fā)條件。提示-A、-B、-C輸出的上下文行之間會用--分隔多個匹配塊不會糊在一起這個細節(jié)在結(jié)果很長時很有用。2.3 遞歸搜索與文件類型過濾在項目目錄里找某個函數(shù)在哪定義是日常高頻操作。-r遞歸搜索配合--include限定文件類型能避免把二進制文件、日志、依賴目錄全掃一遍grep -rn --include*.py def process_data ./src這里-n是顯示行號定位問題時必不可少。--include支持通配符也可以寫多個。反過來還有--exclude和--exclude-dir用來排除node_modules、.git這類不該搜的目錄grep -rn --exclude-dir{.git,node_modules,dist} TODO .不加排除的話在大項目里搜一次可能要等十幾秒加上之后通常一秒內(nèi)出結(jié)果。這個差別在反復(fù)搜索時非常明顯。2.4 反向匹配與計數(shù)-v 和 -c 的組合拳-v是反向匹配輸出不包含模式的行。這個參數(shù)在過濾噪音時特別好用。比如看配置文件時想跳過所有注釋行和空行g(shù)rep -vE ^\s*#|^\s*$ config.conf^\s*#匹配以可選空白開頭后跟#的行^\s*$匹配空行-v把它們都排除掉剩下的就是有效配置。-c是只輸出匹配的行數(shù)不輸出內(nèi)容。它和-v組合能快速統(tǒng)計有效行數(shù)grep -vcE ^\s*#|^\s*$ config.conf再進一步-o配合sort | uniq -c可以做詞頻統(tǒng)計。-o的意思是只輸出匹配到的部分而不是整行。比如統(tǒng)計日志里各狀態(tài)碼出現(xiàn)次數(shù)grep -oE status[0-9]{3} access.log | sort | uniq -c | sort -rn這條管道先抽出所有statusxxx片段排序后去重計數(shù)再按次數(shù)倒序排列。雖然嚴格說統(tǒng)計活是awk更擅長但grep -o這條路在臨時排查時寫起來更快。2.5 grep 的邊界什么時候該換工具grep的短板很明確它不理解字段結(jié)構(gòu)。一旦需求變成“第二列大于 100 的行”或者“按第三列分組求和”grep就無能為力了硬做只能靠一堆正則拼湊既脆弱又難讀。這種時候別硬扛直接換awk。同樣需要修改內(nèi)容時grep只能看不能改得交給sed。3. sed流式編輯的穩(wěn)與險sed最出名的用法是替換但它能做的遠不止替換。刪除行、插入行、按行號操作、多點編輯都是它的常規(guī)能力。不過sed也是三個命令里最容易出事的一個尤其是-i原地修改用不好會把文件改壞。3.1 替換命令 s 的完整語法拆解替換的基本形式是s/模式/替換內(nèi)容/標志。很多人只知道s/舊/新/g其實標志位和分隔符都有講究。先說分隔符。默認用/但如果模式或替換內(nèi)容里本身含/比如處理路徑就得轉(zhuǎn)義很煩。這時候可以換分隔符sed允許用任意字符常見的是#或|# 處理路徑時用 # 當分隔符避免轉(zhuǎn)義 sed s#/old/path#/new/path#g config.txt再說標志位標志含義使用場景g全局替換一行內(nèi)所有匹配都換一行可能出現(xiàn)多次目標時無只替換每行第一個匹配明確只想改第一處時p打印匹配行常配-n只想看被替換的行i忽略大小寫GNU sed 支持大小寫混雜時數(shù)字 n只替換第 n 個匹配精確定位某一處g是最容易漏的。不加g時sed只替換每行的第一處匹配如果一行里有多個目標后面的會被漏掉。這個坑我見過太多次——有人改完配置發(fā)現(xiàn)只改了一半排查半天才發(fā)現(xiàn)是漏了g。3.2 原地修改 -i 的正確姿勢與備份策略-i是原地修改直接把結(jié)果寫回文件。方便是真方便危險也是真危險——改錯了沒有撤銷。所以我的習(xí)慣是永遠帶備份后綴sed -i.bak s/old_value/new_value/g config.conf這樣原文件會被保存成config.conf.bak改壞了隨時能恢復(fù)。等確認沒問題再刪備份。多花一秒鐘省掉可能的半小時。還有一個跨平臺差異要注意某些系統(tǒng)的sed -i要求后面必須跟一個參數(shù)哪怕是空字符串寫法是sed -i s/.../.../而 GNU 版本則直接sed -i s/.../.../。如果你寫的腳本要在不同環(huán)境跑這一點會導(dǎo)致命令直接報錯。穩(wěn)妥的做法是先確認目標環(huán)境的sed版本或者在腳本里做兼容判斷。注意-i修改前務(wù)必確認模式匹配范圍。一個寫得太寬的正則可能匹配到意料之外的行改完才發(fā)現(xiàn)問題就晚了。建議先不加-i跑一遍看輸出確認無誤再加。3.3 按行號與模式刪除、插入、追加sed的刪除命令是d可以按行號刪也可以按模式刪# 刪除第 5 行 sed 5d file.txt # 刪除第 3 到第 8 行 sed 3,8d file.txt # 刪除所有空行 sed /^\s*$/d file.txt # 刪除包含 DEBUG 的行 sed /DEBUG/d file.txt插入用i在匹配行前插入追加用a在匹配行后追加# 在每個 [section] 前插入一行注釋 sed /^\[.*\]$/i # ---- section start ---- config.ini # 在文件末尾追加一行 sed $a # end of file config.ini這里$表示最后一行。i和a后面跟的內(nèi)容如果含特殊字符建議用單引號包住整個腳本避免 shell 提前解釋。3.4 多點編輯與腳本化-e 和 -f當需要一次做多個編輯動作時用-e串聯(lián)sed -e s/foo/bar/g -e s/baz/qux/g -e /^#/d file.txt多個-e按順序執(zhí)行前一個的結(jié)果會作為后一個的輸入。如果編輯邏輯很長寫成腳本文件更清晰用-f引用# 把編輯規(guī)則寫進 rules.sed # s/foo/bar/g # s/baz/qux/g # /^#/d sed -f rules.sed file.txt腳本化還有個好處規(guī)則可以版本管理團隊共享比每次手敲一長串命令可靠得多。3.5 sed 處理大文件時的內(nèi)存表現(xiàn)前面提過sed是流式處理逐行讀逐行輸出所以即使文件有幾個 G內(nèi)存占用也基本恒定。這一點和“先讀進內(nèi)存再處理”的方式有本質(zhì)區(qū)別。實際測試中處理一個幾百萬行的日志文件sed的內(nèi)存占用通常穩(wěn)定在幾 MB 級別速度也很快。但要注意-i原地修改時sed實際上是寫一個臨時文件再替換原文件所以磁盤上需要額外空間容納新文件。如果磁盤快滿了-i可能中途失敗。這種時候可以先輸出到新文件確認后再手動替換。4. awk字段級處理的真正威力如果說grep和sed是“行”級別的工具那awk就是“字段”級別的。它把每行拆成列讓你能按列做判斷、計算、格式化這是它區(qū)別于前兩者的核心能力。很多人覺得awk語法怪其實它的結(jié)構(gòu)非常規(guī)整模式 { 動作 }模式?jīng)Q定哪些行參與處理動作決定對這些行做什么。4.1 內(nèi)置變量$0、$1、NR、NF、FS、OFSawk的內(nèi)置變量是理解它的鑰匙先把這幾個吃透大部分用法就通了變量含義典型用途$0整行內(nèi)容輸出原始行$1~$n第 n 個字段按列取值NR當前行號跨文件累計加行號、按行篩選NF當前行的字段數(shù)取最后一列、判斷列數(shù)FS輸入字段分隔符指定按什么切列OFS輸出字段分隔符控制輸出格式舉個最直觀的例子打印文件的第二列和第四列awk {print $2, $4} data.txt默認按空白空格或制表符切分。如果數(shù)據(jù)是逗號分隔的 CSV就要指定FSawk -F, {print $1, $3} data.csv-F是FS的命令行快捷寫法。也可以用-F \t處理制表符分隔的文件。NF有個經(jīng)典技巧取每行最后一列。因為字段數(shù)不固定不能寫死$5但$NF永遠指向最后一個字段awk {print $NF} data.txt倒數(shù)第二列則是$(NF-1)。這個寫法在處理列數(shù)不定的日志時特別順手。4.2 模式匹配與條件過濾awk的模式部分可以省略表示所有行也可以是條件表達式。比如只處理第三列大于 100 的行awk -F, $3 100 {print $1, $3} data.csv注意這里$3 100是數(shù)值比較awk會自動把字段轉(zhuǎn)成數(shù)字。如果要字符串比較用或~正則匹配# 第五列包含 error 的行 awk -F, $5 ~ /error/ {print $0} data.csv # 第五列不包含 error 的行 awk -F, $5 !~ /error/ {print $0} data.csv~是正則匹配!~是反向。這個能力讓awk在篩選時比grep更精準因為可以限定“只在某一列里找”而不是整行找。比如日志里error可能出現(xiàn)在消息正文里但你只想找狀態(tài)列是 error 的行用awk就能精確鎖定。4.3 統(tǒng)計求和、計數(shù)、求平均的寫法awk做統(tǒng)計是它的看家本領(lǐng)。求和awk -F, {sum $3} END {print sum} data.csv計數(shù)awk END {print NR} data.txtNR在處理到END時就是總行數(shù)所以這條命令等價于wc -l但awk還能順便做別的。求平均awk -F, {sum $3; count} END {print sum/count} data.csv按分組統(tǒng)計是更常見的需求。比如按第一列分組對第三列求和awk -F, {sum[$1] $3} END {for (k in sum) print k, sum[k]} data.csv這里sum是一個關(guān)聯(lián)數(shù)組鍵是分組名值是累加和。END塊里遍歷數(shù)組輸出。這個模式幾乎可以套用到所有“按某列分組做聚合”的場景改一下累加邏輯就行。再進一步按分組求平均并保留兩位小數(shù)awk -F, {sum[$1] $3; cnt[$1]} END {for (k in sum) printf %s %.2f\n, k, sum[k]/cnt[k]} data.csvprintf的格式控制和 C 語言一致%.2f保留兩位小數(shù)。輸出對齊、格式統(tǒng)一時用它比print更可控。4.4 BEGIN 與 END 塊的使用時機awk的三個塊BEGIN、主體、END。BEGIN在讀取任何行之前執(zhí)行一次適合初始化變量、打印表頭END在所有行處理完后執(zhí)行一次適合輸出匯總結(jié)果。awk -F, BEGIN {print name,total} {sum[$1] $3} END {for (k in sum) print k , sum[k]} data.csv這條命令先打印表頭再輸出分組匯總結(jié)果直接就是一份可讀的報表。BEGIN里還可以設(shè)置FS、OFS比命令行參數(shù)更靈活awk BEGIN {FS,; OFS\t} {print $1, $3} data.csv這樣輸入按逗號切輸出用制表符分隔適合后續(xù)粘貼到表格軟件里。4.5 awk 與 grep、sed 的管道協(xié)作三者串起來用才是完整形態(tài)。舉個實際場景從日志里篩出錯誤行提取時間戳和錯誤碼再按錯誤碼統(tǒng)計。grep -E ERROR app.log \ | awk {print $1, $5} \ | awk {count[$2]} END {for (c in count) print c, count[c]} \ | sort -k2 -rn第一步grep篩出錯誤行第二步awk抽時間戳和錯誤碼兩列第三步按錯誤碼計數(shù)最后排序。每一步職責單一組合起來卻完成了相當復(fù)雜的分析。這種“小工具串管道”的思路比寫一個大而全的腳本更容易調(diào)試——哪一步結(jié)果不對單獨跑那一步就能定位。5. 三個命令的選型判斷與組合套路學(xué)到這里語法層面基本齊了但實際用的時候還是會猶豫“這個需求該用哪個”。這一節(jié)把常見的判斷邏輯和組合模式整理出來相當于一份速查。5.1 一張表看懂該用誰需求首選理由找包含某關(guān)鍵詞的行g(shù)rep行過濾是它的本職找某列滿足條件的行awk能定位到字段比整行匹配精準批量替換文本sed流式替換大文件也穩(wěn)按列統(tǒng)計求和/平均awk字段級計算是它的強項刪除/插入特定行sed行級編輯直接支持多條件組合篩選awk支持邏輯運算和正則遞歸搜目錄grep -r遞歸和文件過濾現(xiàn)成格式化輸出報表awkprintf控制格式判斷的核心就一句話看需求落在“行”還是“字段”上。行級篩選和編輯交給grep/sed字段級計算和條件交給awk。5.2 常見組合模式篩選-轉(zhuǎn)換-統(tǒng)計最經(jīng)典的三段式管道grep篩、sed清洗、awk統(tǒng)計。grep 2024- app.log \ | sed s/\[//g; s/\]//g \ | awk {print $2, $6} \ | awk {sum[$1] $2} END {for (k in sum) print k, sum[k]}這個模式的好處是每一步都能單獨驗證。先跑grep看篩出來的行對不對再加sed看清洗結(jié)果最后加awk看統(tǒng)計。出問題時不用猜是哪一步的鍋。另一個常見組合是awk生成sed腳本做條件替換。比如只替換滿足某條件的行awk -F, $3 100 {print s/^ $1 /REPLACED/} data.csv fix.sed sed -f fix.sed target.txt先用awk根據(jù)數(shù)據(jù)生成替換規(guī)則再交給sed執(zhí)行。這種“數(shù)據(jù)驅(qū)動編輯”的思路在批量處理時很有用規(guī)則不是寫死的而是從數(shù)據(jù)里算出來的。5.3 性能對比什么時候別硬用管道管道雖好但不是所有場景都適合。三個命令串起來意味著數(shù)據(jù)要經(jīng)過多次讀寫如果數(shù)據(jù)量特別大比如上千萬行管道開銷會累積。這種時候可以考慮用單個awk完成全部邏輯因為awk本身就能做篩選、轉(zhuǎn)換、統(tǒng)計awk -F, $3 100 {sum[$1] $3} END {for (k in sum) print k, sum[k]} data.csv一條awk頂替了grep | sed | awk三段少了兩輪數(shù)據(jù)傳遞。當然可讀性會下降一些所以我的原則是數(shù)據(jù)量小、邏輯清晰時用管道數(shù)據(jù)量大、性能敏感時合并到單個awk。這個取舍沒有絕對標準跑一下time對比最直接。6. 踩過的坑與實戰(zhàn)心得語法和套路講完最后這部分是我在實際使用中攢下來的經(jīng)驗有些是踩坑換來的有些是反復(fù)用之后總結(jié)的順手寫法。這些內(nèi)容手冊里不會寫但真正影響效率。6.1 正則轉(zhuǎn)義與特殊字符的連環(huán)坑grep、sed、awk三者的正則方言并不完全一致這是最容易出錯的地方。grep默認 BREsed默認也是 BREawk則更接近 ERE。同一個正則在不同命令里可能表現(xiàn)不同。舉個具體的在 BRE 里是普通字符要匹配“一個或多個”得寫\在 ERE 里才是量詞。所以grep a匹配的是字面的a而grep -E a匹配一個或多個a。這個差異如果不注意匹配結(jié)果會完全不對。另一個高頻坑是sed替換內(nèi)容里的特殊字符。替換內(nèi)容中表示“整個匹配”\1表示第一個捕獲組。如果你想替換成字面的得寫成\。比如把AB替換成AB本身直接寫s/AB/AB/會因為被解釋而得到奇怪結(jié)果正確寫法是s/AB/A\B/。提示拿不準正則行為時先用echo 測試字符串 | grep/sed/awk ...小范圍驗證確認匹配范圍再上真實文件。這個習(xí)慣能擋掉大部分誤操作。6.2 大文件處理時的內(nèi)存與速度權(quán)衡處理大文件時三個命令的表現(xiàn)差異明顯。grep和sed都是流式的內(nèi)存占用穩(wěn)定awk如果用了關(guān)聯(lián)數(shù)組做分組統(tǒng)計內(nèi)存會隨分組數(shù)增長。分組數(shù)少比如按狀態(tài)碼分組就幾十個鍵沒問題但如果按用戶 ID 分組、用戶有幾百萬數(shù)組就會吃掉大量內(nèi)存。這種時候的應(yīng)對辦法是要么先sort再順序處理犧牲時間換內(nèi)存要么分批處理。我遇到過一次按請求 ID 統(tǒng)計的場景直接awk數(shù)組把內(nèi)存撐爆了后來改成先sort再逐段處理才穩(wěn)住。所以看到“按高基數(shù)字段分組”的需求心里要有個預(yù)警。速度方面grep通常最快因為它只做匹配不做別的sed次之a(chǎn)wk因為功能多單行處理開銷略大但勝在一次能做完所有事綜合下來未必慢。具體場景跑time最靠譜別憑感覺。6.3 先預(yù)覽再落盤我的操作習(xí)慣這條是我最想強調(diào)的任何帶-i或重定向到原文件的命令執(zhí)行前先不加修改地跑一遍看輸出。# 第一步預(yù)覽確認匹配范圍 sed s/old/new/g config.conf | grep -n new # 第二步確認無誤再原地改且?guī)浞?sed -i.bak s/old/new/g config.conf多花這十幾秒能避免絕大多數(shù)“改錯了文件”的事故。尤其是正則寫得比較寬的時候預(yù)覽能直接暴露“匹配到了不該匹配的行”這個問題。我見過有人一個s/.*/.../下去把整個文件改成一行的就是因為沒預(yù)覽。6.4 把常用組合固化成小腳本反復(fù)用的命令組合值得固化成腳本或別名。比如我常用的“統(tǒng)計日志里各錯誤碼次數(shù)”#!/bin/bash # errstat.sh - 統(tǒng)計日志中各錯誤碼出現(xiàn)次數(shù) LOG_FILE${1:?請傳入日志文件路徑} grep -E ERROR|FATAL $LOG_FILE \ | awk {print $5} \ | sort | uniq -c | sort -rn存成errstat.sh加執(zhí)行權(quán)限以后./errstat.sh app.log一條命令出結(jié)果。比每次手敲管道快得多也不容易敲錯。類似的還有“清理配置文件注釋行”“按列重排 CSV”等用順手了就固化下來日積月累能省下大量重復(fù)勞動。我個人在實際操作中的體會是這三個命令的價值不在于語法多復(fù)雜而在于把判斷和操作拆得足夠細。grep只管找sed只管改awk只管算每個工具做一件事并做好再用管道串起來。真正熟練之后面對一個文本處理需求腦子里第一反應(yīng)不是“寫個腳本”而是“這條管道該怎么接”。這個思維轉(zhuǎn)變比記住多少參數(shù)都重要。