聊PHP優(yōu)化躲避不開兩個(gè)詞引用計(jì)數(shù)refcount和寫時(shí)復(fù)制Copy On Write下文統(tǒng)一叫COW。這倆機(jī)制藏在zval層面平時(shí)寫業(yè)務(wù)代碼看不見摸不著但只要碰到大數(shù)組、長(zhǎng)循環(huán)、駐留進(jìn)程它們會(huì)直接決定你的內(nèi)存峰值和響應(yīng)時(shí)間。我做過一個(gè)CLI批量任務(wù)同樣的數(shù)據(jù)量有人用file()把日志整個(gè)讀進(jìn)數(shù)組再處理峰值內(nèi)存是我用生成器逐行讀的12倍另一次我把一個(gè)大數(shù)組傳進(jìn)函數(shù)做只讀統(tǒng)計(jì)發(fā)現(xiàn)內(nèi)存占用幾乎沒漲。這些現(xiàn)象背后都是同一套底層規(guī)則PHP變量并不是每次賦值都復(fù)制一份。這篇文章按我的排查習(xí)慣把這套機(jī)制從原理到利用方式完整拆一遍適合已經(jīng)在寫PHP、想往性能優(yōu)化方向走的開發(fā)者。1. PHP變量到底是怎么管理的你先得理解zval1.1 變量是一張貼紙不是一個(gè)盒子很多初學(xué)者會(huì)把PHP變量想象成“一個(gè)裝數(shù)據(jù)的盒子”$a $b就是把$b的盒子復(fù)制一遍。這個(gè)直覺在大一學(xué)C語(yǔ)言時(shí)沒錯(cuò)但在PHP 7之后內(nèi)存管理層面早就不這么干了。PHP 7里每個(gè)變量在符號(hào)表里對(duì)應(yīng)一個(gè)zval結(jié)構(gòu)體。zval里除了存值的聯(lián)合體還有一個(gè)refcount字段用來記錄當(dāng)前有多少個(gè)符號(hào)、數(shù)組元素或者對(duì)象屬性指向同一個(gè)數(shù)據(jù)。比如$a [1, 2, 3, 4, 5]; $b $a;$b $a這行執(zhí)行完后并不是創(chuàng)建了一個(gè)新數(shù)組而是符號(hào)表里的$b直接指向了$a原來那個(gè)zval同時(shí)refcount從1變成2。內(nèi)存上基本沒動(dòng)。那什么時(shí)候才真正復(fù)制只有當(dāng)某個(gè)變量要“寫”的時(shí)候。比如$a [1, 2, 3, 4, 5]; $b $a; $b[] 6; // 這行才真正復(fù)制給$b追加元素時(shí)PHP發(fā)現(xiàn)這個(gè)zval的refcount大于1于是先分離出一份新的數(shù)組給$b再把原數(shù)組引用計(jì)數(shù)減回去。這個(gè)過程就是寫時(shí)復(fù)制。打個(gè)比方快遞到了門口一群人共享同一個(gè)盒子。只有某個(gè)人要往盒子里塞東西或者拿走盒子里屬于他的那部分時(shí)才會(huì)去重新買一個(gè)盒子然后把原來這個(gè)盒子的所有權(quán)讓給剩下的人。只要沒人“動(dòng)手寫”大家共用一份數(shù)據(jù)。1.2 COW解決的是“值語(yǔ)義”開銷問題PHP語(yǔ)言層面承諾的是“按值傳遞”$b $a之后你改$b不應(yīng)該影響$a。為了實(shí)現(xiàn)這個(gè)語(yǔ)義最直接的方案就是復(fù)制但復(fù)制在大多數(shù)場(chǎng)景是浪費(fèi)的。拿函數(shù)傳參來說function countTotal($list) { $sum 0; foreach ($list as $v) { $sum $v; } return $sum; } $big range(1, 1000000); $result countTotal($big);如果PHP每次都把$big完整復(fù)制一份給函數(shù)參數(shù)這個(gè)函數(shù)光是傳參就得浪費(fèi)幾十MB內(nèi)存和大量CPU。但有了COW函數(shù)內(nèi)部的$list和外部$big共享同一個(gè)zval函數(shù)只讀不寫就永遠(yuǎn)不復(fù)制。這也是COW的核心價(jià)值語(yǔ)法上按值物理上按引用共享把復(fù)制操作延遲到真正發(fā)生寫入的那一刻。對(duì)大多數(shù)“讀多寫少”的業(yè)務(wù)場(chǎng)景收益極其明顯。1.3 對(duì)象不適用COW別一概而論注意一個(gè)很容易踩的認(rèn)知誤區(qū)對(duì)象不是COW。PHP里對(duì)象變量保存的是對(duì)象句柄$obj2 $obj1只是復(fù)制了一個(gè)句柄兩個(gè)變量指向同一個(gè)對(duì)象本體。$obj1 new stdClass(); $obj1-name a; $obj2 $obj1; $obj2-name b; echo $obj1-name; // b數(shù)組和字符串走COW對(duì)象不走。想要真正的對(duì)象副本必須用clone這部分后面排查篇還會(huì)展開。2. COW是怎么觸發(fā)的細(xì)節(jié)比想象中多2.1 四種典型寫操作觸發(fā)分離COW觸發(fā)的前提是“對(duì)一個(gè)refcount大于1的zval執(zhí)行寫操作”。那哪些操作算寫寫操作類型典型代碼實(shí)際效果變量重新賦值$b 2;如果$b和$a共享則先分離再賦值數(shù)組元素修改/新增$b[] 1; $b[k] v;整個(gè)數(shù)組容器被分離數(shù)組元素刪除unset($b[k]);數(shù)組容器被分離字符串拼接/替換$b . x; $b[0]y;字符串被分離并重新分配這里的“分離”并不是把整個(gè)數(shù)據(jù)結(jié)構(gòu)深層復(fù)制一遍而是把最外層容器復(fù)制一份。比如一個(gè)二維數(shù)組$b $a之后修改$b[0][0] 1PHP會(huì)把最外層數(shù)組復(fù)制一份但內(nèi)層子數(shù)組還是共享的再修改到內(nèi)層那一項(xiàng)時(shí)才會(huì)再分離內(nèi)層數(shù)組。這個(gè)“逐層分離”的特點(diǎn)很重要理解它之后你就能解釋為什么COW并不會(huì)讓你的內(nèi)存瞬間翻倍。它只復(fù)制“當(dāng)前寫入路徑上的那層容器”。2.2 普通賦值和引用賦值是兩套規(guī)則普通賦值走的是“refcount COW”引用賦值走的是另一套規(guī)則$a 1; $b $a; // $a 和 $b 進(jìn)入同一個(gè)引用集合is_ref 1 $b 2; echo $a; // 2一旦使用建立引用zval的is_ref標(biāo)志會(huì)被置為1之后對(duì)這個(gè)zval的任何寫操作都不再觸發(fā)分離而是直接修改共享值。這是“引用”和“按值”的根本區(qū)別。更微妙的是兩者混合時(shí)的行為$a 1; $b $a; // $a,$b 引用集合is_ref 1 $c $b; // 普通賦值$c不會(huì)加入引用集合 $c 3; echo $a; // 1$c影響不到$a把引用集合中的變量再普通賦值給一個(gè)新變量PHP會(huì)主動(dòng)把新變量分離出去否則$c一旦被修改就會(huì)意外改動(dòng)$a和$b。這種“隔離”是必要的但也是很多人在排查詭異變量時(shí)容易忽略的點(diǎn)。2.3 foreach里的$value到底是副本還是引用經(jīng)典問題foreach里修改$value為什么原數(shù)組不變$orders [ [id 1, amount 100], [id 2, amount 200], ]; foreach ($orders as $order) { $order[amount] 10; } print_r($orders); // 原數(shù)組沒變這里的$order是當(dāng)前數(shù)組元素的副本修改它只是修改一個(gè)臨時(shí)zval不會(huì)動(dòng)原數(shù)組。想直接改原數(shù)組就得用引用foreach ($orders as $order) { $order[amount] 10; } unset($order);用之后$order指向的是原數(shù)組內(nèi)部元素的zval寫的時(shí)候由于is_ref1不會(huì)分離直接改原數(shù)組。這里特別提醒循環(huán)結(jié)束后一定要unset($order)否則$order會(huì)保留對(duì)最后一個(gè)元素的引用后面再foreach的時(shí)候極容易出現(xiàn)“最后一個(gè)元素被悄悄改掉”的問題。2.4 函數(shù)傳參的COW紅利怎么拿到手函數(shù)默認(rèn)按值傳參但有了COW只讀函數(shù)幾乎零成本function sumAmount(array $list) { $total 0; foreach ($list as $item) { $total $item[amount]; } return $total; } $rows loadRows(); // 假設(shè)20萬行 $sum sumAmount($rows); // 這里沒有復(fù)制20萬行但如果你在函數(shù)內(nèi)部寫了參數(shù)function addRow(array $list) { $list[] [amount 999]; return $list; }$list[]這一行會(huì)觸發(fā)數(shù)組分離把外部$rows復(fù)制一份新的出來再追加。結(jié)果就是你看似只加了一行數(shù)據(jù)內(nèi)存里卻多了一份完整的大數(shù)組。所以設(shè)計(jì)函數(shù)時(shí)要想清楚這個(gè)函數(shù)是只讀變換還是要產(chǎn)生新集合只讀函數(shù)保持參數(shù)不可寫既隔離了外部變量又能享受COW零拷貝紅利需要產(chǎn)生新集合時(shí)在函數(shù)內(nèi)部返回新數(shù)組但不要無腦修改傳入?yún)?shù)。3. 實(shí)戰(zhàn)優(yōu)化把內(nèi)存峰值穩(wěn)定地壓下來3.1 日志處理翻車現(xiàn)場(chǎng)file()為什么那么吃內(nèi)存一個(gè)非常常見的場(chǎng)景是處理大日志。很多人習(xí)慣一行搞定$lines file($logFile); foreach ($lines as $line) { parse($line); }file()會(huì)把整個(gè)文件按行切分成一個(gè)大數(shù)組。如果日志500MB這個(gè)數(shù)組大概也要占幾百M(fèi)B內(nèi)存還沒開始處理就已經(jīng)頂?shù)教旎ò辶?。這里COW救不了你因?yàn)樗荒鼙苊狻霸購(gòu)?fù)制一份”不能幫你省掉“讀取時(shí)那份原始數(shù)據(jù)”。正確做法是逐行讀取或者用生成器function readLines($path) { $fp fopen($path, rb); if (!$fp) { return; } while (($line fgets($fp)) ! false) { yield rtrim($line, \r\n); } fclose($fp); } foreach (readLines($logFile) as $line) { parse($line); }生成器不會(huì)把整份數(shù)據(jù)裝進(jìn)數(shù)組每次只產(chǎn)出當(dāng)前一行內(nèi)存占用基本恒定。這個(gè)例子和COW沒有直接關(guān)系但它提醒了一件事COW是內(nèi)存優(yōu)化的一環(huán)不是萬能藥能不能省內(nèi)存首先取決于你一開始有沒有構(gòu)造出那個(gè)“巨大的集合”。3.2 復(fù)用$row變量構(gòu)建二維數(shù)組到底會(huì)不會(huì)復(fù)制批量處理數(shù)據(jù)時(shí)常見寫法是這樣$orders []; $row []; for ($i 0; $i 100000; $i) { $row[id] $i; $row[amount] rand(100, 999); $row[items] $items; $orders[] $row; }直覺上$orders[] $row每執(zhí)行一次就是把$row復(fù)制一份放進(jìn)$orders所以100萬條數(shù)據(jù)就會(huì)復(fù)制100萬次。其實(shí)不是。第一次執(zhí)行$orders[] $row時(shí)$row和$orders[0]共享同一個(gè)zvalrefcount變成2。進(jìn)入第二次循環(huán)執(zhí)行$row[id] $i時(shí)PHP發(fā)現(xiàn)$row這個(gè)zval refcount大于1于是觸發(fā)COW把$row分離成一個(gè)新數(shù)組剛才那個(gè)舊數(shù)組則保留在$orders[0]中。也就是說舊數(shù)據(jù)的“復(fù)制”其實(shí)發(fā)生在下一輪寫$row的時(shí)候但它不是把舊數(shù)據(jù)重新拷貝了一遍只是讓$row指向一個(gè)新分配的數(shù)組。這個(gè)機(jī)制帶來的實(shí)際好處是$row變量可以復(fù)用不用擔(dān)心“每賦值一次就深拷貝一次”。但要注意一個(gè)隱蔽坑如果你在復(fù)用$row時(shí)先賦值給$orders再修改$row那么已進(jìn)入$orders的那份數(shù)據(jù)不會(huì)帶上后續(xù)修改。$row []; $row[id] 1; $orders[] $row; // 此時(shí)$orders[0]里只有id $row[amount] 100; // 這里會(huì)復(fù)制一份新的$row不再影響$orders[0] $orders[] $row; // $orders[1]有id和amount$orders[0]沒有amount所以復(fù)用$row時(shí)要么每輪完整構(gòu)建好再入數(shù)組要么就老老實(shí)實(shí)每次新建變量。COW能幫你省掉不必要的拷貝但不會(huì)替你修正業(yè)務(wù)邏輯。3.3 內(nèi)置函數(shù)會(huì)造中間數(shù)組COW管不了COW解決的是“變量共享和分離”的問題但很多內(nèi)置函數(shù)本身會(huì)主動(dòng)創(chuàng)建新數(shù)組這部分內(nèi)存是繞不過去的。$rows loadRows(); // 20萬行 $amounts array_column($rows, amount); // 新數(shù)組 $total array_sum($amounts);array_column會(huì)生成一個(gè)新數(shù)組array_sum再遍歷一遍。如果只是要總和直接foreach累加就好中間那層$amounts完全是浪費(fèi)$total 0; foreach ($rows as $row) { $total $row[amount]; }這類優(yōu)化要培養(yǎng)習(xí)慣凡是“遍歷一遍最終只是想算個(gè)聚合值”的場(chǎng)景不要用array_map、array_column、array_filter等函數(shù)鏈?zhǔn)秸{(diào)用。那些函數(shù)的結(jié)果數(shù)組可能比原數(shù)組還占內(nèi)存而且COW不會(huì)幫你省掉它們產(chǎn)生的中間結(jié)果。3.4 利用COW做配置數(shù)據(jù)的“低成本多副本”有一個(gè)非常實(shí)用的技巧是故意利用COW做多份邏輯視圖。比如項(xiàng)目里有一份復(fù)雜的配置數(shù)組加載一次后多個(gè)模塊都要用$config loadConfig(); // 大數(shù)組幾MB $webConfig $config; $cliConfig $config; $workerConfig $config;這三個(gè)變量并沒有復(fù)制三份配置它們共享同一個(gè)zval內(nèi)存占用基本不變。之后某個(gè)模塊想臨時(shí)改一下配置又不想影響全局$local $config; $local[debug] true; // 這里才復(fù)制而且只復(fù)制最外層數(shù)組寫發(fā)生時(shí)COW會(huì)分離出一份新的數(shù)組給$local原$config不受影響。這個(gè)做法比array_merge再去合并整個(gè)配置要高效得多因?yàn)槟愦蠖鄶?shù)時(shí)候只是改幾個(gè)頂層鍵。不過要注意如果配置是深層嵌套修改$local[db][host]會(huì)觸發(fā)最外層分離再觸發(fā)內(nèi)層db數(shù)組分離但其他深層子數(shù)組仍然共享。這既是優(yōu)點(diǎn)也是坑后續(xù)如果需要完整快照還是要手動(dòng)深拷貝。4. 引用計(jì)數(shù)的高級(jí)利用解構(gòu)、循環(huán)引用與調(diào)試手段4.1 延遲解構(gòu)從大數(shù)組里摘數(shù)據(jù)并不耗內(nèi)存從一個(gè)大數(shù)組里取幾個(gè)字段常見的寫法是$user $row[user]; $score $row[score]; unset($row); // 原大數(shù)組不再整體保留$user和$score只是分別指向原數(shù)組里對(duì)應(yīng)子值的zvalrefcount加1并沒有把整個(gè)$row復(fù)制一份。unset($row)只會(huì)把最外層數(shù)組的引用計(jì)數(shù)減掉如果大數(shù)組里其他字段沒有任何變量引用它們會(huì)被釋放而$user和$score這兩個(gè)子值因?yàn)檫€有變量持有繼續(xù)存活。這種“摘取子集再釋放大數(shù)組”的做法非常適合從DB查詢結(jié)果或API響應(yīng)里只留幾個(gè)關(guān)鍵字段的場(chǎng)景。你不需要把整個(gè)數(shù)組拆成很多變量更不需要做$user [name $row[name], ...]這種重建直接引用計(jì)數(shù)的共享原則就夠了。PHP 7.1之后還能用短數(shù)組解構(gòu)[$user, $score] [$row[user], $row[score]];解構(gòu)出來的變量同樣按引用計(jì)數(shù)共享后續(xù)誰(shuí)先寫誰(shuí)才復(fù)制。4.2 循環(huán)引用引用計(jì)數(shù)機(jī)制的天生短板引用計(jì)數(shù)最大的敵人是循環(huán)引用。兩個(gè)對(duì)象互相持有對(duì)方refcount永遠(yuǎn)減不到0內(nèi)存就無法釋放。class Node { public $next; public $prev; } $a new Node(); $b new Node(); $a-next $b; $b-prev $a; $a null; $b null;這段代碼執(zhí)行完后兩個(gè)Node對(duì)象依然互相引用引用計(jì)數(shù)不會(huì)歸零PHP只能靠GC的循環(huán)檢測(cè)去回收而且回收時(shí)機(jī)不可控。如果這種結(jié)構(gòu)出現(xiàn)在長(zhǎng)駐進(jìn)程里比如常駐的Web Worker或者消息消費(fèi)進(jìn)程內(nèi)存會(huì)持續(xù)增長(zhǎng)。解決辦法是設(shè)計(jì)上盡量避免強(qiáng)雙向依賴或者在業(yè)務(wù)結(jié)束時(shí)手動(dòng)斷開$a-next null; $b-prev null;PHP 7.4開始有WeakReference可以用于緩存、觀察者這類“需要引用但不希望阻止回收”的場(chǎng)景$obj new stdClass(); $ref WeakReference::create($obj); $obj null; var_dump($ref-get()); // NULL對(duì)象已被回收不能說有了GC就萬事大吉GC本身有掃描開銷而且觸發(fā)時(shí)機(jī)不確定。寫服務(wù)端代碼時(shí)雙向引用、父子強(qiáng)引用、事件訂閱器這幾種結(jié)構(gòu)都要謹(jǐn)慎。4.3 怎么觀察引用計(jì)數(shù)和內(nèi)存變化調(diào)試COW最直接的手段是看內(nèi)存占用變化$a range(1, 1000000); $before memory_get_usage(true); $b $a; $afterAssign memory_get_usage(true); $b[] 0; $afterWrite memory_get_usage(true); echo $afterAssign - $before, PHP_EOL; // 基本為0 echo $afterWrite - $afterAssign, PHP_EOL; // 約等于一個(gè)百萬整數(shù)數(shù)組大小這個(gè)例子能直觀看到賦值不復(fù)制、寫操作才復(fù)制。另有一個(gè)內(nèi)置函數(shù)debug_zval_refcount可以查看引用計(jì)數(shù)但要注意它本身傳參會(huì)帶來額外引用PHP不同版本返回值的修正方式還不一樣所以不要糾結(jié)絕對(duì)數(shù)字看趨勢(shì)就好。生產(chǎn)環(huán)境更建議用memory_get_peak_usage(true)做基線$base memory_get_peak_usage(true); runTask(); $peak memory_get_peak_usage(true);通過峰值差來確認(rèn)某個(gè)大數(shù)組操作到底有沒有產(chǎn)生額外拷貝比猜要靠譜得多。5. 常見問題與排查思路實(shí)錄5.1 foreach里用了為什么外面的普通變量也被改了$a [1, 2, 3]; $b $a; foreach ($a as $v) { $v $v * 2; } print_r($b); // b也變成了 [2, 4, 6]原因在于foreach使用時(shí)會(huì)強(qiáng)制讓$a的zval進(jìn)入引用集合狀態(tài)。而$b當(dāng)時(shí)和$a共享同一個(gè)zvalis_ref變成1后寫操作不再分離開結(jié)果$b和$a被一起修改。這正是混合引用與普通賦值最容易踩的坑。如果你要保護(hù)其他共享變量循環(huán)前先復(fù)制一份目標(biāo)數(shù)組或者避免在共享數(shù)組上直接foreach引用遍歷。5.2 引用返回的“偽共享”函數(shù)可以返回引用但調(diào)用時(shí)不加是不會(huì)共享的function getConfig() { static $config [debug false]; return $config; } $cfg getConfig(); // 沒有用普通賦值 $cfg[debug] true; print_r(getConfig()); // debug還是false想真正拿到引用必須顯式$cfg getConfig(); $cfg[debug] true; print_r(getConfig()); // debug變成true這個(gè)語(yǔ)法細(xì)節(jié)很容易讓人誤判。一個(gè)函數(shù)聲明的返回類型是引用調(diào)用處不寫COW就會(huì)讓它退化成“普通只讀副本”后續(xù)寫操作直接分離。除非你明確要共享變量否則這個(gè)“退化成副本”的行為反而是安全的。5.3 字符串拼接為什么那么慢COW能讓字符串賦值零拷貝但$str . x這種追加每次都會(huì)生成一個(gè)全新的字符串對(duì)象。比如$buf ; foreach ($rows as $row) { $buf . $row[content]; }100萬行拼接理論上會(huì)產(chǎn)生大量中間字符串CPU和內(nèi)存都扛不住。更合理的做法是用數(shù)組收集中間片段最后implode$chunks []; foreach ($rows as $row) { $chunks[] $row[content]; } $buf implode(, $chunks);雖然$chunks數(shù)組會(huì)占一點(diǎn)內(nèi)存但比反復(fù)分配大字符串要高效得多。COW能幫你省掉“把同一字符串復(fù)制給多個(gè)變量”的開銷但省不掉“每次追加都要分配新字符串”的成本。5.4 unset之后為什么內(nèi)存沒有立刻降下來有同學(xué)遇到這種情況unset一個(gè)大數(shù)組之后memory_get_usage顯示內(nèi)存還是很高。其實(shí)不一定是泄漏常見原因有三個(gè)。一是內(nèi)存管理器不會(huì)立刻把內(nèi)存還給操作系統(tǒng)進(jìn)程內(nèi)可能還有空閑內(nèi)存塊只是PHP后續(xù)可以復(fù)用二是對(duì)象存在循環(huán)引用REFCOUNT歸不了零GC還沒運(yùn)行三是你unset的只是最外層變量?jī)?nèi)部某個(gè)字段可能還被其他地方引用著。排查時(shí)要先用gc_status()看看GC buffer里積壓了多少待回收的循環(huán)引用再用memory_get_usage對(duì)比。如果確實(shí)有循環(huán)引用編寫代碼時(shí)就顯式斷開關(guān)系而不是等GC。5.5 永遠(yuǎn)不要把COW當(dāng)成深拷貝COW的分離是“逐層”的不是“整個(gè)數(shù)據(jù)結(jié)構(gòu)”的。修改深層數(shù)組時(shí)外層的復(fù)制會(huì)共享內(nèi)層子數(shù)組所以在某些局部修改場(chǎng)景下你以為自己拿的是獨(dú)立副本其實(shí)內(nèi)層數(shù)據(jù)仍然共享。比如$a [config [host 127.0.0.1, port 3306]]; $b $a; $b[config][port] 3307; $a[config][port]; // 還是3306這里$b[config]本身觸發(fā)了復(fù)制所以修改$b里的port不會(huì)影響$a。但如果業(yè)務(wù)邏輯是“先修改外層結(jié)構(gòu)再在后續(xù)步驟中修改同一個(gè)內(nèi)層子數(shù)組”就要格外小心因?yàn)閮?nèi)層共享關(guān)系可能比你預(yù)想的更深。排查復(fù)雜數(shù)組問題時(shí)不要只靠print_r看結(jié)果直接把memory_get_peak_usage的前后差值打印出來能快速判斷到底有沒有發(fā)生整體復(fù)制。最后說一個(gè)我自己的習(xí)慣任何涉及大數(shù)組的方案上線前我都會(huì)寫一個(gè)小腳本用memory_get_peak_usage(true)打三行基線——原始數(shù)據(jù)構(gòu)建完的峰值、傳參處理中的峰值、輸出結(jié)果后的峰值。只要這三條數(shù)字和理論預(yù)期對(duì)得上COW和引用計(jì)數(shù)的行為就基本不會(huì)坑你。很多時(shí)候內(nèi)存問題不是靠某一條魔法配置解決的而是靠一層層確認(rèn)“哪些復(fù)制被推遲了、哪些中間數(shù)組根本不該存在”來治的。