站采集程序?qū)崙?zhàn)：vivi 5.5核心鏈路與參數(shù)調(diào)優(yōu))
簡介這份資源是VIVI萬能小偷程序5.5的PHP源碼包面向希望快速搭建內(nèi)容采集站點(diǎn)的開發(fā)者與站長尤其適合具備一定PHP基礎(chǔ)、想研究單級(jí)域名站點(diǎn)自動(dòng)采集實(shí)現(xiàn)思路的技術(shù)人員。其核心能力在于只需填入目標(biāo)站地址即可全自動(dòng)抓取內(nèi)容官方稱可兼容約98%的單級(jí)域名站點(diǎn)屬于高智能采集類爬蟲程序可用于內(nèi)容聚合、站點(diǎn)鏡像等場(chǎng)景的二次開發(fā)與學(xué)習(xí)。壓縮包為zip格式整體約1.37MB體積輕便便于本地部署與調(diào)試。目前已有289人學(xué)習(xí)下載具備一定的參考熱度。源碼完整貼出讀者可據(jù)此研究采集規(guī)則匹配、頁面解析與數(shù)據(jù)入庫等關(guān)鍵環(huán)節(jié)的實(shí)現(xiàn)方式理解小偷程序在域名適配與自動(dòng)化流程上的設(shè)計(jì)取舍并在此基礎(chǔ)上按自身需求改造采集邏輯、擴(kuò)展目標(biāo)站點(diǎn)支持范圍是一份適合動(dòng)手實(shí)踐與源碼剖析的PHP采集程序參考材料。1. 一個(gè)“網(wǎng)站小偷程序”到底偷的是什么從 vivi 5.5 的 PHP 實(shí)現(xiàn)說起第一次看到“vivi網(wǎng)站小偷程序5.5PHP版”這個(gè)標(biāo)題多數(shù)人的反應(yīng)是好奇加警惕偷什么怎么偷合法嗎先把概念釘死——這類程序在技術(shù)圈更準(zhǔn)確的叫法是內(nèi)容采集與鏡像腳本核心邏輯是用 PHP 的 HTTP 客戶端去抓取目標(biāo)頁面的 HTML再按規(guī)則抽取正文、圖片、鏈接最后寫進(jìn)自己的數(shù)據(jù)庫或直接生成靜態(tài)頁。它不入侵服務(wù)器、不拖庫本質(zhì)是“替你把瀏覽器里手動(dòng)復(fù)制粘貼的動(dòng)作自動(dòng)化”。vivi 5.5 這個(gè)版本號(hào)說明它已經(jīng)迭代過幾輪PHP 版意味著部署門檻低虛擬主機(jī)就能跑。適合誰做垂直內(nèi)容聚合的站長、需要批量歸檔公開資料的運(yùn)營、想學(xué) HTTP 抓取與 DOM 解析的 PHP 開發(fā)者。但注意抓取行為必須遵守目標(biāo)站 robots.txt 與版權(quán)規(guī)則本文只討論技術(shù)實(shí)現(xiàn)路徑不鼓勵(lì)任何侵權(quán)用途。2. 拆開 vivi 5.5 的采集鏈路從 URL 隊(duì)列到入庫的五個(gè)環(huán)節(jié)2.1 先搞清楚它和普通爬蟲的區(qū)別普通爬蟲比如通用搜索引擎的蜘蛛目標(biāo)是“盡可能廣地發(fā)現(xiàn)新 URL”而 vivi 這類程序的目標(biāo)是“把指定站點(diǎn)的指定欄目完整搬過來”。前者重調(diào)度和去重后者重規(guī)則匹配和內(nèi)容還原。vivi 5.5 的典型工作流是種子 URL 列表 → 列表頁解析出詳情頁鏈接 → 詳情頁抓取 → 正文/圖片抽取 → 本地化存儲(chǔ)。它通常不帶分布式調(diào)度單機(jī)跑靠 PHP 的 curl 多線程或 file_get_contents 串行抓。選它的理由就一個(gè)改規(guī)則快。目標(biāo)站改版了你只需要調(diào)正則或 DOM 選擇器不用動(dòng)框架。2.2 最小可跑通的采集核心代碼下面這段是我一般會(huì)先寫出來驗(yàn)證鏈路是否通的最小 demo不依賴任何框架純 PHP curl DOMDocument?php // 最小采集核心抓列表頁 - 提取詳情鏈接 - 抓詳情 - 存本地 function fetch($url) { $ch curl_init($url); curl_setopt_array($ch, [ CURLOPT_RETURNTRANSFER true, // 返回字符串而不是直接輸出 CURLOPT_FOLLOWLOCATION true, // 跟隨 301/302 跳轉(zhuǎn) CURLOPT_TIMEOUT 15, // 單請(qǐng)求超時(shí)防止卡死 CURLOPT_USERAGENT Mozilla/5.0 (compatible; Collector/5.5), CURLOPT_ENCODING gzip, // 自動(dòng)解壓省帶寬 ]); $html curl_exec($ch); $code curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); return $code 200 ? $html : false; } // 1. 抓列表頁 $listHtml fetch(https://example.com/list); if (!$listHtml) exit(列表頁抓取失敗\n); // 2. 用 DOM 提取詳情鏈接比正則穩(wěn) $doc new DOMDocument(); libxml_use_internal_errors(true); // 屏蔽 HTML 不規(guī)范產(chǎn)生的警告 $doc-loadHTML($listHtml); $xpath new DOMXPath($doc); $links []; foreach ($xpath-query(//div[classlist]//a/href) as $node) { $links[] $node-nodeValue; } $links array_unique($links); // 去重列表頁常有重復(fù)入口 // 3. 逐個(gè)抓詳情并落盤 foreach ($links as $i $href) { $detail fetch($href); if (!$detail) continue; file_put_contents(__DIR__ . /data/{$i}.html, $detail); usleep(500000); // 間隔 0.5 秒別把對(duì)方打掛 } echo 完成共 . count($links) . 條\n;邏輯說明fetch()封裝了 curl 的四個(gè)關(guān)鍵參數(shù)——RETURNTRANSFER讓結(jié)果可處理FOLLOWLOCATION處理跳轉(zhuǎn)TIMEOUT防單點(diǎn)卡死ENCODING自動(dòng)解壓。第二步用DOMXPath而不是正則是因?yàn)?HTML 嵌套一深正則的貪婪匹配就會(huì)翻車。第三步的usleep是禮貌抓取也是保命符。參數(shù)怎么調(diào)TIMEOUT設(shè) 10~20 秒太短會(huì)誤殺慢站太長會(huì)拖垮隊(duì)列usleep的間隔看目標(biāo)站承受力公開小站建議 0.5~1 秒自有站可以降到 0.1 秒。USERAGENT別偽裝成搜索引擎蜘蛛那是給自己找麻煩。2.3 正文抽取與圖片本地化抓到詳情頁后vivi 5.5 這類程序的核心價(jià)值在“還原”——把正文從一堆導(dǎo)航、廣告、側(cè)欄里剝出來。常見做法是配置一個(gè)“正文容器選擇器”比如//div[idcontent]然后取textContent。圖片本地化則是把img src的相對(duì)路徑補(bǔ)全為絕對(duì)路徑下載到本地uploads/再把 HTML 里的地址替換掉。這一步不做目標(biāo)站一改圖床你的頁面全是裂圖。// 正文抽取 圖片地址替換 $detailDoc new DOMDocument(); libxml_use_internal_errors(true); $detailDoc-loadHTML($detail); $dx new DOMXPath($detailDoc); $contentNode $dx-query(//div[idcontent])-item(0); if (!$contentNode) continue; // 選擇器沒命中跳過而不是存空 // 圖片本地化 foreach ($dx-query(.//img, $contentNode) as $img) { $src $img-getAttribute(src); if (strpos($src, http) ! 0) { $src https://example.com . $src; // 補(bǔ)全相對(duì)路徑 } $local __DIR__ . /uploads/ . md5($src) . .jpg; file_put_contents($local, fetch($src)); $img-setAttribute(src, /uploads/ . basename($local)); } $text $detailDoc-saveHTML($contentNode);這里有個(gè)血淚經(jīng)驗(yàn)saveHTML()輸出的是整個(gè)節(jié)點(diǎn)包含標(biāo)簽別再用strip_tags把結(jié)構(gòu)也剝了否則段落全糊成一坨。圖片擴(kuò)展名用md5命名是為了防重名但真實(shí)項(xiàng)目里最好從Content-Type響應(yīng)頭判斷格式別硬編碼.jpg。3. 規(guī)則配置與參數(shù)調(diào)優(yōu)讓采集穩(wěn)定跑過 10 萬頁的三個(gè)關(guān)鍵設(shè)置3.1 列表頁翻頁與 URL 去重策略采集量一上來第一個(gè)崩的就是去重。vivi 5.5 默認(rèn)用內(nèi)存數(shù)組去重跑幾千頁還行上到幾萬頁內(nèi)存就爆。我一般會(huì)換成SQLite 唯一索引去重把已抓 URL 的 md5 存進(jìn)去插入沖突就跳過。翻頁規(guī)則則用“模板 頁碼變量”的方式配置比如https://example.com/list?page{n}n 從 1 遞增到抓不到有效鏈接為止。// SQLite 去重表 $db new PDO(sqlite: . __DIR__ . /seen.db); $db-exec(CREATE TABLE IF NOT EXISTS seen (hash TEXT PRIMARY KEY)); function isSeen($db, $url) { $hash md5($url); $stmt $db-prepare(INSERT OR IGNORE INTO seen (hash) VALUES (?)); $stmt-execute([$hash]); return $stmt-rowCount() 0; // 插入被忽略說明已存在 }INSERT OR IGNORE配合主鍵天然冪等比先查后插少一次 IO。rowCount()返回 0 就是重復(fù)直接跳過。3.2 并發(fā)數(shù)與超時(shí)別讓“快”變成“掛”單線程串行抓 10 萬頁按每頁 0.5 秒算要 14 小時(shí)。很多人第一反應(yīng)是上多線程PHP 里用curl_multi可以做到 5~10 并發(fā)。但并發(fā)不是越高越好——目標(biāo)站有連接數(shù)限制你并發(fā) 50對(duì)方直接封 IP。我的經(jīng)驗(yàn)值是并發(fā) 5單請(qǐng)求超時(shí) 15 秒失敗重試 2 次重試間隔翻倍。這套參數(shù)在中小站點(diǎn)上基本不會(huì)觸發(fā)封禁又能把總時(shí)長壓到 3 小時(shí)以內(nèi)。參數(shù)保守值激進(jìn)值風(fēng)險(xiǎn)并發(fā)數(shù)310超過 10 易被封單請(qǐng)求超時(shí)20s8s太短誤殺慢站重試次數(shù)20不重試丟數(shù)據(jù)請(qǐng)求間隔1s0.1s太快觸發(fā)限流3.3 編碼與亂碼GBK 站點(diǎn)的處理國內(nèi)不少老站還是 GBK 編碼curl 抓回來直接loadHTML會(huì)亂碼。正確做法是先看響應(yīng)頭Content-Type里的 charset或者從 HTML 的meta charset讀然后用mb_convert_encoding轉(zhuǎn)成 UTF-8 再解析。這一步不做后面所有抽取都是白干。// 編碼探測(cè)與轉(zhuǎn)換 if (preg_match(/charset[\]?([\w-])/i, $html, $m)) { $charset strtoupper($m[1]); if ($charset ! UTF-8) { $html mb_convert_encoding($html, UTF-8, $charset); } }注意mb_convert_encoding的源編碼要寫對(duì)寫成GBK而不是GB2312后者字符集太小遇到生僻字會(huì)丟。4. 避坑與排查采集程序跑掛的五個(gè)典型現(xiàn)場(chǎng)4.1 現(xiàn)象抓回來全是登錄頁 → 原因目標(biāo)站要 Cookie → 解決帶 Cookie 抓有些站未登錄只能看列表詳情頁跳登錄。這時(shí)候要么手動(dòng)登錄后把 Cookie 字符串寫進(jìn) curl 的CURLOPT_COOKIE要么用CURLOPT_COOKIEJAR先模擬登錄一次。別想著繞繞就是入侵直接放棄該站。4.2 現(xiàn)象跑一半內(nèi)存溢出 → 原因DOM 對(duì)象沒釋放 → 解決循環(huán)內(nèi) unsetDOMDocument和DOMXPath在循環(huán)里反復(fù) newPHP 的 GC 不一定及時(shí)回收。每輪循環(huán)結(jié)束unset($doc, $xpath)內(nèi)存曲線立刻平下來。這是最容易被忽略的玄學(xué)問題。4.3 現(xiàn)象圖片下載 403 → 原因缺 Referer → 解決補(bǔ) Referer 頭很多圖床校驗(yàn)來源頁。在fetch()里加CURLOPT_REFERER指向詳情頁 URL403 就消失了。別加假 Referer用真實(shí)的詳情頁地址。4.4 現(xiàn)象入庫后正文帶一堆\r\n→ 原因源站換行符未歸一 → 解決入庫前統(tǒng)一替換str_replace([\r\n, \r], \n, $text)再preg_replace(/\n{3,}/, \n\n, $text)頁面立刻干凈。這是后悔藥級(jí)別的操作建議寫進(jìn)公共函數(shù)。4.5 現(xiàn)象跑著跑著 IP 被限 → 原因無間隔高頻請(qǐng)求 → 解決加隨機(jī)延遲 失敗退避固定usleep還是有規(guī)律改成usleep(rand(300000, 800000))再配合失敗后sleep(pow(2, $retry))的指數(shù)退避能大幅降低被限概率。記住采集的穩(wěn)定性永遠(yuǎn)比速度值錢。5. 從能跑到好用給 vivi 5.5 加一層“斷點(diǎn)續(xù)采”與增量更新跑到 10 萬頁這個(gè)量級(jí)最怕的是中途斷電或腳本崩了重跑一遍全量。我的習(xí)慣是給采集器加斷點(diǎn)續(xù)采每處理完一條就把當(dāng)前頁碼和 URL 游標(biāo)寫進(jìn)一個(gè)progress.json啟動(dòng)時(shí)先讀這個(gè)文件從斷點(diǎn)繼續(xù)。增量更新則靠對(duì)比詳情頁的“最后修改時(shí)間”或內(nèi)容 hash沒變就跳過省掉 80% 的重復(fù)抓取。// 斷點(diǎn)續(xù)采進(jìn)度落盤 $progressFile __DIR__ . /progress.json; $progress file_exists($progressFile) ? json_decode(file_get_contents($progressFile), true) : [page 1, index 0]; // 主循環(huán)里每處理一條就更新 $progress[index] $i; file_put_contents($progressFile, json_encode($progress)); // 增量判斷內(nèi)容 hash 沒變就跳過 $newHash md5($detail); if (isset($hashStore[$url]) $hashStore[$url] $newHash) { continue; } $hashStore[$url] $newHash;progress.json的寫入頻率別太高每 10 條寫一次就夠否則磁盤 IO 反而成瓶頸。增量 hash 存 SQLite 里和去重表合并一張表管兩件事。最后說個(gè)驗(yàn)證方法拿 100 條已知數(shù)據(jù)做回放測(cè)試——把抓取結(jié)果和人工復(fù)制的正文做 diff字符級(jí)一致率低于 95% 就說明抽取規(guī)則有問題別急著上量。我自己踩過最大的坑就是規(guī)則沒驗(yàn)證就全量跑結(jié)果 3 萬條數(shù)據(jù)正文全帶側(cè)欄廣告清理比重抓還費(fèi)勁。所以現(xiàn)在的習(xí)慣是先跑 100 條人工抽檢 10 條確認(rèn)無誤再放開并發(fā)。這個(gè)習(xí)慣幫我省下的時(shí)間遠(yuǎn)比調(diào)優(yōu)參數(shù)多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取 PHP網(wǎng)站采集程序?qū)崙?zhàn)：vivi 5.5核心鏈路與參數(shù)調(diào)優(yōu)
簡介這份資源是VIVI萬能小偷程序5.5的PHP源碼包面向希望快速搭建內(nèi)容采集站點(diǎn)的開發(fā)者與站長尤其適合具備一定PHP基礎(chǔ)、想研究單級(jí)域名站點(diǎn)自動(dòng)采集實(shí)現(xiàn)思路的技術(shù)人員。其核心能力在于只需填入目標(biāo)站地址即可全自動(dòng)抓取內(nèi)容官方稱可兼容約98%的單級(jí)域名站點(diǎn)屬于高智能采集類爬蟲程序可用于內(nèi)容聚合、站點(diǎn)鏡像等場(chǎng)景的二次開發(fā)與學(xué)習(xí)。壓縮包為zip格式整體約1.37MB體積輕便便于本地部署與調(diào)試。目前已有289人學(xué)習(xí)下載具備一定的參考熱度。源碼完整貼出讀者可據(jù)此研究采集規(guī)則匹配、頁面解析與數(shù)據(jù)入庫等關(guān)鍵環(huán)節(jié)的實(shí)現(xiàn)方式理解小偷程序在域名適配與自動(dòng)化流程上的設(shè)計(jì)取舍并在此基礎(chǔ)上按自身需求改造采集邏輯、擴(kuò)展目標(biāo)站點(diǎn)支持范圍是一份適合動(dòng)手實(shí)踐與源碼剖析的PHP采集程序參考材料。1. 一個(gè)“網(wǎng)站小偷程序”到底偷的是什么從 vivi 5.5 的 PHP 實(shí)現(xiàn)說起第一次看到“vivi網(wǎng)站小偷程序5.5PHP版”這個(gè)標(biāo)題多數(shù)人的反應(yīng)是好奇加警惕偷什么怎么偷合法嗎先把概念釘死——這類程序在技術(shù)圈更準(zhǔn)確的叫法是內(nèi)容采集與鏡像腳本核心邏輯是用 PHP 的 HTTP 客戶端去抓取目標(biāo)頁面的 HTML再按規(guī)則抽取正文、圖片、鏈接最后寫進(jìn)自己的數(shù)據(jù)庫或直接生成靜態(tài)頁。它不入侵服務(wù)器、不拖庫本質(zhì)是“替你把瀏覽器里手動(dòng)復(fù)制粘貼的動(dòng)作自動(dòng)化”。vivi 5.5 這個(gè)版本號(hào)說明它已經(jīng)迭代過幾輪PHP 版意味著部署門檻低虛擬主機(jī)就能跑。適合誰做垂直內(nèi)容聚合的站長、需要批量歸檔公開資料的運(yùn)營、想學(xué) HTTP 抓取與 DOM 解析的 PHP 開發(fā)者。但注意抓取行為必須遵守目標(biāo)站 robots.txt 與版權(quán)規(guī)則本文只討論技術(shù)實(shí)現(xiàn)路徑不鼓勵(lì)任何侵權(quán)用途。2. 拆開 vivi 5.5 的采集鏈路從 URL 隊(duì)列到入庫的五個(gè)環(huán)節(jié)2.1 先搞清楚它和普通爬蟲的區(qū)別普通爬蟲比如通用搜索引擎的蜘蛛目標(biāo)是“盡可能廣地發(fā)現(xiàn)新 URL”而 vivi 這類程序的目標(biāo)是“把指定站點(diǎn)的指定欄目完整搬過來”。前者重調(diào)度和去重后者重規(guī)則匹配和內(nèi)容還原。vivi 5.5 的典型工作流是種子 URL 列表 → 列表頁解析出詳情頁鏈接 → 詳情頁抓取 → 正文/圖片抽取 → 本地化存儲(chǔ)。它通常不帶分布式調(diào)度單機(jī)跑靠 PHP 的 curl 多線程或 file_get_contents 串行抓。選它的理由就一個(gè)改規(guī)則快。目標(biāo)站改版了你只需要調(diào)正則或 DOM 選擇器不用動(dòng)框架。2.2 最小可跑通的采集核心代碼下面這段是我一般會(huì)先寫出來驗(yàn)證鏈路是否通的最小 demo不依賴任何框架純 PHP curl DOMDocument?php // 最小采集核心抓列表頁 - 提取詳情鏈接 - 抓詳情 - 存本地 function fetch($url) { $ch curl_init($url); curl_setopt_array($ch, [ CURLOPT_RETURNTRANSFER true, // 返回字符串而不是直接輸出 CURLOPT_FOLLOWLOCATION true, // 跟隨 301/302 跳轉(zhuǎn) CURLOPT_TIMEOUT 15, // 單請(qǐng)求超時(shí)防止卡死 CURLOPT_USERAGENT Mozilla/5.0 (compatible; Collector/5.5), CURLOPT_ENCODING gzip, // 自動(dòng)解壓省帶寬 ]); $html curl_exec($ch); $code curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); return $code 200 ? $html : false; } // 1. 抓列表頁 $listHtml fetch(https://example.com/list); if (!$listHtml) exit(列表頁抓取失敗\n); // 2. 用 DOM 提取詳情鏈接比正則穩(wěn) $doc new DOMDocument(); libxml_use_internal_errors(true); // 屏蔽 HTML 不規(guī)范產(chǎn)生的警告 $doc-loadHTML($listHtml); $xpath new DOMXPath($doc); $links []; foreach ($xpath-query(//div[classlist]//a/href) as $node) { $links[] $node-nodeValue; } $links array_unique($links); // 去重列表頁常有重復(fù)入口 // 3. 逐個(gè)抓詳情并落盤 foreach ($links as $i $href) { $detail fetch($href); if (!$detail) continue; file_put_contents(__DIR__ . /data/{$i}.html, $detail); usleep(500000); // 間隔 0.5 秒別把對(duì)方打掛 } echo 完成共 . count($links) . 條\n;邏輯說明fetch()封裝了 curl 的四個(gè)關(guān)鍵參數(shù)——RETURNTRANSFER讓結(jié)果可處理FOLLOWLOCATION處理跳轉(zhuǎn)TIMEOUT防單點(diǎn)卡死ENCODING自動(dòng)解壓。第二步用DOMXPath而不是正則是因?yàn)?HTML 嵌套一深正則的貪婪匹配就會(huì)翻車。第三步的usleep是禮貌抓取也是保命符。參數(shù)怎么調(diào)TIMEOUT設(shè) 10~20 秒太短會(huì)誤殺慢站太長會(huì)拖垮隊(duì)列usleep的間隔看目標(biāo)站承受力公開小站建議 0.5~1 秒自有站可以降到 0.1 秒。USERAGENT別偽裝成搜索引擎蜘蛛那是給自己找麻煩。2.3 正文抽取與圖片本地化抓到詳情頁后vivi 5.5 這類程序的核心價(jià)值在“還原”——把正文從一堆導(dǎo)航、廣告、側(cè)欄里剝出來。常見做法是配置一個(gè)“正文容器選擇器”比如//div[idcontent]然后取textContent。圖片本地化則是把img src的相對(duì)路徑補(bǔ)全為絕對(duì)路徑下載到本地uploads/再把 HTML 里的地址替換掉。這一步不做目標(biāo)站一改圖床你的頁面全是裂圖。// 正文抽取 圖片地址替換 $detailDoc new DOMDocument(); libxml_use_internal_errors(true); $detailDoc-loadHTML($detail); $dx new DOMXPath($detailDoc); $contentNode $dx-query(//div[idcontent])-item(0); if (!$contentNode) continue; // 選擇器沒命中跳過而不是存空 // 圖片本地化 foreach ($dx-query(.//img, $contentNode) as $img) { $src $img-getAttribute(src); if (strpos($src, http) ! 0) { $src https://example.com . $src; // 補(bǔ)全相對(duì)路徑 } $local __DIR__ . /uploads/ . md5($src) . .jpg; file_put_contents($local, fetch($src)); $img-setAttribute(src, /uploads/ . basename($local)); } $text $detailDoc-saveHTML($contentNode);這里有個(gè)血淚經(jīng)驗(yàn)saveHTML()輸出的是整個(gè)節(jié)點(diǎn)包含標(biāo)簽別再用strip_tags把結(jié)構(gòu)也剝了否則段落全糊成一坨。圖片擴(kuò)展名用md5命名是為了防重名但真實(shí)項(xiàng)目里最好從Content-Type響應(yīng)頭判斷格式別硬編碼.jpg。3. 規(guī)則配置與參數(shù)調(diào)優(yōu)讓采集穩(wěn)定跑過 10 萬頁的三個(gè)關(guān)鍵設(shè)置3.1 列表頁翻頁與 URL 去重策略采集量一上來第一個(gè)崩的就是去重。vivi 5.5 默認(rèn)用內(nèi)存數(shù)組去重跑幾千頁還行上到幾萬頁內(nèi)存就爆。我一般會(huì)換成SQLite 唯一索引去重把已抓 URL 的 md5 存進(jìn)去插入沖突就跳過。翻頁規(guī)則則用“模板 頁碼變量”的方式配置比如https://example.com/list?page{n}n 從 1 遞增到抓不到有效鏈接為止。// SQLite 去重表 $db new PDO(sqlite: . __DIR__ . /seen.db); $db-exec(CREATE TABLE IF NOT EXISTS seen (hash TEXT PRIMARY KEY)); function isSeen($db, $url) { $hash md5($url); $stmt $db-prepare(INSERT OR IGNORE INTO seen (hash) VALUES (?)); $stmt-execute([$hash]); return $stmt-rowCount() 0; // 插入被忽略說明已存在 }INSERT OR IGNORE配合主鍵天然冪等比先查后插少一次 IO。rowCount()返回 0 就是重復(fù)直接跳過。3.2 并發(fā)數(shù)與超時(shí)別讓“快”變成“掛”單線程串行抓 10 萬頁按每頁 0.5 秒算要 14 小時(shí)。很多人第一反應(yīng)是上多線程PHP 里用curl_multi可以做到 5~10 并發(fā)。但并發(fā)不是越高越好——目標(biāo)站有連接數(shù)限制你并發(fā) 50對(duì)方直接封 IP。我的經(jīng)驗(yàn)值是并發(fā) 5單請(qǐng)求超時(shí) 15 秒失敗重試 2 次重試間隔翻倍。這套參數(shù)在中小站點(diǎn)上基本不會(huì)觸發(fā)封禁又能把總時(shí)長壓到 3 小時(shí)以內(nèi)。參數(shù)保守值激進(jìn)值風(fēng)險(xiǎn)并發(fā)數(shù)310超過 10 易被封單請(qǐng)求超時(shí)20s8s太短誤殺慢站重試次數(shù)20不重試丟數(shù)據(jù)請(qǐng)求間隔1s0.1s太快觸發(fā)限流3.3 編碼與亂碼GBK 站點(diǎn)的處理國內(nèi)不少老站還是 GBK 編碼curl 抓回來直接loadHTML會(huì)亂碼。正確做法是先看響應(yīng)頭Content-Type里的 charset或者從 HTML 的meta charset讀然后用mb_convert_encoding轉(zhuǎn)成 UTF-8 再解析。這一步不做后面所有抽取都是白干。// 編碼探測(cè)與轉(zhuǎn)換 if (preg_match(/charset[\]?([\w-])/i, $html, $m)) { $charset strtoupper($m[1]); if ($charset ! UTF-8) { $html mb_convert_encoding($html, UTF-8, $charset); } }注意mb_convert_encoding的源編碼要寫對(duì)寫成GBK而不是GB2312后者字符集太小遇到生僻字會(huì)丟。4. 避坑與排查采集程序跑掛的五個(gè)典型現(xiàn)場(chǎng)4.1 現(xiàn)象抓回來全是登錄頁 → 原因目標(biāo)站要 Cookie → 解決帶 Cookie 抓有些站未登錄只能看列表詳情頁跳登錄。這時(shí)候要么手動(dòng)登錄后把 Cookie 字符串寫進(jìn) curl 的CURLOPT_COOKIE要么用CURLOPT_COOKIEJAR先模擬登錄一次。別想著繞繞就是入侵直接放棄該站。4.2 現(xiàn)象跑一半內(nèi)存溢出 → 原因DOM 對(duì)象沒釋放 → 解決循環(huán)內(nèi) unsetDOMDocument和DOMXPath在循環(huán)里反復(fù) newPHP 的 GC 不一定及時(shí)回收。每輪循環(huán)結(jié)束unset($doc, $xpath)內(nèi)存曲線立刻平下來。這是最容易被忽略的玄學(xué)問題。4.3 現(xiàn)象圖片下載 403 → 原因缺 Referer → 解決補(bǔ) Referer 頭很多圖床校驗(yàn)來源頁。在fetch()里加CURLOPT_REFERER指向詳情頁 URL403 就消失了。別加假 Referer用真實(shí)的詳情頁地址。4.4 現(xiàn)象入庫后正文帶一堆\r\n→ 原因源站換行符未歸一 → 解決入庫前統(tǒng)一替換str_replace([\r\n, \r], \n, $text)再preg_replace(/\n{3,}/, \n\n, $text)頁面立刻干凈。這是后悔藥級(jí)別的操作建議寫進(jìn)公共函數(shù)。4.5 現(xiàn)象跑著跑著 IP 被限 → 原因無間隔高頻請(qǐng)求 → 解決加隨機(jī)延遲 失敗退避固定usleep還是有規(guī)律改成usleep(rand(300000, 800000))再配合失敗后sleep(pow(2, $retry))的指數(shù)退避能大幅降低被限概率。記住采集的穩(wěn)定性永遠(yuǎn)比速度值錢。5. 從能跑到好用給 vivi 5.5 加一層“斷點(diǎn)續(xù)采”與增量更新跑到 10 萬頁這個(gè)量級(jí)最怕的是中途斷電或腳本崩了重跑一遍全量。我的習(xí)慣是給采集器加斷點(diǎn)續(xù)采每處理完一條就把當(dāng)前頁碼和 URL 游標(biāo)寫進(jìn)一個(gè)progress.json啟動(dòng)時(shí)先讀這個(gè)文件從斷點(diǎn)繼續(xù)。增量更新則靠對(duì)比詳情頁的“最后修改時(shí)間”或內(nèi)容 hash沒變就跳過省掉 80% 的重復(fù)抓取。// 斷點(diǎn)續(xù)采進(jìn)度落盤 $progressFile __DIR__ . /progress.json; $progress file_exists($progressFile) ? json_decode(file_get_contents($progressFile), true) : [page 1, index 0]; // 主循環(huán)里每處理一條就更新 $progress[index] $i; file_put_contents($progressFile, json_encode($progress)); // 增量判斷內(nèi)容 hash 沒變就跳過 $newHash md5($detail); if (isset($hashStore[$url]) $hashStore[$url] $newHash) { continue; } $hashStore[$url] $newHash;progress.json的寫入頻率別太高每 10 條寫一次就夠否則磁盤 IO 反而成瓶頸。增量 hash 存 SQLite 里和去重表合并一張表管兩件事。最后說個(gè)驗(yàn)證方法拿 100 條已知數(shù)據(jù)做回放測(cè)試——把抓取結(jié)果和人工復(fù)制的正文做 diff字符級(jí)一致率低于 95% 就說明抽取規(guī)則有問題別急著上量。我自己踩過最大的坑就是規(guī)則沒驗(yàn)證就全量跑結(jié)果 3 萬條數(shù)據(jù)正文全帶側(cè)欄廣告清理比重抓還費(fèi)勁。所以現(xiàn)在的習(xí)慣是先跑 100 條人工抽檢 10 條確認(rèn)無誤再放開并發(fā)。這個(gè)習(xí)慣幫我省下的時(shí)間遠(yuǎn)比調(diào)優(yōu)參數(shù)多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取