1. 為什么要離開Scrapy舒適圈學(xué)術(shù)論文采集的三個死穴先說結(jié)論這年頭如果還要從零搭建一個學(xué)術(shù)論文摘要采集系統(tǒng)閉眼選Scrapy 同步下載中間件的方案已經(jīng)不是最優(yōu)解了。我這次做某學(xué)術(shù)檢索平臺的論文摘要爬取項目從最初的全Scrapy架構(gòu)一路演進(jìn)到Playwright asyncio aiohttp為主體的異步采集鏈路中間踩了不少坑。把這段演進(jìn)過程完整整理出來希望對正在做學(xué)術(shù)數(shù)據(jù)采集、知識庫建設(shè)、論文元數(shù)據(jù)沉淀的團(tuán)隊有參考價值。學(xué)術(shù)論文摘要抓取和一般網(wǎng)站爬蟲有本質(zhì)區(qū)別。它不是一個能抓到內(nèi)容就行的活兒而是要長期、穩(wěn)定、低封禁率地運(yùn)行。痛點(diǎn)集中在三個地方渲染鏈路深現(xiàn)代學(xué)術(shù)站點(diǎn)幾乎全面轉(zhuǎn)向JavaScript渲染早期純requests時代的靜態(tài)HTML接口大量被廢棄或加密摘要正文、作者機(jī)構(gòu)、基金信息經(jīng)常要觸發(fā)多個異步請求之后才會出現(xiàn)在DOM里。Scrapy默認(rèn)架構(gòu)對這個場景是無能為力的因?yàn)槟隳玫降腞esponse里根本沒有渲染后的內(nèi)容。反爬策略復(fù)雜學(xué)術(shù)平臺普遍有指紋檢測、行為風(fēng)控、頻率限制。同一IP高頻訪問會導(dǎo)致整段網(wǎng)段被限制連正常的驗(yàn)證碼都不給直接給你一個黑洞頁面或空白響應(yīng)。這是純Scrapy方案最難處理的。數(shù)據(jù)非結(jié)構(gòu)化程度高摘要本身是自由文本但它和標(biāo)題、作者、DOI、關(guān)鍵詞、引用次數(shù)是鑲嵌在多個組件里的。解析的準(zhǔn)確率直接取決于你拿到的DOM有多完整。沒渲染完的頁面XPATH路徑會跳躍今天能跑通的表達(dá)式明天頁面改版就全廢。所以在項目立項階段我就決定了要做一次徹底的架構(gòu)演進(jìn)保留Scrapy在調(diào)度和去重上的成熟能力但在抓取端引入Playwright承擔(dān)瀏覽器渲染與動態(tài)內(nèi)容提取同時把整套網(wǎng)絡(luò)IO切換為異步模型。最終落地的是一個兩層結(jié)構(gòu)底層是異步抓取引擎負(fù)責(zé)并發(fā)調(diào)度、代理池切換、重試與結(jié)果歸一上層是瀏覽器自動化層負(fù)責(zé)登錄態(tài)維持、動態(tài)頁面渲染、關(guān)鍵字段抽取。接下來我會把這套系統(tǒng)的設(shè)計思路和踩坑過程逐步拆開講。2. 系統(tǒng)全景與訴求拆解第一版架構(gòu)為什么注定不合格2.1 項目目標(biāo)它要采集什么、存什么、提供給誰這個項目本身是做一個內(nèi)部知識庫的前置數(shù)據(jù)管道——需要持續(xù)從多個學(xué)術(shù)檢索入口采集論文的題錄信息和摘要正文存成統(tǒng)一格式的結(jié)構(gòu)化記錄供下游做檢索、分類、趨勢分析。核心采集字段包括論文標(biāo)題、作者列表、作者機(jī)構(gòu)、通訊作者郵箱、摘要原文、DOI、期刊/會議名稱、發(fā)表年份、關(guān)鍵詞、引用次數(shù)、下載鏈接。這里面最難啃的其實(shí)不是摘要原文而是作者機(jī)構(gòu)和通訊作者郵箱——這兩個字段在很多檢索頁不會直接展示需要逐條爬進(jìn)詳情頁才能拿到等于把單論文的請求量翻了一倍。2.2 第一版技術(shù)路線傳統(tǒng)Scrapy同步中間件的組合第一版用的是典型的教科書式Scrapy組合scrapy.Spiderscrapy.RequestSelector配合自研的UA池和IP輪換Middleware。這套方案上線初期的表現(xiàn)勉強(qiáng)能用但隨著采集規(guī)模的提升和學(xué)術(shù)站點(diǎn)反爬的升級問題開始集中爆發(fā)。最直接的一個死穴是目標(biāo)站點(diǎn)把論文列表頁分成了輕量摘要版和完整詳情版。輕量摘要版首屏只渲染前20條滾動到頁面底部之后才會通過接口請求加載后續(xù)數(shù)據(jù)。Scrapy的Selector解析的是第一個Response的靜態(tài)內(nèi)容永遠(yuǎn)拿不到滾動加載后的條目——可以這么說跑了一圈每一個列表頁都只采到了五分之一的論文。第二個死穴是登錄態(tài)過期。學(xué)術(shù)平臺普遍要求登錄后才展示完整摘要。Scrapy方案里我用FormRequest模擬登錄但登錄態(tài)的Token是綁定瀏覽器指紋的服務(wù)端很容易識別出你不是同一個瀏覽器在操作導(dǎo)致頻繁被踢下線。2.3 為什么不能只在Scrapy上打補(bǔ)丁我最初也想過曲線救國給Scrapy加Selenium中間件把渲染交給瀏覽器把解析交給Scrapy。這樣做確實(shí)能讓第一版跑起來更順但代價很大。Scrapy的并發(fā)模型是Twisted異步框架本身不支持在抓取回調(diào)里阻塞等待瀏覽器渲染。官方推薦的scrapy-selenium中間件本質(zhì)上是開一個Chrome窗口用WebDriverWait做同步等待這就把整個爬蟲的吞吐量鎖死在了瀏覽器的響應(yīng)速度上。原本同一時間能并發(fā)5到10個請求現(xiàn)在只能串行等頁面加載。更麻煩的是scrapy的項目結(jié)構(gòu)里Spider、Item Pipeline、Middleware各層耦合很強(qiáng)加入瀏覽器自動化的代碼往往會散落在各層調(diào)試成本陡增。我在第二版改造中途做過一次對比同一個列表頁ScrapySelenium方案平均耗時6到8秒而純Playwright異步方案只需要2到3秒——這不是調(diào)優(yōu)能補(bǔ)回來的差距是架構(gòu)思路的問題。所以在聽完三方意見后我下定決心只保留Scrapy的調(diào)度和導(dǎo)出邏輯抓取端整體重寫。3. 從Scrapy到Playwright的遷移路線三個關(guān)鍵決策的過程與理由3.1 抓取引擎為什么選Playwright而不是Selenium或純requests選型這件事我其實(shí)糾結(jié)了將近一周。當(dāng)時候選方案有三個Playwright、Selenium、純requests 接口逆向。最終選了Playwright理由有三個。第一Playwright的async API是一等公民。它的async_playwright上下文可以直接嵌入asyncio的事件循環(huán)不需要額外的線程橋接。對后續(xù)做異步并發(fā)來說是天然友好的。Selenium的異步支持一直是半吊子官方推薦方案還是要靠線程池這在高并發(fā)下資源開銷很夸張。第二Playwright對動態(tài)渲染的處理更細(xì)。它自帶auto_wait機(jī)制元素定位時會自動等待元素出現(xiàn)不需要手動寫一堆time.sleep(5)。它還支持?jǐn)r截網(wǎng)絡(luò)請求、修改響應(yīng)內(nèi)容這對處理學(xué)術(shù)站點(diǎn)常見的XHR接口返回來說非常有用。我可以直接在瀏覽器里攔下JSON數(shù)據(jù)用json.loads處理而不一定非要在DOM里摳文本。第三是維護(hù)成本。Playwright的瀏覽器驅(qū)動是自動下載、自動匹配版本的不用像Selenium那樣擔(dān)心Chrome升級之后chromedriver版本對不上。這一點(diǎn)在長期運(yùn)行的系統(tǒng)里太重要了。3.2 異步技術(shù)棧怎么選asyncio為骨架aiohttp為傳輸Playwright為渲染確定Playwright之后我梳理了整套系統(tǒng)需要承載的并發(fā)需求每個檢索關(guān)鍵詞需要抓取分頁列表分頁數(shù)量平均20頁每個列表頁加載后需要進(jìn)入5到15個詳情頁抽取完整通信信息全站需要支持不低于50個并發(fā)任務(wù)的穩(wěn)態(tài)運(yùn)行。如果用同步HTTP請求線程池線程上下文切換的開銷會讓CPU一直在空轉(zhuǎn)。所以在網(wǎng)絡(luò)傳輸層引入了aiohttp。aiohttp負(fù)責(zé)所有不需要瀏覽器渲染的請求比如批量下載PDF、獲取純文本接口Playwright負(fù)責(zé)需要JS渲染的列表和詳情頁。實(shí)際運(yùn)行時的流程是asyncio協(xié)程調(diào)度器發(fā)出抓取任務(wù)如果任務(wù)特征是URL已知、內(nèi)容為靜態(tài)JSON就交給aiohttp直接抓取如果是需要瀏覽器環(huán)境、需要登錄態(tài)、需要JS渲染就打進(jìn)Playwright的異步上下文執(zhí)行。兩套傳輸層共用同一個代理池和重試隊列互不阻塞。3.3 改造大綱哪些保留、哪些刪除、哪些重寫改造之前有個很重要的工作把原有Scrapy項目里到底哪些代碼是真正有用的、哪些是牽一發(fā)動全身的依賴全部盤清楚。我最終保留的只有三塊items.py里定義的數(shù)據(jù)模型基本沒改字段結(jié)構(gòu)依然合理settings.py中DOWNLOAD_DELAY、并發(fā)數(shù)、日志等級等基礎(chǔ)配置自研的ProxyMiddleware的代理池對接邏輯后來改造成異步版本后保留。刪除和重寫的部分所有Spider類全部廢棄換成基于asyncio的采集任務(wù)函數(shù)scrapy.Request及其回調(diào)邏輯改成async函數(shù)見后文Selector解析邏輯改成基于Playwright的locator或封裝函數(shù)所有Downloader Middleware和Item Pipeline的同步實(shí)現(xiàn)改成管道式的async處理函數(shù)。一個常見的誤解是要從零推翻重來但我的經(jīng)驗(yàn)是只要數(shù)據(jù)模型不變采集鏈路的改動其實(shí)可以控制在一個可控范圍內(nèi)。數(shù)據(jù)模型是你的接口層采集實(shí)現(xiàn)是你的內(nèi)部實(shí)現(xiàn)兩者分開設(shè)計改造起來才不痛苦。4. 核心實(shí)現(xiàn)異步抓取鏈路到底怎么落地4.1 任務(wù)流轉(zhuǎn)與調(diào)度器設(shè)計系統(tǒng)采用一個簡單的兩級任務(wù)隊列列表頁任務(wù)和詳情頁任務(wù)。列表頁任務(wù)由關(guān)鍵詞列表自動生成詳情頁任務(wù)由列表頁的解析結(jié)果動態(tài)產(chǎn)生。調(diào)度器用asyncio.Queue實(shí)現(xiàn)不需要引入Celery這樣重級別的分布式框架。原因有二單機(jī)并發(fā)50到100個任務(wù)時asyncio.Queue完全夠用調(diào)度基本沒有延遲引入外部消息隊列會多一層序列化和網(wǎng)絡(luò)開銷對這個場景來說是浪費(fèi)。調(diào)度器核心代碼大致是這樣的# 簡化版任務(wù)調(diào)度核心 import asyncio from dataclasses import dataclass, field dataclass class FetchTask: task_type: str # list 或 detail url: str keyword: str retry_count: int 0 extra: dict field(default_factorydict) class TaskScheduler: def __init__(self, max_concurrency50): self.queue asyncio.Queue() self.max_concurrency max_concurrency self.sem asyncio.Semaphore(max_concurrency) async def put(self, task: FetchTask): await self.queue.put(task) async def get(self): return await self.queue.get() async def worker(self, fetcher): while True: task await self.get() async with self.sem: try: await fetcher.process(task) except Exception as exc: await self.handle_retry(task, exc)這里最關(guān)鍵的邏輯在handle_retry重試次數(shù)上限是3次超過3次就記錄到失敗日志并丟棄。需要注意的是重試時不能簡單地重新入隊——如果是因?yàn)榇鞩P被封導(dǎo)致的失敗必須輪換代理之后再重試否則只會重復(fù)踩同一個坑。4.2 Playwright的異步上下文與并發(fā)控制Playwright本身支持多頁面共享一個瀏覽器上下文但學(xué)術(shù)采集場景有個特殊要求不同關(guān)鍵詞最好用不同的瀏覽器上下文。主要原因是學(xué)術(shù)平臺的登錄態(tài)、Cookie、localStorage是按會話維度存儲的如果兩個關(guān)鍵詞共用同一個上下文一個頁面的行為異常容易污染另一個頁面的會話。異步上下文管理我這樣實(shí)現(xiàn)# Playwright 異步上下文封裝 import asyncio from playwright.async_api import async_playwright class PlaywrightFetcher: def __init__(self, proxy_urlNone): self.proxy_url proxy_url self.playwright None self.browser None self.contexts {} async def start(self): self.playwright await async_playwright().start() self.browser await self.playwright.chromium.launch( headlessTrue, args[ --disable-blink-featuresAutomationControlled, --disable-dev-shm-usage, ], ) async def new_context(self, keyword: str): context await self.browser.new_context( viewport{width: 1280, height: 800}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, proxy{server: self.proxy_url} if self.proxy_url else None, ) self.contexts[keyword] context return context async def fetch(self, task: FetchTask): ctx self.contexts.get(task.keyword) if not ctx: ctx await self.new_context(task.keyword) page await ctx.new_page() try: if task.task_type list: return await self.fetch_list(page, task) else: return await self.fetch_detail(page, task) finally: await page.close() async def close(self): for ctx in self.contexts.values(): await ctx.close() await self.browser.close() await self.playwright.stop()這段代碼里有幾個容易踩的坑我先說明args[--disable-blink-featuresAutomationControlled]是必須加的它可以隱藏navigator.webdriver標(biāo)記顯著降低被學(xué)術(shù)平臺識別為爬蟲的概率。每一個page用完之后一定要close()不能復(fù)用。復(fù)用頁面會累積內(nèi)存和DOM事件監(jiān)聽器跑幾萬條任務(wù)后內(nèi)存會膨脹到系統(tǒng)OOM。瀏覽器上下文使用字典緩存而不是為每一個任務(wù)創(chuàng)建這樣能讓每個關(guān)鍵詞的登錄態(tài)復(fù)用不會動不動要求重新登錄。4.3 列表頁的滾動加載與字段抽取學(xué)術(shù)檢索平臺的一個典型交互是進(jìn)入了檢索結(jié)果頁頁面上只有前20條結(jié)果向下滾動到一定高度后會觸發(fā)懶加載接口返回下20條。這個過程可能重復(fù)數(shù)次直到所有結(jié)果加載完畢。用Playwright處理這個場景的思路是先打開列表頁然后循環(huán)執(zhí)行滾動和等待直到檢測到底部元素不再出現(xiàn)或者翻頁接口調(diào)用結(jié)束。一個真實(shí)項目的核心邏輯async def fetch_list(self, page, task): await page.goto(task.url, wait_untildomcontentloaded, timeout30000) # 處理可能出現(xiàn)的登錄彈窗和Cookie橫幅 try: await page.click(text同意, timeout3000) except Exception: pass items [] # 預(yù)設(shè)的滾動距離和停頓時間需要根據(jù)目標(biāo)站點(diǎn)實(shí)際表現(xiàn)微調(diào) for scroll_round in range(20): # 獲取當(dāng)前頁面已加載的條目數(shù) current_count await page.locator( //div[contains(class, result-item)] ).count() # 判斷是否已經(jīng)加載到底 reach_end await page.locator( //div[contains(class, pagination-end)] ).count() if reach_end: break # 滾動到頁面底部觸發(fā)懶加載 await page.evaluate(window.scrollTo(0, document.body.scrollHeight)) # 等待新條目出現(xiàn)不能直接sleep要等待特定元素 await page.wait_for_function( (prevCount) { return document.querySelectorAll( .result-item ).length prevCount; }, argcurrent_count, timeout10000, ) # 所有條目加載完成后統(tǒng)一提取字段 for i in range(await page.locator(//div[contains(class, result-item)]).count()): item page.locator( //div[contains(class, result-item)] ).nth(i) title await item.locator(.title).inner_text() authors await item.locator(.authors).inner_text() abstract_preview await item.locator(.abstract-preview).inner_text() link await item.locator(a.detail-link).get_attribute(href) items.append({ title: title.strip(), authors: authors.strip(), abstract_preview: abstract_preview.strip(), detail_url: page.urljoin(link), }) return items滾動加載的“如何確定加載完”是整個列表頁抓取能否成功的關(guān)鍵。wait_for_function是Playwright里極好用的API它會在頁面上下文里執(zhí)行JavaScript并輪詢直到返回真值。這段代碼里我傳入了上一次的元素數(shù)量只有當(dāng)result-item的數(shù)量增加時才認(rèn)為加載完成避免過早結(jié)束。如果你要處理的是一個類型不固定、沒有統(tǒng)一末尾標(biāo)記的頁面還有一個更穩(wěn)妥的方案記錄上一次的數(shù)量循環(huán)執(zhí)行滾動如果連續(xù)3次滾動后數(shù)量都沒有變化就判定加載完成。我建議把這個方案作為回退邏輯。4.4 詳情頁的深度信息補(bǔ)全摘要與機(jī)構(gòu)的提取策略詳情頁是摘錄完整信息的唯一來源。列表頁拿到的只是預(yù)覽片段經(jīng)常被截斷到一半。詳情頁字段抽取的難點(diǎn)在于作者機(jī)構(gòu)和通訊作者郵箱這些字段在頁面上不一定以標(biāo)準(zhǔn)格式出現(xiàn)。我采用了一個按優(yōu)先級遞減的提取策略優(yōu)先嘗試頁面上的結(jié)構(gòu)化JSON數(shù)據(jù)很多學(xué)術(shù)站會在script typeapplication/json里嵌入論文原始數(shù)據(jù)抽取精準(zhǔn)度最高其次用locator按已知的DIV/CSS類名抽取最后用正則或關(guān)鍵詞匹配從正文文本里找郵箱和機(jī)構(gòu)關(guān)鍵字。結(jié)構(gòu)化JSON數(shù)據(jù)這種形態(tài)在學(xué)術(shù)網(wǎng)站里非常常見。它藏在script標(biāo)簽里用Playwright拿起來很方便async def parse_structured_metadata(self, page): scripts await page.locator(script[typeapplication/json]).all() for script in scripts: raw await script.inner_text() if not raw: continue try: data json.loads(raw) if isinstance(data, list): data data[0] if data else {} if title in data and abstract in data: return data except json.JSONDecodeError: continue return {}這里的關(guān)鍵是絕對不要假設(shè)JSON一定存在。真實(shí)項目中我遇到過一個檢索平臺結(jié)構(gòu)化的JSON只覆蓋了60%的頁面剩下的40%只能靠DOM解析兜底。所以提取邏輯必須做多級回退不能一錘子買賣。如果看到只依賴單一數(shù)據(jù)源抽取就上線的代碼后續(xù)等待你的大概率是無窮無盡的“這條數(shù)據(jù)怎么字段是空的”維護(hù)工單。5. 爬蟲上線后的踩坑實(shí)錄四個意外與完整排查鏈路系統(tǒng)開發(fā)完成、進(jìn)入真實(shí)學(xué)術(shù)站點(diǎn)試運(yùn)行階段后各種問題才真正開始顯現(xiàn)。這部分我把過程中的典型坑完整記錄下來按“現(xiàn)象 - 排查 - 根因 - 解決”的結(jié)構(gòu)展開比直接給結(jié)論要更有參考價值。5.1 瀏覽器指紋被識別所有頁面正常返回空白現(xiàn)象在本地手動運(yùn)行Playwright腳本時頁面渲染、字段抽取都正常但一旦打包上線跑大概200個關(guān)鍵詞之后所有頁面開始返回空白。不是報錯、不是驗(yàn)證碼就是一個空白的body。排查鏈路第一步看日志發(fā)現(xiàn)沒有超時、沒有請求失敗所有請求都是200狀態(tài)。第二步直接連接同一代理IP用普通瀏覽器打開相同URL一切正常。第三步懷疑是代理IP池出了問題更換全新代理IP后問題依然存在。第四步開始懷疑瀏覽器指紋——在本地用headlessFalse跑正常換成headlessTrue跑問題復(fù)現(xiàn)。根因headlessTrue模式下瀏覽器會暴露不少自動化特征比如navigator.webdriver true、缺少chrome.window對象等。目標(biāo)站點(diǎn)檢測到了WebDriver標(biāo)記不是封禁IP而是直接返回空白頁面來消耗你的資源。解決在啟動參數(shù)中增加反自動化標(biāo)記同時用context.add_init_script注入一段JavaScript隱藏WebDriver特征。具體來說是在啟動時執(zhí)行如下初始化腳本# 通過 init_script 隱藏自動化檢測標(biāo)記 await context.add_init_script( Object.defineProperty(navigator, webdriver, { get: () undefined }); window.chrome window.chrome || { runtime: {} }; )這個改動之后空白頁面問題徹底消失。需要強(qiáng)調(diào)這絕不是為了非法繞過什么機(jī)制只是讓正常的瀏覽器自動化工具可以穩(wěn)定完成公開學(xué)術(shù)數(shù)據(jù)的采集工作。5.2 列表頁數(shù)據(jù)重復(fù)去重機(jī)制的三個漏洞現(xiàn)象采集中有接近30%的論文是重復(fù)的也就是同一篇論文被采集了多次導(dǎo)致下游入庫時產(chǎn)生大量重復(fù)記錄。排查鏈路首先檢查關(guān)鍵詞是否重疊發(fā)現(xiàn)兩個接近的關(guān)鍵詞比如reinforcement learning和deep reinforcement learning拉取的檢索結(jié)果確實(shí)有大量重疊。其次檢查分頁是否重復(fù)發(fā)現(xiàn)部分列表頁在滾動加載時會把前20條重復(fù)渲染一次。最后檢查詳情頁任務(wù)生成邏輯發(fā)現(xiàn)同一個詳情頁可能被多個不同的列表頁任務(wù)解析后重復(fù)入隊。根因重復(fù)不是單一原因造成的而是三層疊加關(guān)鍵詞重疊語義接近的關(guān)鍵詞產(chǎn)生相同論文命中分頁重疊懶加載接口在快速滾動時重復(fù)返回前20條數(shù)據(jù)任務(wù)重復(fù)同一詳情頁被不同列表頁解析、生成、入隊。解決在任務(wù)調(diào)度器入口處對所有詳情頁任務(wù)URL做一步基于規(guī)范化URL的BloomFilter去重class UrlDeduplicator: def __init__(self): self.visited set() def normalize(self, url: str) - str: # 去掉常見的追蹤參數(shù)只保留穩(wěn)定的標(biāo)識累加參數(shù) from urllib.parse import urlparse, parse_qsl, urlencode parsed urlparse(url) params [item for item in parse_qsl(parsed.query) if item[0] not in (utm_source, utm_medium, session_id)] return parsed._replace(queryurlencode(sorted(params))).geturl() def is_duplicate(self, url: str) - bool: norm self.normalize(url) if norm in self.visited: return True self.visited.add(norm) return False另一個細(xì)節(jié)是列表頁任務(wù)本身也需要去重因?yàn)闈L動加載后當(dāng)前頁的URL可能會變化有些站點(diǎn)翻頁是改變hash而不是路徑忽略這一點(diǎn)的話同一個關(guān)鍵詞的20頁會被重復(fù)抓20次。5.3 登錄態(tài)自動失效瀏覽器上下文的Cookie隔離問題現(xiàn)象系統(tǒng)運(yùn)行一段時間后進(jìn)入詳情頁時偶爾彈出登錄框?qū)е伦ト〉降恼堑卿浨翱梢姷慕財喟姹尽Ｅ挪殒溌吩谌罩纠镎业綇棾龅牡卿浛驎r對應(yīng)的關(guān)鍵詞上下文應(yīng)該已經(jīng)有正常的登錄Cookie。但奇怪的是部分上下文可以用部分不行。進(jìn)一步檢查發(fā)現(xiàn)共享的上下文里不同關(guān)鍵詞之間雖然沒有互相清理Cookie但有一個關(guān)鍵詞觸發(fā)了OAuth重定向這個重定向把整個共享上下文的存儲清洗了一遍。根因多個關(guān)鍵詞任務(wù)共用了同一個瀏覽器上下文。某一次詳情頁重定向到OAuth端點(diǎn)時服務(wù)端返回的Set-Cookie里帶了Domain屬性是根域的Cookie由于同一個上下文內(nèi)其他關(guān)鍵詞的域名也在同一Cookie域下導(dǎo)致所有會話被覆蓋。解決把每關(guān)鍵詞一個上下文改為每關(guān)鍵詞一個持久化上下文目錄使用Playwright的launch_persistent_context同時確保每個上下文的Cookie存儲隔離到獨(dú)立文件目錄# 每個關(guān)鍵詞都有獨(dú)立的持久化上下文目錄 context await playwright.chromium.launch_persistent_context( user_data_dirf/data/crawler/contexts/{sanitize(keyword)}, headlessTrue, viewport{width: 1280, height: 800}, )這樣做之后即使某個關(guān)鍵詞的登錄態(tài)被服務(wù)端強(qiáng)制失效也只影響單個目錄不需要重新登錄所有關(guān)鍵詞。提示帶持久化上下文的啟動速度比普通browser.new_context要慢一些冷啟動大概多1到2秒。為了穩(wěn)定性這個代價是值得的。5.4 代理池切換不及時連續(xù)重試導(dǎo)致的IP雪崩現(xiàn)象采集達(dá)到峰值狀態(tài)時代理池里的所有IP在幾分鐘內(nèi)全部被封。排查鏈路查看單條失敗重試鏈路發(fā)現(xiàn)首次失敗后進(jìn)入重試隊列重試時沒有換代理IP而是用了原來的IP又一次請求導(dǎo)致同一IP連續(xù)被封。當(dāng)封禁IP比例達(dá)到一定閾值后代理池的可用IP迅速歸零全局任務(wù)全部陷入重試死循環(huán)。根因我把代理池的輪換邏輯放在了任務(wù)重試的外層以為每次重試入隊時都會重新挑選代理。但實(shí)際上依賴的是Playwright上下文創(chuàng)建時的proxy參數(shù)而上下文一旦創(chuàng)建代理就固定了。重試時如果上下文沒有銷毀重建代理IP就不會變化。解決在handle_retry里增加邏輯如果重試次數(shù)等于1則強(qiáng)制銷毀當(dāng)前上下文重新獲取代理IP后進(jìn)入新的上下文。同時增加一個max_fail_lock機(jī)制當(dāng)某個頁面連續(xù)失敗超過3次時暫停該關(guān)鍵詞的任務(wù)進(jìn)入冷卻期避免因?yàn)槟骋黄尉W(wǎng)絡(luò)問題拖垮整個代理池。6. 新老方案實(shí)測吞吐量、資源占用與穩(wěn)定性的量化對比在系統(tǒng)改造完成并穩(wěn)定運(yùn)行2周后我做了一輪A/B測試目的是客觀評估這套新方案相對舊Scrapy方案到底帶來了多少收益。6.1 對比條件與指標(biāo)說明為了保證對比公平我控制了三個變量采集的目標(biāo)站點(diǎn)相同同一個學(xué)術(shù)檢索平臺同一批共100個關(guān)鍵詞數(shù)據(jù)規(guī)模相同每個關(guān)鍵詞拉取前200條共約2萬條記錄硬件環(huán)境相同一臺8核16G內(nèi)存的服務(wù)器同一網(wǎng)絡(luò)出口。實(shí)測指標(biāo)包括單條記錄平均耗時、成功率、IP封禁率、內(nèi)存峰值、CPU平均占用。6.2 實(shí)測數(shù)據(jù)總覽指標(biāo)舊方案Scrapy 同步下載器新方案Playwright asyncio aiohttp變化單條記錄平均耗時約2.8秒/條約0.6秒/條提升約78%整體采集成功率84.2%96.7%提升12.5個百分點(diǎn)代理IP封禁率約35%約8%降低77%內(nèi)存峰值約11GB約6.5GB降低41%CPU平均占用約70%約35%降低50%100個關(guān)鍵詞跑完總時長約5小時約1小時縮短4小時這個數(shù)據(jù)說明兩點(diǎn)異步 瀏覽器渲染的組合不是微調(diào)優(yōu)化而是數(shù)量級的差距。舊方案的大量時間耗在串行等待頁面加載和頻繁重試上新方案把閑置等待時間徹底折疊進(jìn)了事件循環(huán)同時更精準(zhǔn)的渲染和更低的封禁率也降低了重試成本。6.3 為什么封禁率能降這么多新方案封禁率大幅下降并非單點(diǎn)突破而是多個因素的疊加瀏覽器指紋更真實(shí)反爬系統(tǒng)不容易把你識別成爬蟲并發(fā)模型從瞬時打爆連接變成穩(wěn)定流轉(zhuǎn)同一時刻的活躍請求被限制在一個合理水平帶重試的代理輪換策略不會讓同一個IP連續(xù)出問題auto_wait機(jī)制減少了因?yàn)轫撁婕虞d沒有完成而產(chǎn)生的超時重試——超時重試本身就是引發(fā)風(fēng)控的重要信號源。這也解釋了為什么很多人用Selenium做學(xué)術(shù)采集依然被封得很慘不是瀏覽器自動化不好而是并發(fā)調(diào)度策略沒有跟上。瀏覽器窗口開太多、太快、太無規(guī)律反爬系統(tǒng)通過行為建模很快就能鎖定你。7. 這套架構(gòu)的邊界與后續(xù)會怎么演進(jìn)7.1 它不適合什么場景說清楚這套系統(tǒng)的邊界對想直接套用的讀者來說很重要。如果目標(biāo)只是采集靜態(tài)HTML頁面、沒有JavaScript渲染需求那么切到Playwright確實(shí)是一種用重武器打蚊子的行為。aiohttp 靜態(tài)解析可能是更輕、更快、更穩(wěn)定的選擇。Playwright的瀏覽器實(shí)例會帶來額外的啟動時間和內(nèi)存開銷為純靜態(tài)頁面用它是得不償失的。如果采集量極小比如每天幾百條那么Scrapy或者requests完全夠用。引入異步和瀏覽器渲染會讓調(diào)試變得復(fù)雜學(xué)習(xí)成本還不低。架構(gòu)的復(fù)雜度和業(yè)務(wù)的需求量必須匹配否則就是過度工程。如果目標(biāo)站點(diǎn)的反爬不是基于瀏覽器指紋和頻率控制而是基于賬號體系的風(fēng)控策略比如訂閱分?jǐn)?shù)的權(quán)重、付費(fèi)墻那這套方案也無能為力。你需要做的是賬號管理、行為模擬和用戶畫像層面的合規(guī)工作這和單純的技術(shù)采集是兩個維度。7.2 下一代架構(gòu)的演進(jìn)方向?yàn)g覽器池化與數(shù)據(jù)管道分離目前這套系統(tǒng)還有一個明顯的瓶頸PlaywrightFetcher的瀏覽器上下文是按關(guān)鍵詞維度維護(hù)的但Playwright實(shí)例本身依然是單點(diǎn)的。如果目標(biāo)站點(diǎn)數(shù)量翻倍或者將來引入多地域部署需求單機(jī)單瀏覽器會變成性能瓶頸。我規(guī)劃中的下一步是把Playwright做成獨(dú)立的瀏覽器池化服務(wù)通過無頭瀏覽器集群對外提供抓取能力采集引擎和服務(wù)之間用消息隊列解耦。具體的做法是啟動多個分布式Worker節(jié)點(diǎn)每個Worker承載若干個Playwright瀏覽器實(shí)例它們各自維護(hù)獨(dú)立的代理和上下文。調(diào)度器通過一個共享的任務(wù)隊列把任務(wù)分發(fā)給空閑的Worker。這個設(shè)計在現(xiàn)代遠(yuǎn)程瀏覽器隔離、容器化部署的背景下難度不大但能有效突破單機(jī)瓶頸。數(shù)據(jù)管道層面也會繼續(xù)調(diào)整。目前摘要、作者、機(jī)構(gòu)等字段是在采集階段全部抽好的但其實(shí)可以拆成兩個階段先采集原始HTML或渲染后的DOM快照再通過解析管道統(tǒng)一抽取。這樣做的好處是頁面如果改了CSS類名不需要重新抓一遍網(wǎng)站只需要把之前的DOM快照重新跑一遍解析邏輯即可歷史數(shù)據(jù)也能重放和追溯。7.3 一個繞不開的合規(guī)提醒最后想認(rèn)真說一點(diǎn)。做學(xué)術(shù)數(shù)據(jù)采集這個方向技術(shù)上的空間很大但合規(guī)邊界必須先想清楚。我做這個項目時嚴(yán)格限制在公開數(shù)據(jù)范圍內(nèi)對私有賬號數(shù)據(jù)不做采集更不去利用漏洞或破解付費(fèi)墻。目標(biāo)平臺的服務(wù)條款和robots協(xié)議是我們判斷邊界的重要依據(jù)——只采集公開可訪問的論文元數(shù)據(jù)和摘要避免影響目標(biāo)平臺的正常服務(wù)。合規(guī)不是事后補(bǔ)丁而是在架構(gòu)設(shè)計時就應(yīng)該考慮進(jìn)去的約束。比如設(shè)計合理的請求頻率不要把并發(fā)拉得太高對目標(biāo)站點(diǎn)的負(fù)載保持克制對用戶隱私數(shù)據(jù)不做永久存儲。如果你把爬取的論文數(shù)據(jù)用于商業(yè)目的務(wù)必先獲得相應(yīng)的授權(quán)或者確認(rèn)目標(biāo)平臺的數(shù)據(jù)許可條款。這樣你的技術(shù)能力才不會用錯地方?？偨Y(jié)一點(diǎn)個人體會整套從Scrapy到Playwright的演進(jìn)做完之后我最大的感受是技術(shù)選型不是越新越好而是越貼合場景的越好。學(xué)術(shù)論文摘要抓取這個場景的核心矛盾在于動態(tài)渲染反爬高數(shù)據(jù)質(zhì)量三者之間的平衡。Scrapy解決不了動態(tài)渲染Selenium解決不了并發(fā)效率只有把瀏覽器自動化的可控性和異步模型的吞吐量合在一起才是真正能長期穩(wěn)定運(yùn)行的方向。如果你正在做類似的爬蟲架構(gòu)升級我的建議是從最小可行改造開始先把一個列表頁用Playwright跑通再逐步替換任務(wù)調(diào)度不要試圖一次性把全鏈路推翻。這樣每一步都可以驗(yàn)證效果出了問題也能快速定位。技術(shù)棧再漂亮也比不上能連續(xù)穩(wěn)定運(yùn)行一個月不鬧脾氣的數(shù)據(jù)管道。