說(shuō)實(shí)話我寫(xiě)了十幾年的Python教程最常被問(wèn)到的一句話就是“老師基礎(chǔ)語(yǔ)法我都看完了然后呢”這個(gè)問(wèn)題放到一套完整的入門(mén)課程里差不多就是day13前后該面對(duì)的事。前面的日子我們搞定了變量、數(shù)據(jù)類型、流程控制、函數(shù)、文件操作和異常處理但這些東西單拎出來(lái)都像零件擺在那兒很好看拼不起來(lái)就沒(méi)意思。所以day13我通常不舍得拿來(lái)講新語(yǔ)法而是干一件特別提氣的事寫(xiě)一個(gè)真正能從網(wǎng)上把數(shù)據(jù)抓下來(lái)的小爬蟲(chóng)。這篇文章就把day13的完整內(nèi)容攤開(kāi)講你會(huì)看到怎么用requests拿網(wǎng)頁(yè)、怎么用正則從HTML里扣數(shù)據(jù)、怎么把結(jié)果存成CSV再畫(huà)一張簡(jiǎn)單的圖。學(xué)完這一天你就從“會(huì)寫(xiě)語(yǔ)法”變成“能搞數(shù)據(jù)”了。1. 為什么day13要安排爬蟲(chóng)爬蟲(chóng)到底在做什么很多教程把爬蟲(chóng)放在非?？亢蟮奈恢脛?dòng)不動(dòng)就“進(jìn)階內(nèi)容”。我自己教下來(lái)發(fā)現(xiàn)爬蟲(chóng)根本沒(méi)有那么玄乎它恰恰是把前面學(xué)過(guò)的零碎語(yǔ)法串起來(lái)的最好載體。網(wǎng)絡(luò)請(qǐng)求、字符串處理、正則匹配、文件讀寫(xiě)、異常捕獲全部能在一段不到五十行的代碼里見(jiàn)面。對(duì)學(xué)習(xí)者來(lái)說(shuō)這是第一次真正用代碼解決“現(xiàn)實(shí)世界”的問(wèn)題瀏覽器里能看到的信息怎么變成自己電腦里的結(jié)構(gòu)化數(shù)據(jù)。1.1 先搞清楚網(wǎng)絡(luò)請(qǐng)求的底層邏輯爬蟲(chóng)這名字聽(tīng)著唬人拆開(kāi)來(lái)看就三步給服務(wù)器發(fā)一個(gè)請(qǐng)求等它把網(wǎng)頁(yè)內(nèi)容返回來(lái)再?gòu)姆祷氐膬?nèi)容里提取你要的東西。這里最核心的概念是HTTP請(qǐng)求和響應(yīng)。你在瀏覽器地址欄輸入一個(gè)網(wǎng)址敲回車本質(zhì)上就是向那臺(tái)服務(wù)器發(fā)送了一條“GET請(qǐng)求”服務(wù)器處理完以后會(huì)返回一個(gè)HTML文檔給你瀏覽器再把HTML渲染成花花綠綠的頁(yè)面。爬蟲(chóng)做的事情就是跳過(guò)“渲染”這一步直接拿走HTML源碼。所以你爬到的數(shù)據(jù)長(zhǎng)得和瀏覽器里看到的不一樣很正常你要的信息其實(shí)藏在HTML標(biāo)簽中間。舉個(gè)例子你打開(kāi)一個(gè)新聞列表頁(yè)瀏覽器顯示的是排版精美的標(biāo)題列表。但你用“查看網(wǎng)頁(yè)源代碼”去看看到的是一堆這樣的內(nèi)容h3 classnews-titlea href/news/12345某地發(fā)生了一件大事/a/h3標(biāo)題“某地發(fā)生了一件大事”就夾在a標(biāo)簽的尖括號(hào)之間。爬蟲(chóng)的活兒就是把這些尖括號(hào)里的字符串摳出來(lái)。這也是為什么爬蟲(chóng)入門(mén)階段用正則表達(dá)式就夠了——HTML再?gòu)?fù)雜你只關(guān)心特定標(biāo)簽里的特定內(nèi)容正則就是最快的刀。1.2 代碼為什么能拿到瀏覽器才能看到的頁(yè)面有人會(huì)問(wèn)我直接復(fù)制網(wǎng)頁(yè)源碼不就行了但實(shí)際需求是動(dòng)態(tài)的——今天想看這十頁(yè)明天想看那一百頁(yè)而且數(shù)據(jù)要清洗、要匯總、要定期更新手工復(fù)制根本不現(xiàn)實(shí)。代碼比人強(qiáng)的地方在于它可以帶著參數(shù)循環(huán)請(qǐng)求自動(dòng)換頁(yè)自動(dòng)存盤(pán)。關(guān)鍵是代碼訪問(wèn)網(wǎng)頁(yè)的時(shí)候服務(wù)器是能認(rèn)出“你不是瀏覽器”的。因?yàn)槠胀g覽器發(fā)請(qǐng)求時(shí)會(huì)帶上一個(gè)叫User-Agent的請(qǐng)求頭標(biāo)明自己是Chrome還是Safari。而很多腳本沒(méi)有任何標(biāo)識(shí)服務(wù)器一看就知道是程序在訪問(wèn)輕則拒絕重則封IP。所以職業(yè)習(xí)慣是寫(xiě)爬蟲(chóng)第一件事就把請(qǐng)求頭偽裝好headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 }這串東西去哪找瀏覽器按F12打開(kāi)開(kāi)發(fā)者工具切到Network面板刷新頁(yè)面隨便點(diǎn)一個(gè)請(qǐng)求在Request Headers里就能看到完整的User-Agent。復(fù)制過(guò)來(lái)就行。1.3 選對(duì)練習(xí)目標(biāo)比學(xué)會(huì)技術(shù)更重要入門(mén)階段最容易踩的坑是一上來(lái)就盯著一線大廠的網(wǎng)站寫(xiě)爬蟲(chóng)。結(jié)果遇到驗(yàn)證碼、登錄墻、滑塊、風(fēng)控代碼寫(xiě)了兩小時(shí)報(bào)錯(cuò)一下午心態(tài)直接崩掉。我建議練習(xí)目標(biāo)必須滿足三個(gè)條件公開(kāi)無(wú)需登錄、頁(yè)面結(jié)構(gòu)規(guī)整、訪問(wèn)頻率低一點(diǎn)也不會(huì)惹麻煩。我自己上課經(jīng)常用的練習(xí)站點(diǎn)是“貓眼電影Top100”這類靜態(tài)榜單頁(yè)。結(jié)構(gòu)簡(jiǎn)單沒(méi)有動(dòng)態(tài)加載一個(gè)URL拿下來(lái)就是一整個(gè)列表非常適合做入門(mén)項(xiàng)目。另外像一些公開(kāi)的天氣接口、豆瓣讀書(shū)榜單也都可以。關(guān)鍵原則是只爬公開(kāi)數(shù)據(jù)控制訪問(wèn)頻率別給人家服務(wù)器添麻煩。做技術(shù)的這點(diǎn)分寸要有。2. 動(dòng)手前先把環(huán)境和依賴準(zhǔn)備好工欲善其事必先利其器。day13雖然代碼不長(zhǎng)但環(huán)境配置沒(méi)整好后面全是坑。我見(jiàn)過(guò)太多人卡在import requests報(bào)錯(cuò)這一行一卡就是半小時(shí)最后發(fā)現(xiàn)是庫(kù)沒(méi)裝上。所以今天咱們先把環(huán)境這塊徹底理順。2.1 解釋器、編輯器與虛擬環(huán)境的基本選擇Python環(huán)境這塊Windows用戶我推薦去官網(wǎng)下載穩(wěn)定版安裝包安裝時(shí)務(wù)必勾選“Add Python to PATH”。這步不勾后面在命令行里敲python就是“不是內(nèi)部或外部命令”。裝好之后在終端里輸入python --version能顯示出版本號(hào)就說(shuō)明解釋器沒(méi)問(wèn)題。編輯器方面PyCharm和VS Code是目前最主流的兩款。PyCharm是專門(mén)為Python打造的IDE開(kāi)箱即用調(diào)試方便特別適合新手缺點(diǎn)是比較占內(nèi)存。VS Code輕量但需要自己配置Python插件、解釋器路徑熱詞里那些“vscode python環(huán)境配置”、“pycharm配置python環(huán)境”的搜索量說(shuō)明大家確實(shí)都在這里犯過(guò)難。我的建議很簡(jiǎn)單做這個(gè)爬蟲(chóng)小項(xiàng)目你只要有一個(gè)能寫(xiě)代碼、能按F5運(yùn)行的編輯器就夠了。哪個(gè)順手用哪個(gè)等以后項(xiàng)目變大了再挑也不遲。還有一件值得養(yǎng)成的習(xí)慣給每個(gè)項(xiàng)目建一個(gè)虛擬環(huán)境。虛擬環(huán)境相當(dāng)于給這個(gè)項(xiàng)目單獨(dú)圈一個(gè)“依賴小房間”里面裝的庫(kù)不影響全局也不怕和其他項(xiàng)目沖突。創(chuàng)建方法python -m venv venvWindows激活命令是venv\Scripts\activatemacOS和Linux是source venv/bin/activate。激活后命令行前面會(huì)出現(xiàn)一個(gè)(venv)前綴這時(shí)候pip安裝的包都進(jìn)小房間了。2.2 用國(guó)內(nèi)鏡像源裝依賴告別下載超時(shí)爬蟲(chóng)要用到requests庫(kù)安裝命令一條pip install requests但很多朋友在裝庫(kù)時(shí)遇到過(guò)那個(gè)經(jīng)典報(bào)錯(cuò)ReadTimeoutError下載到一半就斷了。原因很簡(jiǎn)單——默認(rèn)從PyPI官方源下載服務(wù)器在海外網(wǎng)絡(luò)延遲高。解決辦法是切換國(guó)內(nèi)鏡像源。清華、阿里、豆瓣都提供了PyPI鏡像隨便選一個(gè)用。一次性指定鏡像源安裝pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple如果想一勞永逸直接改全局配置。Windows下在用戶目錄創(chuàng)建一個(gè)pip.ini文件Linux/macOS創(chuàng)建~/.pip/pip.conf寫(xiě)入[global] index-url https://pypi.tuna.tsinghua.edu.cn/simple改完之后以后所有pip install默認(rèn)走清華源下載速度能快一個(gè)數(shù)量級(jí)。順帶說(shuō)一句如果你用的是conda也有類似的conda源配置原理一樣。2.3 驗(yàn)證環(huán)境寫(xiě)一個(gè)三行的冒煙測(cè)試依賴裝好以后別急著寫(xiě)爬蟲(chóng)先跑一個(gè)最小請(qǐng)求腳本驗(yàn)證環(huán)境通不通import requests resp requests.get(https://www.baidu.com, timeout5) print(resp.status_code)如果輸出200說(shuō)明requests能正常發(fā)請(qǐng)求、拿響應(yīng)。如果報(bào)錯(cuò)多半是網(wǎng)絡(luò)代理沖突或者DNS問(wèn)題排查完再往下走。這個(gè)“最小可運(yùn)行驗(yàn)證”的習(xí)慣能幫你把環(huán)境問(wèn)題和代碼邏輯問(wèn)題徹底隔離開(kāi)。3. 從零寫(xiě)一個(gè)能跑的小爬蟲(chóng)好了環(huán)境沒(méi)問(wèn)題現(xiàn)在我們正式進(jìn)入實(shí)操環(huán)節(jié)。下面我用貓眼電影Top100榜單作為例子完整走一遍“發(fā)起請(qǐng)求 - 解析數(shù)據(jù) - 清洗數(shù)據(jù) - 保存文件”的流程。每一步我都會(huì)講清楚為什么這么寫(xiě)以及有哪些細(xì)節(jié)容易被忽略。3.1 第一步帶上偽裝的請(qǐng)求頭把網(wǎng)頁(yè)源碼拿回來(lái)貓眼Top100的URL是https://www.maoyan.com/board/4一頁(yè)顯示10部電影榜單一共10頁(yè)。先拿第一頁(yè)做測(cè)試。import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif, image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9, } url https://www.maoyan.com/board/4 try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() # 狀態(tài)碼不是200時(shí)主動(dòng)拋異常 except requests.RequestException as e: print(請(qǐng)求失敗:, e) exit() print(resp.status_code) print(resp.text[:500]) # 打印前500個(gè)字符預(yù)覽這里有幾個(gè)細(xì)節(jié)要重點(diǎn)說(shuō)。timeout10這個(gè)參數(shù)很多人會(huì)漏掉但它非常重要。如果沒(méi)有超時(shí)限制一旦對(duì)方服務(wù)器響應(yīng)慢你的腳本就會(huì)一直掛在那兒像死機(jī)一樣既不知道結(jié)果也不知道該不該放棄。設(shè)成10秒的意思是如果10秒內(nèi)服務(wù)器沒(méi)返回?cái)?shù)據(jù)requests主動(dòng)拋一個(gè)Timeout異常程序繼續(xù)往下走或者報(bào)錯(cuò)退出。raise_for_status()是requests的一個(gè)小保險(xiǎn)。它檢查響應(yīng)狀態(tài)碼如果是4xx或5xx就直接拋異常。這樣你就能知道請(qǐng)求有沒(méi)有真正成功而不是拿著一個(gè)404頁(yè)面吭哧吭哧解析半天什么都拿不到還一臉懵。拿到resp之后resp.text就是整個(gè)網(wǎng)頁(yè)的HTML字符串。你可以先用print看一眼前500個(gè)字符確認(rèn)內(nèi)容不是空白的、不是亂碼的再往下走。3.2 第二步用正則表達(dá)式從HTML里精準(zhǔn)摳數(shù)據(jù)網(wǎng)頁(yè)源碼拿回來(lái)以后我們要在上萬(wàn)行HTML字符串里找到電影名字、主演、上映時(shí)間、評(píng)分這些信息。這時(shí)候正則表達(dá)式就登場(chǎng)了。先用最簡(jiǎn)單的方式看一眼結(jié)構(gòu)。在源碼里搜索“主演”附近的內(nèi)容會(huì)發(fā)現(xiàn)每條電影信息長(zhǎng)這樣p classnamea href/films/1200486 title霸王別姬>import re pattern re.compile( rp classnamea href/films/.*? title(.*?).*?/a/p r.*?p classstar主演(.*?)/p r.*?p classreleasetime上映時(shí)間(.*?)/p r.*?p classscorei classinteger(.*?)/ii classfraction(.*?)/i/p, re.S ) result pattern.findall(resp.text)這段正則看著長(zhǎng)其實(shí)拆開(kāi)就四組括號(hào)每組括號(hào)對(duì)應(yīng)一個(gè)字段括號(hào)里的.*?是非貪婪匹配意思是從這個(gè)位置開(kāi)始一直匹配到下一個(gè)指定字符為止。re.S這個(gè)標(biāo)志特別關(guān)鍵它讓.能匹配換行符因?yàn)镠TML源碼里標(biāo)簽之間經(jīng)常有換行和空格不加re.S就會(huì)匹配失敗。findall方法返回一個(gè)列表每個(gè)元素是元組就是一部電影的五個(gè)字段。先打印出來(lái)看看for item in result: print(item)輸出是類似這樣(霸王別姬, 張國(guó)榮,張豐毅,鞏俐, 1993-01-01(中國(guó)內(nèi)地), 9., 6)到這一步數(shù)據(jù)已經(jīng)從網(wǎng)頁(yè)里摳出來(lái)了。但這里我還是要提醒一句正則表達(dá)式解析HTML是入門(mén)階段最順手的方案但它不是萬(wàn)能的。如果頁(yè)面結(jié)構(gòu)變了或者嵌套層級(jí)很深正則很容易翻車。等你熟練了以后可以再去學(xué)BeautifulSoup和lxml這類專門(mén)解析HTML的庫(kù)它們的容錯(cuò)性更強(qiáng)。但入門(mén)階段正則能把HTML結(jié)構(gòu)和字符串處理的功底打扎實(shí)這個(gè)價(jià)值很重要。3.3 第三步數(shù)據(jù)清洗把字符串變成能用的數(shù)據(jù)正則摳出來(lái)的東西還帶著臟數(shù)據(jù)。比如評(píng)分被拆成了“9.”和“6”兩段上映時(shí)間后面還掛著“(中國(guó)內(nèi)地)”這種括號(hào)注釋。直接拿去用肯定不行得清洗。清洗這一步其實(shí)就是在練習(xí)我們前面學(xué)過(guò)的字符串方法和類型轉(zhuǎn)換。movies [] for name, star, releasetime, integer, fraction in result: score float(integer fraction) # 把9.和6拼起來(lái)轉(zhuǎn)成浮點(diǎn)數(shù) release_year releasetime[:4] # 截取前4位得到年份 movies.append({ name: name.strip(), star: star.strip(), releasetime: releasetime.strip(), score: score, release_year: release_year })這里用到兩個(gè)核心操作。float(integer fraction)是把字符串拼接后再轉(zhuǎn)換類型?！?.”加“6”得到“9.6”再用float轉(zhuǎn)成浮點(diǎn)數(shù)9.6。這就是熱搜詞里那個(gè)“python類型轉(zhuǎn)換”的實(shí)際應(yīng)用場(chǎng)景。很多時(shí)候爬蟲(chóng)拿到的都是字符串但數(shù)據(jù)分析、排序、畫(huà)圖都需要數(shù)值轉(zhuǎn)換一下才順手。releasetime[:4]是字符串切片取前四個(gè)字符?！?993-01-01(中國(guó)內(nèi)地)”切完就是“1993”。也許你會(huì)問(wèn)為什么不直接用正則摳年份其實(shí)也可以但這里用切片更簡(jiǎn)單直觀而且還能復(fù)習(xí)字符串操作。清洗完我們把數(shù)據(jù)放進(jìn)一個(gè)列表里每個(gè)元素是字典。為什么用字典因?yàn)樽值淠芮逦乇磉_(dá)“每個(gè)字段是什么”后面轉(zhuǎn)CSV、轉(zhuǎn)JSON都非常方便。3.4 第四步把結(jié)果寫(xiě)進(jìn)CSV文件給數(shù)據(jù)歸檔數(shù)據(jù)在內(nèi)存里終究不踏實(shí)一關(guān)程序就沒(méi)了。我們得把它存到磁盤(pán)上。CSV是表格數(shù)據(jù)的通用格式Excel能直接打開(kāi)Python的csv標(biāo)準(zhǔn)庫(kù)也能輕松讀寫(xiě)。import csv with open(maoyan_top10.csv, w, encodingutf-8, newline) as f: fieldnames [name, star, releasetime, score, release_year] writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() writer.writerows(movies)這里有幾個(gè)細(xì)節(jié)值得沉淀。encodingutf-8是很多新手會(huì)犯錯(cuò)的點(diǎn)。有人會(huì)問(wèn)我明明寫(xiě)的utf-8為什么用Excel打開(kāi)CSV還是亂碼這是因?yàn)镋xcel默認(rèn)按GBK編碼打開(kāi)文件。解決方案有兩個(gè)一是寫(xiě)入的時(shí)候用utf-8-sig編碼給文件加一個(gè)BOM頭Excel就能正確識(shí)別了二是在保存之前手動(dòng)在Excel里導(dǎo)入時(shí)選UTF-8。我通常直接用utf-8-sig一勞永逸。newline是防止CSV寫(xiě)入時(shí)出現(xiàn)多余空行。Windows平臺(tái)下如果不指定這個(gè)參數(shù)writerows寫(xiě)入的每一行后面會(huì)跟一個(gè)空行文件看起來(lái)非常不整潔。這是新手碰到最多的詭異問(wèn)題之一。到這里我們已經(jīng)完成了爬蟲(chóng)的完整閉環(huán)請(qǐng)求 - 解析 - 清洗 - 存儲(chǔ)。跑完代碼你會(huì)在項(xiàng)目文件夾里看到一個(gè)maoyan_top10.csv里面躺著今天榜單前十的電影信息。4. 把爬下來(lái)的數(shù)據(jù)做一次最小可視化爬蟲(chóng)只是手段數(shù)據(jù)才是目的。所以day13我還會(huì)花一點(diǎn)時(shí)間把剛才存下來(lái)的CSV讀出來(lái)畫(huà)一張最簡(jiǎn)單的柱狀圖。這一步不為別的就為了讓讀者親眼看到數(shù)據(jù)在手里代碼真的能變成看得見(jiàn)摸得著的東西。4.1 為什么要提前接觸可視化有人覺(jué)得可視化是數(shù)據(jù)分析師的事初學(xué)者沒(méi)必要碰。但我的看法不一樣。編程學(xué)習(xí)中有一個(gè)很現(xiàn)實(shí)的規(guī)律正反饋越快的知識(shí)越容易堅(jiān)持。你花一小時(shí)寫(xiě)的爬蟲(chóng)最后如果只得到一個(gè)別人看不懂的CSV文件成就感會(huì)大打折扣?？扇绻@時(shí)你能畫(huà)出一張?jiān)u分對(duì)比圖那種“數(shù)據(jù)在我的掌控之中”的感覺(jué)是用多少錢(qián)都買(mǎi)不來(lái)的。而且畫(huà)圖本身也是Python學(xué)習(xí)的一部分。它不要求你先學(xué)完數(shù)學(xué)、統(tǒng)計(jì)學(xué)才能動(dòng)手只要有一組數(shù)值型數(shù)據(jù)就能畫(huà)出最基礎(chǔ)的圖表。這個(gè)過(guò)程會(huì)反過(guò)來(lái)逼你理解數(shù)據(jù)結(jié)構(gòu)怎么把CSV變成列表怎么從列表里抽出一列怎么把字符串轉(zhuǎn)成浮點(diǎn)數(shù)。這些都是前面學(xué)過(guò)的東西現(xiàn)在終于派上了用場(chǎng)。4.2 用matplotlib畫(huà)一張?jiān)u分對(duì)比圖畫(huà)圖最常見(jiàn)的是matplotlib庫(kù)。裝一下pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple安裝完以后寫(xiě)一段腳本讀取CSV并畫(huà)圖import csv import matplotlib.pyplot as plt movies [] with open(maoyan_top10.csv, r, encodingutf-8-sig) as f: reader csv.DictReader(f) for row in reader: movies.append(row) movies.reverse() # 讓榜單第1名顯示在上面 names [m[name] for m in movies] scores [float(m[score]) for m in movies] plt.figure(figsize(10, 8)) plt.barh(names, scores, color#ff6b6b) plt.xlabel(評(píng)分) plt.title(貓眼電影Top10評(píng)分對(duì)比) plt.tight_layout() plt.savefig(top10_scores.png, dpi150) plt.show()這短短二十行代碼里有三個(gè)點(diǎn)值得留意。csv.DictReader(f)會(huì)把每一行都讀成一個(gè)字典鍵是表頭。這樣我們就能用m[name]、m[score]這樣直觀的方式取數(shù)。float(m[score])又是類型轉(zhuǎn)換——CSV里讀出來(lái)的一定是字符串畫(huà)圖必須轉(zhuǎn)成數(shù)值。plt.barh畫(huà)的是橫向柱狀圖。為什么要橫著畫(huà)因?yàn)殡娪懊容^長(zhǎng)橫向排布能完整展示名字縱向的話名字會(huì)擠成一團(tuán)。plt.savefig把圖片保存到本地。這一步很多人都容易忘——圖在屏幕上顯示了關(guān)掉窗口就沒(méi)了保存成文件才能沉淀下來(lái)。dpi150是清晰度設(shè)置數(shù)值越高圖片越清晰文件也越大。運(yùn)行腳本后你會(huì)得到一張圖片十部電影的評(píng)分高低一目了然。到了這一步從“爬到數(shù)據(jù)”到“看懂?dāng)?shù)據(jù)”的閉環(huán)就完整了。4.3 一個(gè)小小的實(shí)用擴(kuò)展多頁(yè)數(shù)據(jù)匯總Top100榜單一共有10頁(yè)URL的規(guī)律是https://www.maoyan.com/board/4?offset0、?offset10、?offset20……每頁(yè)偏移10。這正好可以復(fù)習(xí)for循環(huán)和翻頁(yè)邏輯。把上面的解析代碼封裝成一個(gè)函數(shù)再寫(xiě)個(gè)循環(huán)去請(qǐng)求每一頁(yè)最后把所有頁(yè)的數(shù)據(jù)合并整個(gè)排行榜就能一次性爬完。def fetch_page(offset): url fhttps://www.maoyan.com/board/4?offset{offset} # ... 復(fù)用前面請(qǐng)求和解析的代碼 ... return movies all_movies [] for i in range(10): all_movies.extend(fetch_page(i * 10)) # 寫(xiě)入同一個(gè)CSV文件f字符串格式化在這里大顯身手把循環(huán)變量塞進(jìn)URL里。list.extend是把每一頁(yè)的列表合并成大列表。這一小段擴(kuò)展練習(xí)把函數(shù)、循環(huán)、列表操作全部串起來(lái)了對(duì)我來(lái)說(shuō)這比單獨(dú)講十個(gè)語(yǔ)法點(diǎn)都有用。5. 實(shí)操中一定會(huì)踩的坑和排查辦法爬蟲(chóng)項(xiàng)目雖然不大但第一次完整跑下來(lái)不出點(diǎn)問(wèn)題反而不正常。我把這些年帶學(xué)生過(guò)程中最常見(jiàn)的幾類問(wèn)題整理成了一張速查表每一個(gè)我都親自踩過(guò)也幫別人排查過(guò)。癥狀可能原因解決方案請(qǐng)求后解析不到任何數(shù)據(jù)頁(yè)面結(jié)構(gòu)變了或反爬攔截先用print(resp.text)查看實(shí)際返回內(nèi)容確認(rèn)結(jié)構(gòu)是否正確輸出中文全是亂碼編碼識(shí)別錯(cuò)誤使用resp.encoding resp.apparent_encoding自適應(yīng)編碼請(qǐng)求超時(shí)或連接被重置訪問(wèn)頻率過(guò)高或缺少Headers設(shè)置headers偽裝瀏覽器增加timeout加time.sleep(1)限速CSV用Excel打開(kāi)全是亂碼編碼用了utf-8寫(xiě)入時(shí)改encodingutf-8-sig正則匹配結(jié)果全是空列表正則寫(xiě)錯(cuò)或HTML結(jié)構(gòu)變化先在瀏覽器查看源碼實(shí)際結(jié)構(gòu)復(fù)制真實(shí)標(biāo)簽到正則工具里調(diào)試import requests直接報(bào)錯(cuò)環(huán)境沒(méi)配對(duì)確認(rèn)虛擬環(huán)境已激活用pip list查看已安裝的包除了這張表還有兩個(gè)經(jīng)驗(yàn)之談。第一個(gè)是代碼一定要有“可重跑”的意識(shí)。爬蟲(chóng)腳本和別的腳本不一樣它依賴外部網(wǎng)絡(luò)環(huán)境今天能跑明天可能就斷了。所以異常處理絕不能省。請(qǐng)求失敗、解析為空、寫(xiě)入失敗每種情況都用try...except包起來(lái)至少讓程序在崩潰前告訴你“我是哪個(gè)環(huán)節(jié)出了問(wèn)題”。我在前面代碼里寫(xiě)的requests.RequestException就是干這個(gè)的。第二個(gè)是訪問(wèn)頻率。很多爬蟲(chóng)被封IP不是因?yàn)閷?duì)方多敏感而是因?yàn)槟阊h(huán)里沒(méi)有間隔一秒鐘發(fā)了十幾次請(qǐng)求服務(wù)器不封你封誰(shuí)。入門(mén)階段養(yǎng)成一個(gè)好習(xí)慣每請(qǐng)求一頁(yè)至少time.sleep(1)。爬得慢一點(diǎn)不會(huì)死被封了才麻煩。這也是一種基本的網(wǎng)絡(luò)禮儀普通個(gè)人學(xué)習(xí)項(xiàng)目千萬(wàn)別給別人服務(wù)器造成壓力。順著話題再多說(shuō)一句學(xué)習(xí)爬蟲(chóng)不等于什么都能爬。只訪問(wèn)公開(kāi)的、允許訪問(wèn)的數(shù)據(jù)對(duì)自己的學(xué)習(xí)目標(biāo)負(fù)責(zé)別把精力花在繞過(guò)別人安全機(jī)制上。這條原則看上去是道德要求其實(shí)是技術(shù)人的自我保護(hù)。還有一個(gè)小坑也很常見(jiàn)很多人喜歡在同一個(gè)代碼文件里反復(fù)寫(xiě)測(cè)試代碼改來(lái)改去最后自己都不知道哪個(gè)版本能跑。我的習(xí)慣是每個(gè)項(xiàng)目文件按功能分開(kāi)requests_and_parse.py專門(mén)負(fù)責(zé)請(qǐng)求和解析save_data.py專門(mén)負(fù)責(zé)存儲(chǔ)visualize.py專門(mén)負(fù)責(zé)畫(huà)圖。這樣排錯(cuò)的時(shí)候你直接定位到對(duì)應(yīng)的文件效率高很多。把今天的東西連起來(lái)再走一遍寫(xiě)到這里day13的內(nèi)容其實(shí)已經(jīng)講完了。最后分享一點(diǎn)我個(gè)人的體會(huì)。每次帶學(xué)員走到這一天我都會(huì)觀察他們寫(xiě)完爬蟲(chóng)時(shí)的表情——那種感覺(jué)不是“我會(huì)了一個(gè)新語(yǔ)法”而是“我能自己從網(wǎng)絡(luò)世界里拿到我想要的東西了”。這種能力的轉(zhuǎn)變會(huì)讓很多人在這一天真正愛(ài)上編程。往后你可以繼續(xù)往更多頁(yè)翻爬、把數(shù)據(jù)存進(jìn)數(shù)據(jù)庫(kù)、用更強(qiáng)大的解析庫(kù)處理復(fù)雜頁(yè)面也可以轉(zhuǎn)頭去學(xué)數(shù)據(jù)分析。路有很多條但day13是你第一次獨(dú)立完成“從一個(gè)陌生網(wǎng)頁(yè)到一張可視化圖表”的完整旅程。最后再送大家一個(gè)小技巧。寫(xiě)完爬蟲(chóng)以后不要急著改需求加功能先盯著那兩張輸出——CSV文件和PNG圖片——問(wèn)自己三個(gè)問(wèn)題數(shù)據(jù)對(duì)嗎字段全嗎如果明天再跑一次它還能穩(wěn)定工作嗎把這三個(gè)問(wèn)題想明白你的爬蟲(chóng)才算真正過(guò)關(guān)。