有人問學爬蟲從哪個項目入手比較好。我通常建議第一選擇別是那些上來就要處理加密參數(shù)的平臺而是找一個服務端渲染、結構規(guī)整的榜單頁。貓眼電影的Top100榜單正好是這個定位用requests發(fā)一個GET請求用xpath從HTML里把片名、主演、上映時間、評分摳出來最后寫進MySQL。整個過程不涉及Scrapy框架也不用Selenium邏輯鏈路非常直接請求、解析、入庫。這篇文章就把這個完整流程拆開說清楚每個環(huán)節(jié)都給可復現(xiàn)代碼適合剛學完Python基礎、想把HTTP請求、頁面解析和數(shù)據(jù)庫操作串起來做一遍的同學。1. 開爬前先想清楚三件事目標頁面、字段設計、合規(guī)邊界1.1 為什么選貓眼電影作為練手對象判斷一個網(wǎng)站適不適合做入門爬蟲主要看三點HTML里有沒有數(shù)據(jù)、結構規(guī)不規(guī)整、反爬門檻高不高。貓眼電影Top100榜單在這三點上表現(xiàn)得非常典型。它不像很多現(xiàn)代網(wǎng)站那樣用JavaScript異步渲染而是在頁面源碼里直接把每條電影信息包在dd標簽里。也就是說requests拿到的HTML就是最終要解析的HTML不需要再走接口、不好解密。對于第一次接觸爬蟲的人而言這種所見即所得的頁面能最大程度減少變量干擾讓你專注于理解requests和xpath這兩個核心工具本身。為什么不推薦用正則表達式直接摳數(shù)據(jù)正則處理文本確實高效但面對HTML這種帶嵌套結構的半結構化文檔寫起來會非常痛苦稍微變一點換行縮進就失效。xpath則是為樹狀文檔設計的查詢語言可以按標簽、屬性、層級關系定位元素可讀性和穩(wěn)定性都遠勝于一長串正則。至于BeautifulSoup的CSS選擇器當然也能做但xpath是很多爬蟲框架底層的定位方式學會之后去看Scrapy、看抓包工具的xpath查詢、寫自動化腳本都會更順手。1.2 字段選型和存儲方案實戰(zhàn)項目不需要貪多建議控制在5個字段左右。我選的是排名、片名、主演、上映時間、評分。這五個字段覆蓋了三種最常見的提取場景文本直接提取片名、帶前綴的文本清洗主演、多個子節(jié)點內(nèi)容拼接評分。把這三類處理練熟基本就能應對大多數(shù)靜態(tài)頁面的解析任務了。存儲方案上很多人第一反應是存CSV圖省事。但既然項目標題里寫了寫入數(shù)據(jù)庫我們就直接用MySQL。CSV和數(shù)據(jù)庫的差別用一張表就能看懂對比維度CSVMySQL重復數(shù)據(jù)控制需要自己讀文件判重唯一索引自動去重并發(fā)寫入容易沖突事務機制安全可控查詢效率全量掃描條件索引快速定位工程化程度適合一次性分析適合持續(xù)更新和對外提供數(shù)據(jù)相比之下MySQL更像是數(shù)據(jù)服務的形態(tài)而且建表、插入、去重這些動作本身就是后端開發(fā)的基本功。練完這個項目SQL操作也順手掌握了。1.3 合規(guī)與禮貌爬取這一步很多人會跳過但我建議放在最前面。爬蟲不是技術能跑通就萬事大吉先確認目標站點是否有禁止采集的聲明遵守robots.txt的基本要求。本文演示用的榜單頁數(shù)據(jù)屬于公開可瀏覽的內(nèi)容但僅用于個人學習和功能演示不要抓取后做商業(yè)化使用也不要高頻請求、開多線程猛抓?？刂普埱箢l率、設置適當?shù)难訒r既是個人學習時的基本禮貌也能大大降低觸發(fā)反爬的概率。2. 環(huán)境準備依賴庫安裝與MySQL初始化2.1 Python虛擬環(huán)境和三個核心庫建議使用Python 3.10以上版本先用虛擬環(huán)境隔離項目依賴避免污染全局環(huán)境。創(chuàng)建并激活虛擬環(huán)境python -m venv venv venv\Scripts\activate # Windows source venv/bin/activate # Linux/macOS然后安裝三個庫pip install requests lxml pymysqlrequests負責發(fā)送HTTP請求lxml提供etree.HTML方法能快速把HTML文本解析成可查詢的樹狀結構核心就是它的.xpath()方法pymysql是Python連接MySQL的驅(qū)動純Python實現(xiàn)安裝簡單、社區(qū)活躍比官方mysql-connector-python更輕量。這里我不推薦使用selenium因為它是模擬瀏覽器方案啟動慢、消耗資源大對這種靜態(tài)渲染頁面屬于降維打擊而且會把請求和解析兩個環(huán)節(jié)混在一起反而不利于理解HTTP爬蟲的本質(zhì)。2.2 建庫建表字段類型和唯一索引確保本機MySQL正常運行登錄后執(zhí)行建庫語句CREATE DATABASE maoyan_demo DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; USE maoyan_demo; CREATE TABLE movie ( id INT AUTO_INCREMENT PRIMARY KEY, rank_no INT NOT NULL COMMENT 排名, movie_name VARCHAR(200) NOT NULL COMMENT 片名, actors VARCHAR(500) DEFAULT COMMENT 主演, release_time VARCHAR(100) DEFAULT COMMENT 上映時間, score DECIMAL(3,1) DEFAULT NULL COMMENT 評分, UNIQUE KEY uniq_name_time (movie_name, release_time) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;這里有幾個設計細節(jié)值得展開。字符集必須用utf8mb4因為榜單里有些片名和主演名字可能包含特殊字符utf8mb4可以完整覆蓋否則插入時會報1366編碼錯誤。評分字段用DECIMAL(3,1)既能保留一位小數(shù)也避免浮點誤差。最關鍵的是唯一索引uniq_name_time它建在movie_name和release_time的組合上。為什么要這么做因為不同年份可能上映同名電影單純用片名做唯一鍵會誤殺用片名加上映時間兩個維度基本能鎖定一條唯一記錄。有了這個索引后面入庫時就可以用INSERT IGNORE實現(xiàn)自動去重。3. 目標頁面結構摸底開發(fā)者工具與XPath定位思路3.1 打開頁面找到榜單列表的DOM特征在瀏覽器里打開貓眼電影榜單頁建議直接搜索貓眼電影實時票房再進入榜單入口。進入頁面后右鍵點擊任意一部電影的片名選擇檢查DevTools會自動定位到該節(jié)點。順著Elements面板向上找會看到每部電影的完整信息都被包在一個dd標簽里而這些dd的共同父級是dl classboard-wrapper。這個觀察是整個爬蟲的關鍵。與其費勁寫一長串絕對路徑不如先找到穩(wěn)定的列表容器。頁面改版時只要列表容器和條目標簽沒變解析邏輯就大概率還能用。我的定位思路是先確認容器再確認單條記錄最后才去看字段節(jié)點。對應到xpath列表容器//dl[classboard-wrapper] 單條記錄//dl[classboard-wrapper]/dd3.2 不要迷信開發(fā)者工具里的Copy XPathChrome開發(fā)者工具右鍵可以復制XPath但復制出來的往往是絕對路徑長這樣/html/body/div[2]/div[2]/div[2]/dl/dd[1]/div/div[2]/p[1]/a這種路徑一旦頁面結構有細微調(diào)整立刻失效。而且它沒有任何語義別人拿到代碼根本看不懂。正確做法是手寫相對xpath以列表節(jié)點為起點用點開頭表示在當前節(jié)點下繼續(xù)查找方式示例穩(wěn)定性絕對路徑/html/body/div[2]/div[2]/dl/dd[1]//p[1]/a差層級一變就掛相對路徑//dl[classboard-wrapper]/dd[1]//p[classname]/a好定位邏輯清晰相對路徑的核心思想是先找靠得住的錨點再在錨點下面找目標。寫xpath就像在陌生商場里找店鋪先找到地標建筑再按指示牌走比記住每一步的樓梯數(shù)量靠譜得多。3.3 頁面源碼里的空白符和換行處理開始寫解析代碼前還有一個容易踩的坑瀏覽器Elements面板里看到的數(shù)據(jù)是渲染后的而requests拿到的頁面源碼里可能包含大量換行和空格。比如p classstar 主演沈騰, 馬麗 /p直接用text()提取返回值會帶著前后的換行和縮進所以后面解析時一定要加strip()。這也解釋了為什么在寫代碼前先手動查看一下返回的HTML文本有助于對后面要做多少清洗工作心里有數(shù)。4. requests取數(shù)實戰(zhàn)請求頭、狀態(tài)檢查與重試4.1 構造一個看起來像正常人的請求頭用requests請求頁面最不起眼但也最容易出問題的就是請求頭。如果裸奔請求服務端看到陌生的Python默認User-Agent很可能直接返回403。我通常這樣構造import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Referer: https://maoyan.com/, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8 }User-Agent模擬的是瀏覽器環(huán)境告訴服務端我是正常訪客。Referer表示請求是從站點首頁跳轉(zhuǎn)過來的很多站點會校驗這個頭。為什么不需要Cookie對于榜單頁這種公開數(shù)據(jù)一般無需登錄即可訪問所以第一版請求頭沒必要帶Cookie等到頁面返回異常時再補不遲。4.2 用狀態(tài)碼和頁面特征雙重校驗拿到響應后先別急著解析先做兩道檢查resp requests.get(url, headersheaders, timeout10) print(狀態(tài)碼:, resp.status_code) print(響應長度:, len(resp.text)) if board-wrapper not in resp.text: print(頁面中沒有board-wrapper可能被反爬或頁面結構變化)狀態(tài)碼200只代表服務器給了響應不代表內(nèi)容是對的。很多時候反爬會返回200但頁面內(nèi)容是一段驗證邏輯或空殼。用board-wrapper這個頁面特征做關鍵詞校驗是最簡單有效的辦法。如果特征缺失直接停止解析先看頁面是怎么回事。4.3 超時設置與簡易重試機制網(wǎng)絡請求不可能每次都很順利所以超時和重試是必修課。requests.get如果不設timeout可能會無限等待整個腳本就卡死在那里。我習慣寫一個帶重試的小函數(shù)import time import random def fetch_html(url, headers, retries3, timeout10): for attempt in range(retries): try: resp requests.get(url, headersheaders, timeouttimeout) if resp.status_code 200: return resp.text print(f第{attempt 1}次請求狀態(tài)碼: {resp.status_code}) except requests.RequestException as e: print(f第{attempt 1}次請求異常: {e}) time.sleep(1 attempt * 2) return None這個重試的邏輯是每次失敗后等待時間遞增給服務端一個喘息空間而不是快速連續(xù)重試。抓取多頁時每頁之間也要加隨機等待time.sleep(random.uniform(1, 2))隨機間隔比固定間隔更像真實用戶也能防止被自動化檢測識別。5. XPath解析字段提取與數(shù)據(jù)清洗5.1 用lxml構建DOM樹先確認條目數(shù)量requests拿到的是純文本lxml負責把它解析成可查詢的樹。解析代碼很簡潔from lxml import etree tree etree.HTML(html_text) items tree.xpath(//dl[classboard-wrapper]/dd) print(解析到電影條數(shù):, len(items))這一步輸出的條數(shù)如果和預期不符千萬別繼續(xù)往下寫。先確認是不是頁面結構變了是不是被反爬了。寧可在這里停下來排查也不要等到入庫時才發(fā)現(xiàn)全是空數(shù)據(jù)。5.2 單條記錄里的XPath字段提取拿到items列表后遍歷每一條item。注意每個xpath表達式前都要加.表示從當前item開始找否則xpath會全局搜索可能導致不同條目之間數(shù)據(jù)串位。核心提取邏輯如下for item in items: rank item.xpath(./i[classboard-index]/text()) rank rank[0].strip() if rank else name item.xpath(.//p[classname]/a/text()) name name[0].strip() if name else actors item.xpath(.//p[classstar]/text()) actors actors[0].strip().replace(主演, ).replace(主演:, ) if actors else release item.xpath(.//p[classreleasetime]/text()) release release[0].strip() if release else score_parts item.xpath(.//p[classscore]//text()) score_text .join(score_parts).strip() score float(score_text) if score_text else 0.0每個字段都做了空列表兜底。原因是xpath在找不到節(jié)點時不會拋異常而是返回空列表如果你直接取[0]就會IndexError。這是寫爬蟲時最常見的崩潰原因之一。5.3 為什么評分要拼接而不是直接取text榜單頁里的評分不是像片名那樣一個文本節(jié)點完事而是拆成了兩個i標簽比如i classinteger9./ii classfraction7/i瀏覽器里看到的是9.7。如果用.//p[classscore]/text()取出來是兩個i標簽的文本嗎不是/text()只取當前節(jié)點的直接文本子節(jié)點而i標簽的內(nèi)容不會包含在p的text()里。所以要用//text()取所有后代文本節(jié)點再用join拼接才能得到完整的9.7。這一步非常能體現(xiàn)xpath的層級邏輯也提醒我遇到數(shù)據(jù)被標簽拆分的情況時先看看DOM結構再動手。5.4 返回結果統(tǒng)一成列表字典為了讓后續(xù)入庫代碼更清晰我會把每條電影信息統(tǒng)一封裝成字典movie_list.append({ rank: rank, name: name, actors: actors, release: release, score: score })這樣后面入庫函數(shù)只負責接收字典列表不需要關心解析邏輯。模塊邊界清楚出問題時也好排查。6. 寫入MySQL連接、去重與批量插入6.1 用PyMySQL建立連接數(shù)據(jù)庫連接的代碼要穩(wěn)定有幾個細節(jié)不能省import pymysql conn pymysql.connect( host127.0.0.1, port3306, userroot, password你的密碼, databasemaoyan_demo, charsetutf8mb4, cursorclasspymysql.cursors.DictCursor ) cursor conn.cursor()charsetutf8mb4必須和建庫時保持一致否則中文一樣會出問題。cursorclass用DictCursor查詢結果會以字典形式返回調(diào)試時更直觀。密碼不建議硬編碼在腳本里實際項目可以放到環(huán)境變量或配置文件里這里為了教程可讀性先直接寫。6.2 用INSERT IGNORE實現(xiàn)冪等寫入在代碼里實現(xiàn)去重有兩種常見思路一種是先SELECT查一下存在就跳過另一種是直接利用數(shù)據(jù)庫唯一索引用INSERT IGNORE。我更推薦后者原因是它把去重邏輯交給數(shù)據(jù)庫代碼更短也避免了并發(fā)時先查后插之間產(chǎn)生重復的競態(tài)問題。sql INSERT IGNORE INTO movie (rank_no, movie_name, actors, release_time, score) VALUES (%s, %s, %s, %s, %s) data [ (m[rank], m[name], m[actors], m[release], m[score]) for m in movie_list ]組合唯一索引uniq_name_time會在插入時自動判斷如果movie_name和release_time相同就忽略這次插入。INSERT IGNORE的返回rowcount是實際插入的行數(shù)被忽略的記錄不會報錯這樣即便腳本跑了兩次數(shù)據(jù)也不會重復。6.3 executemany批量插入與事務提交一條一條insert每次都要和數(shù)據(jù)庫走一次網(wǎng)絡往返效率非常低。批量插入用executemanyaffected cursor.executemany(sql, data) conn.commit() print(實際新增行數(shù):, affected)executemany會把多組參數(shù)一次性發(fā)給MySQL執(zhí)行數(shù)據(jù)量大時性能差距非常明顯。事務方面commit()提交事務如果中途發(fā)生異常需要回滾try: cursor.executemany(sql, data) conn.commit() except Exception as e: conn.rollback() print(寫入失敗已回滾:, e) finally: cursor.close() conn.close()這里有一個我踩過的坑如果直接commit但之后連接異常關閉數(shù)據(jù)還在但如果不commit就關閉連接所有插入會丟失。所以一定要有明確的commit位置。7. 完整腳本串聯(lián)主流程、翻頁和控制臺輸出7.1 模塊劃分和主函數(shù)編排把前面所有零散代碼整合成一個可運行的腳本需要設計清晰的主流程。我的做法是把功能拆成四個函數(shù)fetch_html管請求parse_html管解析save_to_db管入庫main管調(diào)度。完整例子如下import random import time import requests import pymysql from lxml import etree BASE_URL https://maoyan.com/board/4?offset{offset} HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Referer: https://maoyan.com/ } def fetch_html(url): for attempt in range(3): try: resp requests.get(url, headersHEADERS, timeout10) if resp.status_code 200: return resp.text except requests.RequestException: pass time.sleep(1 attempt * 2) return None def parse_html(html_text): tree etree.HTML(html_text) items tree.xpath(//dl[classboard-wrapper]/dd) result [] for item in items: rank item.xpath(./i[classboard-index]/text()) rank rank[0].strip() if rank else name item.xpath(.//p[classname]/a/text()) name name[0].strip() if name else actors item.xpath(.//p[classstar]/text()) actors actors[0].strip().replace(主演, ).replace(主演:, ) if actors else release item.xpath(.//p[classreleasetime]/text()) release release[0].strip() if release else score_parts item.xpath(.//p[classscore]//text()) score_text .join(score_parts).strip() score float(score_text) if score_text else 0.0 result.append((rank, name, actors, release, score)) return result def save_to_db(movie_data): conn pymysql.connect( host127.0.0.1, userroot, password你的密碼, databasemaoyan_demo, charsetutf8mb4, cursorclasspymysql.cursors.DictCursor ) cursor conn.cursor() sql INSERT IGNORE INTO movie (rank_no, movie_name, actors, release_time, score) VALUES (%s, %s, %s, %s, %s) try: affected cursor.executemany(sql, movie_data) conn.commit() print(本次新增:, affected, 條) except Exception as e: conn.rollback() print(寫入失敗:, e) finally: cursor.close() conn.close() def main(): all_movies [] for offset in range(0, 100, 10): url BASE_URL.format(offsetoffset) print(開始抓取 offset , offset) html_text fetch_html(url) if html_text: movies parse_html(html_text) print(本頁解析出:, len(movies), 條) all_movies.extend(movies) time.sleep(random.uniform(1, 2)) print(總共解析:, len(all_movies), 條) save_to_db(all_movies) if __name__ __main__: main()BASE_URL里的offset參數(shù)是關鍵第一頁offset是0第二頁是10以此類推每頁10條總共10頁。如果目標頁面改版導致URL失效需要按實際分頁參數(shù)調(diào)整。7.2 控制臺運行效果腳本運行后控制臺會輸出類似這樣的信息開始抓取 offset 0 本頁解析出: 10 條 開始抓取 offset 10 本頁解析出: 10 條 ... 總共解析: 100 條 本次新增: 90 條第二次運行時由于唯一索引的存在INSERT IGNORE會把已存在的90條全部忽略只新增變化的部分。這是可重復運行和只用CSV存儲的最大差別。7.3 翻頁抓取的頻率控制很多人在翻頁時會犯一個錯誤把time.sleep(random.uniform(1, 2))放在循環(huán)里但循環(huán)依然很快。實際上十頁還好但如果是一千頁這個等待時間就遠遠不夠了。我通常會再疊加一個每10頁休息5秒的邏輯進一步降低短時間內(nèi)的請求密度。搞爬蟲的核心不是把請求速度拉到最快而是讓服務端感覺不到你的存在。8. 實測中的坑與優(yōu)化建議8.1 XPath定位失敗的常見原因排查寫解析代碼最常見的坑是頁面結構變化導致xpath失效。排查時建議按下面的順序來現(xiàn)象可能原因解決方案列表條數(shù)為0頁面改版或反爬用curl或瀏覽器查看源碼重新定位容器提取不到片名class屬性匹配過嚴改用contains(class, name)數(shù)據(jù)帶有大量空白HTML里有換行縮進提取后加strip()多條數(shù)據(jù)內(nèi)容串位xpath沒有用點開頭每條item內(nèi)用.//定位子節(jié)點評分拼接為空文本在子標簽里用.//text()而非/text()這些排查經(jīng)驗不是說一遍就能背下來而是形成一種習慣出問題時先打印原始HTML、打印提取結果再逐層debug不要瞎猜。8.2 反爬特征識別與低風險應對如果頁面開始返回驗證碼、要求登錄或狀態(tài)碼變成特殊值說明觸發(fā)風控了。這時候最安全的做法不是去研究繞過方案而是停下來降低頻率?？梢宰龅膭幼靼ɡL請求間隔、換用更完整的請求頭、用requests.Session保持連接狀態(tài)以及檢查請求頻率是不是太高。切記不要因為頁面被保護就去嘗試破解驗證碼或繞過風控這既涉及安全邊界也不是爬蟲入門應該碰的內(nèi)容。個人學習場景下頻率低一點沒有任何損失。8.3 數(shù)據(jù)庫寫入中的幾個真實報錯數(shù)據(jù)庫這塊的報錯通常集中在三個點。第一個是連接不上pymysql.err.OperationalError: (2003, ...)基本就是MySQL服務沒啟動或端口不通。第二個是權限問題(1045, Access denied)檢查用戶名密碼。第三個最隱蔽插入特殊字符時報(1366, Incorrect string value)這就是建庫時字符集沒設成utf8mb4。很多人只在連接參數(shù)里寫了charsetutf8mb4但庫本身的字符集還是latin1一樣會報錯。正確做法是建庫、建表、連接參數(shù)三層保持一致。另外大批量數(shù)據(jù)入庫時不要攢到最后一次性executemany一億條應該每500或1000條一批commit一次。這樣既避免事務日志過大也能在出錯時縮小回滾范圍。8.4 做完這個項目以后還能怎么擴展這個項目做完基礎鏈路已經(jīng)打通。接下來最自然的擴展方向有三個一是把抓取結果存一份歷史表每天定時跑一次觀察榜單變化趨勢二是加一個簡單的趨勢分析腳本用pandas統(tǒng)計不同類型電影的上榜數(shù)量三是把整個流程遷到定時任務里每天固定時間抓一次。再往后如果想做更大規(guī)模的數(shù)據(jù)采集再考慮Scrapy框架。但不管是Scrapy還是其他爬蟲框架底層的HTTP請求、XPath定位、數(shù)據(jù)庫入庫都還是這篇文章里的這套基本功。我在實際寫這個項目時最大的體會是爬蟲真正花時間的不是請求失敗而是解析結果不達預期。xpath寫錯一個小點整個頁面的數(shù)據(jù)可能全部為空數(shù)據(jù)庫唯一索引沒建好腳本跑兩遍數(shù)據(jù)就亂套。requestsxpathMySQL這個組合看起來簡單但它把HTTP請求、頁面解析、結構化存儲這三項后端必備技能完整地帶你走了一遍。最后給個小建議寫解析函數(shù)時先加一個調(diào)試模式只處理第一條數(shù)據(jù)并打印出來確認每個字段都正確后再放開全量解析這樣能節(jié)省大量試錯時間。