專欄Python網(wǎng)絡(luò)爬蟲入門到實(shí)戰(zhàn)零基礎(chǔ)連載全套 本章定位爬蟲核心底層原理課。90%爬蟲報(bào)錯、反爬攔截、訪問失敗根源都是不懂網(wǎng)絡(luò)協(xié)議。本章零基礎(chǔ)吃透HTTP/HTTPS核心規(guī)則不講廢話、只學(xué)爬蟲能用的知識點(diǎn)為后續(xù)requests實(shí)戰(zhàn)、反爬繞過、接口抓包筑牢基礎(chǔ)。? 學(xué)習(xí)目標(biāo)搞懂HTTP與HTTPS的區(qū)別、安全機(jī)制與爬蟲適配邏輯精通GET/POST兩大核心請求方式明確爬蟲使用場景掌握請求頭、請求體、參數(shù)、Cookie等核心請求要素熟記常見HTTP響應(yīng)狀態(tài)碼快速排查爬蟲報(bào)錯理解網(wǎng)絡(luò)完整請求鏈路看懂爬蟲每一步數(shù)據(jù)流轉(zhuǎn)一、為什么爬蟲必須學(xué)HTTP協(xié)議在上一章我們知道爬蟲的核心就是模擬瀏覽器發(fā)送網(wǎng)絡(luò)請求、接收服務(wù)器響應(yīng)。而瀏覽器與服務(wù)器溝通的“通用語言”就是HTTP/HTTPS 協(xié)議。通俗總結(jié)不會協(xié)議 只會抄代碼報(bào)錯一臉懵懂協(xié)議 能自主寫爬蟲、排查報(bào)錯、繞過基礎(chǔ)反爬、看懂接口數(shù)據(jù)后續(xù)所有爬蟲代碼requests請求、登錄抓包、參數(shù)加密、代理爬取全部基于本章知識點(diǎn)展開。二、HTTP與HTTPS超通俗詳解2.1 什么是HTTP協(xié)議HTTP超文本傳輸協(xié)議是互聯(lián)網(wǎng)最基礎(chǔ)的通信規(guī)則用于規(guī)范客戶端瀏覽器/爬蟲和服務(wù)器之間的數(shù)據(jù)傳輸格式。核心特點(diǎn)無狀態(tài)服務(wù)器不記住上一次的訪問記錄每次請求都是獨(dú)立的明文傳輸數(shù)據(jù)直接傳輸不加密容易被抓包、竊取速度快、開銷小適合公開靜態(tài)網(wǎng)頁傳輸2.2 什么是HTTPS協(xié)議HTTPS HTTP SSL/TLS 加密協(xié)議是HTTP的安全升級版。核心特點(diǎn)數(shù)據(jù)加密傳輸?shù)谌綗o法直接竊取、篡改數(shù)據(jù)需要CA證書認(rèn)證安全性極高目前主流網(wǎng)站全部使用HTTPS百度、電商、社交平臺2.3 爬蟲視角核心區(qū)別HTTP端口80無需證書請求簡單無加密校驗(yàn)HTTPS端口443加密傳輸部分爬蟲需要關(guān)閉證書校驗(yàn)否則報(bào)錯三、爬蟲必備完整網(wǎng)絡(luò)請求鏈路客戶端→服務(wù)器一次完整的爬蟲訪問分為請求和響應(yīng)兩個核心部分缺一不可3.1 請求Request爬蟲/瀏覽器主動發(fā)給服務(wù)器的數(shù)據(jù)包包含訪問方式、網(wǎng)址、瀏覽器信息、參數(shù)、Cookie等。3.2 響應(yīng)Response服務(wù)器接收請求后返回給爬蟲的數(shù)據(jù)包包含狀態(tài)碼、網(wǎng)頁源碼、JSON數(shù)據(jù)、圖片資源等。核心公式爬蟲 構(gòu)造合法Request 解析有效Response四、兩大核心請求方式GET vs POST爬蟲重中之重所有爬蟲請求歸根結(jié)底只有兩種GET、POST必須徹底分清使用場景。4.1 GET 請求查數(shù)據(jù)作用向服務(wù)器獲取、查詢公開數(shù)據(jù)不會修改服務(wù)器內(nèi)容。爬蟲場景90%的基礎(chǔ)爬蟲都是GET請求比如爬取文章、圖片、榜單、新聞、首頁數(shù)據(jù)。核心特征參數(shù)直接拼接在URL鏈接后面公開可見參數(shù)長度有限制數(shù)據(jù)量小可被緩存、收藏、歷史記錄保存無請求體參數(shù)透明URL參數(shù)示例https://www.baidu.com/s?wdPython爬蟲解析wdPython爬蟲就是GET請求參數(shù)代表搜索關(guān)鍵詞。4.2 POST 請求交數(shù)據(jù)作用向服務(wù)器提交、上傳數(shù)據(jù)用于登錄、注冊、提交表單、發(fā)布內(nèi)容。爬蟲場景模擬網(wǎng)站登錄、提交查詢條件、抓取分頁接口、 ajax動態(tài)數(shù)據(jù)。核心特征參數(shù)放在請求體中不拼接在URL上相對隱蔽無長度限制可傳輸大量數(shù)據(jù)、文件、圖片不會被緩存無法直接通過URL訪問常用于隱私交互、數(shù)據(jù)提交場景4.3 極簡區(qū)分口訣爬蟲專用只看不取、只查不交用GET登錄提交、傳參查詢、上傳數(shù)據(jù)用POST五、HTTP請求完整組成爬蟲反爬核心很多新手爬蟲直接被攔截、403拒絕訪問核心原因就是請求格式不合法被網(wǎng)站識別為機(jī)器爬蟲。合法的請求必須包含三大模塊請求行、請求頭、請求體。5.1 請求行Request Line包含請求方式 請求URL 協(xié)議版本示例GET https://www.baidu.com HTTP/1.15.2 請求頭Request Headers—— 反爬核心請求頭是客戶端的“身份名片”告訴服務(wù)器我是誰、用什么瀏覽器、來自哪里、攜帶什么緩存信息。爬蟲偽裝瀏覽器核心就是偽造請求頭重點(diǎn)掌握5個爬蟲高頻字段1. User-AgentUA—— 最重要標(biāo)識客戶端身份瀏覽器型號、系統(tǒng)版本無UA的請求99%會被攔截。裸爬蟲請求無UA 暴露機(jī)器身份直接403拒絕。2. Referer標(biāo)識跳轉(zhuǎn)來源告訴服務(wù)器當(dāng)前頁面從哪個頁面跳轉(zhuǎn)而來部分防盜鏈網(wǎng)站必須攜帶。3. Cookie用戶會話憑證保存登錄狀態(tài)、用戶信息模擬登錄爬蟲必備。4. Host目標(biāo)網(wǎng)站域名校驗(yàn)訪問目標(biāo)合法性。5. Accept告訴服務(wù)器可接收的數(shù)據(jù)類型提升請求合法性。5.3 請求體Request Body僅POST請求擁有用于存放提交的表單數(shù)據(jù)、賬號密碼、接口參數(shù)。GET請求無請求體。六、HTTP響應(yīng)詳解爬蟲數(shù)據(jù)來源服務(wù)器返回的響應(yīng)數(shù)據(jù)是我們爬蟲最終需要解析的內(nèi)容包含三部分6.1 響應(yīng)狀態(tài)碼核心排查依據(jù)用數(shù)字標(biāo)識本次請求是否成功爬蟲排錯必備熟記高頻狀態(tài)碼200請求成功正常獲取數(shù)據(jù)最理想狀態(tài)301/302永久/臨時重定向網(wǎng)址跳轉(zhuǎn)403禁止訪問服務(wù)器識別為爬蟲、無權(quán)限404頁面不存在URL地址錯誤405請求方式不允許GET/POST用錯500服務(wù)器內(nèi)部錯誤網(wǎng)站本身故障502/503服務(wù)器繁忙、宕機(jī)、維護(hù)中6.2 響應(yīng)頭Response Headers服務(wù)器返回的配置信息包含編碼格式、Cookie、緩存規(guī)則、服務(wù)器型號等可用于輔助爬蟲配置。6.3 響應(yīng)體Response Body爬蟲真正需要的數(shù)據(jù)包含HTML網(wǎng)頁源碼、JSON接口數(shù)據(jù)、圖片二進(jìn)制流、文本內(nèi)容等是我們解析、提取、保存的核心數(shù)據(jù)源。七、爬蟲新手高頻踩坑總結(jié)協(xié)議層面? 裸請求無UA直接403攔截最常見錯誤? 需要POST提交數(shù)據(jù)誤用GET導(dǎo)致無數(shù)據(jù)返回? 忽略Cookie無法爬取登錄后可見的數(shù)據(jù)? 不懂狀態(tài)碼報(bào)錯后不知道問題出在哪? 忽略HTTPS證書校驗(yàn)導(dǎo)致程序報(bào)錯崩潰八、本章總結(jié)HTTP明文傳輸、HTTPS加密傳輸主流網(wǎng)站均為HTTPS協(xié)議GET用于查詢獲取數(shù)據(jù)參數(shù)透明POST用于提交數(shù)據(jù)參數(shù)隱蔽請求頭UA是爬蟲偽裝核心無UA極易被反爬攔截狀態(tài)碼是爬蟲排錯的第一依據(jù)200成功、403攔截、404地址錯誤爬蟲本質(zhì)構(gòu)造合法請求解析有效響應(yīng)數(shù)據(jù)九、課后作業(yè)1. 用自己的話簡述GET與POST的核心區(qū)別和爬蟲使用場景。2. 熟記常見狀態(tài)碼含義說出200、403、404、500對應(yīng)的錯誤場景。3. 打開瀏覽器開發(fā)者工具F12隨便打開一個網(wǎng)頁查看Headers中的User-Agent字段并復(fù)制保存。下一章預(yù)告第03章 爬蟲環(huán)境搭建requests庫安裝、入門請求實(shí)戰(zhàn)第一個爬蟲代碼點(diǎn)贊 收藏 關(guān)注從零學(xué)懂Python全套爬蟲實(shí)戰(zhàn)技術(shù)