簡(jiǎn)介基于Python爬取豆瓣電影Top250并完成數(shù)據(jù)分析與可視化的完整項(xiàng)目面向計(jì)算機(jī)相關(guān)專業(yè)正在做課程大作業(yè)的學(xué)生以及需要實(shí)戰(zhàn)練習(xí)的Python學(xué)習(xí)者。資源共2000個(gè)文件以1830個(gè)Python源碼文件為主涵蓋爬蟲(chóng)抓取、數(shù)據(jù)清洗、統(tǒng)計(jì)分析、可視化繪圖等核心模塊同時(shí)包含C擴(kuò)展、txt配置、HTML/CSS/JS前端展示文件、PDF文檔等輔助內(nèi)容整體壓縮包約80.74MB文件層級(jí)清晰查找定位方便。目前已有942人學(xué)習(xí)下載。項(xiàng)目經(jīng)導(dǎo)師指導(dǎo)并通過(guò)高分驗(yàn)收評(píng)審分98分全部源碼已本地編譯調(diào)試并穩(wěn)定運(yùn)行從豆瓣Top250頁(yè)面抓取、字段解析、數(shù)據(jù)清洗到統(tǒng)計(jì)分析與可視化出圖形成完整項(xiàng)目鏈路。附帶文檔說(shuō)明還包括運(yùn)行環(huán)境配置、使用步驟、設(shè)計(jì)思路和常見(jiàn)問(wèn)題排查能幫助讀者快速理解數(shù)據(jù)分析項(xiàng)目開(kāi)發(fā)全流程借鑒代碼組織方式與調(diào)試技巧對(duì)完成課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)具有直接的參考價(jià)值。1. 為什么拿豆瓣Top250當(dāng)爬蟲(chóng)和數(shù)據(jù)可視化練手項(xiàng)目數(shù)據(jù)規(guī)模與交付形態(tài)正好匹配拿“Python爬取豆瓣電影Top250數(shù)據(jù)分析與可視化”當(dāng)成一個(gè)完整項(xiàng)目來(lái)做最大的好處不是頁(yè)面難爬而是它剛好覆蓋了從業(yè)者日常最常用的一套鏈路請(qǐng)求 → 解析 → 清洗 → 分析 → 出圖。Top250只有250條數(shù)據(jù)單頁(yè)25條共10頁(yè)字段卻足夠豐富——排名、片名、導(dǎo)演、主演、年份、制片國(guó)家或地區(qū)、類型、評(píng)分、評(píng)價(jià)人數(shù)、引用語(yǔ)。這個(gè)規(guī)模意味著你不需要分布式爬蟲(chóng)、不需要消息隊(duì)列一臺(tái)普通筆記本用requests加BeautifulSoup就能穩(wěn)定跑完但它又足夠讓你踩到真實(shí)項(xiàng)目里最常見(jiàn)的坑反爬校驗(yàn)、字段拆分、空值處理、中文字體亂碼。很多入門(mén)教程跑完就結(jié)束了但真正到交付環(huán)節(jié)才發(fā)現(xiàn)問(wèn)題爬到的數(shù)據(jù)洗不干凈圖表畫(huà)出來(lái)沒(méi)有業(yè)務(wù)含義代碼改一處別處就崩。這篇筆記會(huì)把源碼和文檔說(shuō)明里該有的模塊拆開(kāi)講從單頁(yè)請(qǐng)求到翻頁(yè)循環(huán)從復(fù)合字段清洗到pandas指標(biāo)計(jì)算再到matplotlib與pyecharts的分工最后給出一套自檢和增量更新的驗(yàn)證方式。適合剛跑通Python基礎(chǔ)、想做一個(gè)完整數(shù)據(jù)分析與可視化實(shí)踐項(xiàng)目的人也適合已經(jīng)寫(xiě)過(guò)爬蟲(chóng)、但想把代碼從“能跑”提升到“能交付”的熟手。2. 請(qǐng)求與解析先用單頁(yè)跑通再把start參數(shù)變成翻頁(yè)循環(huán)2.1 請(qǐng)求頭、延時(shí)與緩存把“反爬”從玄學(xué)變成工程紀(jì)律豆瓣Top250的反爬嚴(yán)格程度在同類網(wǎng)站里算溫和的但不代表可以不帶腦子請(qǐng)求。很多人一上來(lái)就寫(xiě)一個(gè)for循環(huán)連續(xù)請(qǐng)求10頁(yè)結(jié)果第3頁(yè)開(kāi)始返回418或者一個(gè)“檢測(cè)到異常訪問(wèn)”的提示頁(yè)。這里的核心問(wèn)題不是網(wǎng)站有多強(qiáng)而是你的請(qǐng)求特征太像腳本了。我一般的做法是三個(gè)動(dòng)作同時(shí)做。第一固定一個(gè)完整的User-Agent和Accept-Language讓請(qǐng)求頭接近瀏覽器第二每頁(yè)請(qǐng)求之間加隨機(jī)延時(shí)把1秒到2秒的間隔打散第三把每次請(qǐng)求到的HTML緩存到本地目錄下次跑的時(shí)候優(yōu)先讀緩存。第三點(diǎn)很多人忽略但它其實(shí)是整個(gè)爬蟲(chóng)實(shí)戰(zhàn)里最有用的“后悔藥”——豆瓣頁(yè)面的榜單變化很慢你完全不需要每次重新請(qǐng)求一遍緩存還能幫你定位解析問(wèn)題頁(yè)面結(jié)構(gòu)變了和代碼寫(xiě)錯(cuò)了是兩種完全不同的排錯(cuò)路徑。import os import time import random import requests HEADERS { User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ), Accept-Language: zh-CN,zh;q0.9,en;q0.8, } CACHE_DIR html_cache def get_page(start: int, use_cache: bool True) - str: os.makedirs(CACHE_DIR, exist_okTrue) cache_file os.path.join(CACHE_DIR, ftop250_{start}.html) if use_cache and os.path.exists(cache_file): with open(cache_file, encodingutf-8) as f: return f.read() url fhttps://movie.douban.com/top250?start{start}filter resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() html resp.text with open(cache_file, w, encodingutf-8) as f: f.write(html) time.sleep(random.uniform(1.0, 2.0)) return html邏輯說(shuō)明get_page先是構(gòu)造帶start參數(shù)的URLstart0對(duì)應(yīng)第1頁(yè)start25對(duì)應(yīng)第2頁(yè)每頁(yè)25條。拿到響應(yīng)后先寫(xiě)緩存再延時(shí)這樣即使后續(xù)解析代碼寫(xiě)錯(cuò)了重新調(diào)試時(shí)也不會(huì)再消耗請(qǐng)求次數(shù)。參數(shù)說(shuō)明timeout設(shè)10秒避免某個(gè)頁(yè)面卡住拖死整個(gè)腳本random.uniform(1.0, 2.0)把間隔控制在1到2秒之間這個(gè)頻率遠(yuǎn)低于豆瓣的風(fēng)控閾值足夠穩(wěn)定。不要為了趕時(shí)間把延時(shí)去掉這個(gè)項(xiàng)目的數(shù)據(jù)量決定了你省下的時(shí)間最多幾秒但觸發(fā)的風(fēng)控可能要等幾分鐘甚至更久。提示緩存目錄建議單獨(dú)建不要和代碼混在一起。文檔說(shuō)明里把這一步寫(xiě)清楚別人拿到源碼后第一眼就知道哪些文件是緩存、哪些是源碼。2.2 用BeautifulSoup提取Top250單頁(yè)字段選擇器、解析與翻頁(yè)參數(shù)拿到HTML后真正核心的解析邏輯其實(shí)固定在單頁(yè)里。Top250列表頁(yè)的結(jié)構(gòu)一直是ol.grid_view下的li每個(gè)li包含一部電影的完整信息標(biāo)題在.hd下的.title里評(píng)分在.star下的.rating_num引用語(yǔ)在.quote下的span而導(dǎo)演、主演、年份、地區(qū)、類型全部塞在.info .bd下面的p標(biāo)簽里。這個(gè)p標(biāo)簽內(nèi)部用br分隔成兩行是需要單獨(dú)處理的。from bs4 import BeautifulSoup import re def parse_page(html: str, start: int) - list[dict]: soup BeautifulSoup(html, lxml) items [] for li in soup.select(ol.grid_view li): rank int(li.select_one(.pic em).text) title_tag li.select_one(.hd .title) title title_tag.text.strip() if title_tag else rating_tag li.select_one(.star .rating_num) rating float(rating_tag.text) if rating_tag else 0.0 quote_tag li.select_one(.quote span) quote quote_tag.text.strip() if quote_tag else info_p li.select_one(.info .bd p) info_lines info_p.get_text( , stripTrue).split( ) # info_lines 大概是: # [導(dǎo)演: 某某 / 主演: 某某, 1994 / 美國(guó) / 犯罪 劇情] person_line info_lines[0] if len(info_lines) 0 else meta_line info_lines[1] if len(info_lines) 1 else items.append({ rank: rank, title: title, rating: rating, quote: quote, person_line: person_line, meta_line: meta_line, }) return items邏輯說(shuō)明先用select定位列表項(xiàng)再逐字段提取。這里的技巧是把導(dǎo)演主演單獨(dú)留成一個(gè)原始字符串不要急著拆因?yàn)椴煌瑮l目的主演人數(shù)不一樣拆早了容易丟失信息。meta_line同樣保留整行后面清洗階段再統(tǒng)一按“/”拆分。參數(shù)說(shuō)明select_one在目標(biāo)不存在時(shí)返回None所以每個(gè)字段都做了兜底。rank用int轉(zhuǎn)換rating用float轉(zhuǎn)換萬(wàn)一豆瓣調(diào)整了評(píng)分顯示精度這個(gè)轉(zhuǎn)換也不會(huì)崩。get_text( , stripTrue)的作用是把p標(biāo)簽里的br換成空格再拼接這樣兩行文本還能用split( )分開(kāi)如果不加這個(gè)參數(shù)br會(huì)直接把文本拼成一坨后續(xù)清洗就沒(méi)法做了。3. 字段清洗與存儲(chǔ)復(fù)合字段拆分、去重與CSV落盤(pán)的落地規(guī)則3.1 年份、制片地區(qū)、類型混在一行用正則和split拆干凈爬到的數(shù)據(jù)里最臟的不是評(píng)分而是meta_line這一行文本。它長(zhǎng)這樣“1994 / 美國(guó) / 犯罪 劇情”但有三種變體非常容易讓人翻車(chē)年份后面帶括號(hào)備注比如“1993 / 中國(guó)大陸 / 中國(guó)香港”制片國(guó)家或地區(qū)本身帶斜杠比如“美國(guó) / 英國(guó)”類型字段由兩個(gè)英文單詞組成比如“劇情 愛(ài)情”。如果無(wú)腦用split(/)然后取第0個(gè)元素當(dāng)年份就會(huì)把“1993中國(guó)大陸”整個(gè)當(dāng)成年份字符串。def clean_meta(meta_line: str): # 先用正則把年份摘出來(lái)年份一定是4位數(shù)字 year_match re.search(r(\d{4}), meta_line) year int(year_match.group(1)) if year_match else None # 去掉年份和可能帶括號(hào)的備注剩下的才是“地區(qū) / 類型” rest re.sub(r\d{4}.*?/, , meta_line) parts [p.strip() for p in rest.split(/)] country parts[0] if parts else genres [g.strip() for g in parts[1].split()] if len(parts) 1 else [] return year, country, genres邏輯說(shuō)明先正則搜索4位連續(xù)數(shù)字作為年份把年份從原字符串里摘出去避免后續(xù)split被年份備注干擾。rest里可能還殘留“中國(guó)大陸 / 中國(guó)香港”這樣的多地區(qū)字段直接取第一個(gè)作為主要制片地區(qū)類型則用split()按空白切分因?yàn)槎拱甑念愋妥侄沃虚g是空格不是斜杠。參數(shù)說(shuō)明re.search而不是re.findall因?yàn)橐徊侩娪爸挥幸粋€(gè)年份。re.sub的替換模式里\d{4}.*?/是非貪婪匹配作用是從年份開(kāi)始一直去掉到第一個(gè)斜杠這樣即使年份后面跟著“(中國(guó)大陸)”也能一次清干凈。genres用split()而不是split( )既能處理單個(gè)空格也能處理多個(gè)空格。主演字段同樣需要單獨(dú)處理。person_line長(zhǎng)這樣“導(dǎo)演: 弗蘭克·德拉邦特 Frank Darabont 主演: 蒂姆·羅賓斯 Tim Robbins / 摩根·弗里曼 Morgan Freeman”里面中英文混排演員之間用斜杠分隔。def clean_person(person_line: str): director actors [] if 導(dǎo)演: in person_line: director_part person_line.split(導(dǎo)演:)[1].split(主演:)[0] director director_part.strip() if 主演: in person_line: actors_part person_line.split(主演:)[1] # 只要前3位主演 actors [a.strip() for a in actors_part.split(/)[:3]] return director, actors邏輯說(shuō)明先按“導(dǎo)演:”切出導(dǎo)演段再按“主演:”切出演員段。演員只取前3位因?yàn)門(mén)op250條目里主演最多能達(dá)到六七個(gè)取全了會(huì)讓后面的詞頻分析變得很碎。這里有一個(gè)隱藏坑有些老電影條目沒(méi)有“主演:”字樣只有導(dǎo)演所以兩個(gè)if都必須獨(dú)立判斷不能把邏輯寫(xiě)成else。參數(shù)說(shuō)明split(/)[:3]中的[:3]是硬編碼如果某天想分析完整演員陣容改成不帶切片即可。director的strip()不能省因?yàn)閷?dǎo)演字段后面可能帶著一個(gè)空格再拼接主演字段。3.2 從DataFrame到CSV編碼、去重與斷點(diǎn)續(xù)爬的落地寫(xiě)法清洗完單個(gè)條目后把全部10頁(yè)數(shù)據(jù)匯總成DataFrame。這里要定一列統(tǒng)一字段順序rank、title、year、country、genres、director、actors、rating、quote其中actors和genres是列表存CSV前需要轉(zhuǎn)成字符串否則pandas會(huì)寫(xiě)出帶引號(hào)的Python字面量。import pandas as pd def build_dataframe(all_items: list[dict]) - pd.DataFrame: cleaned [] for item in all_items: year, country, genres clean_meta(item[meta_line]) director, actors clean_person(item[person_line]) cleaned.append({ rank: item[rank], title: item[title], year: year, country: country, genres: /.join(genres), director: director, actors: /.join(actors), rating: item[rating], quote: item[quote], }) df pd.DataFrame(cleaned) df df.drop_duplicates(subset[rank]).sort_values(rank) df.to_csv(top250.csv, indexFalse, encodingutf-8-sig) return df邏輯說(shuō)明清洗函數(shù)接收原始字段輸出規(guī)整的單條記錄。genres和actors用“/”重新拼回字符串是為了讓CSV每一列都是可讀文本而不是Python列表字面量。drop_duplicates按rank去重防止重復(fù)請(qǐng)求或斷點(diǎn)續(xù)爬時(shí)產(chǎn)生重復(fù)行。參數(shù)說(shuō)明encodingutf-8-sig是給Excel用戶準(zhǔn)備的不加這個(gè)參數(shù)Excel打開(kāi)CSV時(shí)中文會(huì)亂碼如果只給pandas自己讀普通utf-8就夠。sort_values(rank)保證輸出順序穩(wěn)定后續(xù)分析圖和榜單排名一致調(diào)試時(shí)方便對(duì)照原始網(wǎng)頁(yè)。注意初版代碼不要把清洗和分析混在同一個(gè)文件里。源碼至少要拆成crawler.py、clean.py、analysis.py三個(gè)模塊文檔說(shuō)明里寫(xiě)清楚運(yùn)行順序否則改一個(gè)字段格式就要連帶改畫(huà)圖代碼這是項(xiàng)目腐化最快的方式。4. 避坑與常見(jiàn)問(wèn)題4條讓爬取、清洗與分析翻車(chē)的真實(shí)記錄4.1 請(qǐng)求返回418或解析結(jié)果為空列表現(xiàn)象、原因與排查順序現(xiàn)象代碼第一次跑通加了一個(gè)for循環(huán)請(qǐng)求10頁(yè)跑到第4頁(yè)突然打印出“418”狀態(tài)碼或者頁(yè)面正常返回但select(ol.grid_view li)一個(gè)元素都選不到。原因連續(xù)請(qǐng)求觸發(fā)了風(fēng)控豆瓣返回了一個(gè)驗(yàn)證頁(yè)面還有一種情況是你改了headers里的某個(gè)字段導(dǎo)致頁(yè)面返回的是默認(rèn)的靜態(tài)模板而不是電影列表。這兩個(gè)原因的表現(xiàn)形式完全一樣都是“沒(méi)有l(wèi)i”。解決先打印response.status_code和response.text的前200個(gè)字符確認(rèn)是418還是200。如果是418說(shuō)明頻率太高把延時(shí)從random.uniform(1.0, 2.0)改成random.uniform(2.0, 4.0)如果返回200但沒(méi)有l(wèi)i檢查headers里是否漏了Accept-Language或者User-Agent被requests庫(kù)覆蓋成了默認(rèn)值。我踩過(guò)一次最蠢的坑在for循環(huán)外面定義的session循環(huán)里卻每次新建requests.get導(dǎo)致cookies沒(méi)有復(fù)用服務(wù)端把每次請(qǐng)求都當(dāng)成新連接風(fēng)控閾值更低。4.2 正則拆年份“吞掉”了數(shù)據(jù)爬到了卻洗丟了現(xiàn)象寫(xiě)正則的時(shí)候想匹配年份和地區(qū)用了re.findall(r\d{4}, meta_line)發(fā)現(xiàn)《霸王別姬》的年份輸出是1993這沒(méi)問(wèn)題但用同一個(gè)正則去匹配帶備注的條目比如“1993(中國(guó)香港) / 中國(guó)大陸”年份后面莫名多了一段字符串。原因正則\d{4}只匹配4位數(shù)字不匹配后面的括號(hào)備注但如果你在提取完后沒(méi)有把備注部分從原字符串里remove掉下一步split(/)時(shí)“1993(中國(guó)香港)”就成了一個(gè)整體。解決按代碼段的順序來(lái)先re.search提取年份再re.sub把從年份開(kāi)始的這截內(nèi)容連同斜杠一起刪掉最后才做split。這個(gè)順序不能反過(guò)來(lái)——如果先split再提取年份遇到“美國(guó) / 英國(guó)”這種地區(qū)本身帶斜杠的條目年份索引就全亂了。我見(jiàn)過(guò)有人用切片取第0個(gè)元素當(dāng)年份在Top250上大概90%的條目是對(duì)的剩下10%的條目錯(cuò)得毫無(wú)規(guī)律這種bug最可怕因?yàn)樗粫?huì)報(bào)錯(cuò)。4.3 清洗后明明250條分析時(shí)只剩248條空值溯源現(xiàn)象CSV里檢查行數(shù)是250但pandas讀進(jìn)來(lái)做groupby(year)之后年份分布的總和只有248。逐行排查發(fā)現(xiàn)是兩條評(píng)分缺失的條目被dropna帶走了。原因豆瓣Top250并不是每條都有“引用語(yǔ)”quote字段在解析時(shí)被賦了空字符串。清洗階段如果寫(xiě)了df df.dropna()空字符串不會(huì)觸發(fā)dropna但如果你把空字符串fillna(pd.NA)再dropna就會(huì)把這兩條看似“不完整”的數(shù)據(jù)刪掉。解決分析腳本里只對(duì)參與計(jì)算的列做空值處理比如df.dropna(subset[rating, year])絕不對(duì)整張表做全字段dropna。更穩(wěn)的做法是清洗階段把quote的空字符串統(tǒng)一替換成“無(wú)”這樣無(wú)論是存CSV還是后續(xù)做詞云都不會(huì)影響主鏈路。4.4 matplotlib中文亂碼與坐標(biāo)軸重疊可視化最常見(jiàn)的兩座山現(xiàn)象畫(huà)評(píng)分分布圖標(biāo)題和坐標(biāo)軸文字全是方塊畫(huà)年份分布圖X軸年份標(biāo)簽擠成一團(tuán)什么都看不清。原因matplotlib默認(rèn)字體不含中文字符需要顯式指定字體年份從1939到2023跨度太大默認(rèn)刻度策略不會(huì)自動(dòng)旋轉(zhuǎn)標(biāo)簽。解決繪圖前先設(shè)置三行rcParams把字體切到SimHei并關(guān)閉unicode負(fù)號(hào)。如果運(yùn)行環(huán)境是Linux服務(wù)器SimHei不存在改成Noto Sans CJK SC。X軸標(biāo)簽在刻度超過(guò)10個(gè)時(shí)加plt.xticks(rotation45)這一步不是美化是數(shù)據(jù)可讀性的底線。下面的代碼塊是每次畫(huà)圖都要帶的配置import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False邏輯說(shuō)明font.sans-serif必須放在繪圖代碼之前且不能放在函數(shù)內(nèi)部否則每次調(diào)用都需要重復(fù)設(shè)置。axes.unicode_minus控制負(fù)號(hào)顯示不設(shè)置的話坐標(biāo)軸負(fù)號(hào)會(huì)變成方塊這個(gè)問(wèn)題在評(píng)分分布圖里特別明顯。5. 數(shù)據(jù)分析與可視化用pandas算出結(jié)論、用圖表把結(jié)論講清楚的完整鏈路5.1 用pandas算評(píng)分分布、年代分布與地區(qū)Top10代碼與參數(shù)數(shù)據(jù)清洗完成后的第一步不是畫(huà)圖而是先想清楚要回答哪幾個(gè)問(wèn)題。Top250這個(gè)數(shù)據(jù)能支撐的結(jié)論大致有四類評(píng)分分布是否集中在9分以上、哪個(gè)十年貢獻(xiàn)的榜單影片最多、哪些國(guó)家或地區(qū)上榜最多、哪些導(dǎo)演多次上榜。每個(gè)問(wèn)題對(duì)應(yīng)一個(gè)pandas操作代碼量不大但參數(shù)細(xì)節(jié)值得講。import pandas as pd import numpy as np df pd.read_csv(top250.csv) # 1. 評(píng)分分布按0.1分間隔做分桶統(tǒng)計(jì) df[rating_bin] pd.cut(df[rating], binsnp.arange(8.0, 10.0, 0.1)) rating_dist df[rating_bin].value_counts().sort_index() # 2. 年代分布按十年分桶 df[decade] (df[year] // 10) * 10 decade_dist df[decade].value_counts().sort_index() # 3. 地區(qū)分布把“美國(guó) / 英國(guó)”拆成多行再計(jì)數(shù) df_country df.assign(country_listdf[country].str.split(/)).explode(country_list) country_top10 df_country[country_list].str.strip().value_counts().head(10) # 4. 導(dǎo)演上榜頻次 director_top10 df[director].value_counts().head(10)邏輯說(shuō)明pd.cut用等距分箱把評(píng)分分成從8.0到9.9的區(qū)間這樣才能看出“9.0到9.1”和“9.1到9.2”是否有斷層。年代分桶用的是整除技巧year // 10 * 10把1994變成1990、2003變成2000天然形成十年粒度。地區(qū)分布里explode是關(guān)鍵原始數(shù)據(jù)里一部合拍片可能同時(shí)屬于美國(guó)和英國(guó)只有拆成兩行才能準(zhǔn)確統(tǒng)計(jì)地區(qū)占比。參數(shù)說(shuō)明np.arange(8.0, 10.0, 0.1)生成的區(qū)間是左閉右開(kāi)9.9分會(huì)被歸到9.9到10.0那一桶不會(huì)丟失。value_counts()默認(rèn)按頻次降序distinct排序時(shí)用sort_index()恢復(fù)區(qū)間順序否則畫(huà)出來(lái)的X軸是亂的。head(10)限制了輸出條目Top250里上榜國(guó)家或地區(qū)有幾十個(gè)只取前10畫(huà)圖避免條形圖X軸被擠爆。5.2 靜態(tài)圖先對(duì)齊結(jié)論交互圖再談美觀matplotlib與pyecharts的分工數(shù)據(jù)分析與可視化實(shí)踐里最常見(jiàn)的錯(cuò)誤是一上來(lái)就追美觀圖表樣式調(diào)了一下午結(jié)論沒(méi)驗(yàn)證。我的一般流程是先用matplotlib出四張靜態(tài)圖確認(rèn)數(shù)據(jù)和結(jié)論對(duì)得上再用pyecharts做成可交付的HTML看板。后者不改變分析結(jié)論只改變展示層。import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False fig, axes plt.subplots(2, 2, figsize(14, 10)) # 左上評(píng)分分布直方圖 axes[0, 0].hist(df[rating], bins20, edgecolorwhite) axes[0, 0].set_title(Top250評(píng)分分布) # 右上年代分布柱狀圖 decade_dist.plot(kindbar, axaxes[0, 1]) axes[0, 1].set_title(上榜電影年代分布) # 左下地區(qū)Top10條形圖 country_top10.plot(kindbarh, axaxes[1, 0]) axes[1, 0].set_title(制片地區(qū)Top10) # 右下評(píng)分與評(píng)價(jià)人數(shù)散點(diǎn)圖 axes[1, 1].scatter(df[rating], df[rating_count]) axes[1, 1].set_xlabel(評(píng)分) axes[1, 1].set_ylabel(評(píng)價(jià)人數(shù)) plt.tight_layout() plt.savefig(top250_analysis.png, dpi150)邏輯說(shuō)明四張圖分別對(duì)應(yīng)四個(gè)分析結(jié)論。評(píng)分分布直方圖能直接看出9.0到9.5是不是密集區(qū)年代柱狀圖用來(lái)觀察近幾年上榜數(shù)量是增還是減地區(qū)條形圖回答“哪個(gè)國(guó)家的電影最受榜單認(rèn)可”右下角的散點(diǎn)圖是把評(píng)分和評(píng)價(jià)人數(shù)放一起看高評(píng)分是否等于高熱度。matplotlib的核心價(jià)值是快和糙讓你在十分鐘內(nèi)確認(rèn)數(shù)據(jù)沒(méi)有異常。參數(shù)說(shuō)明figsize(14, 10)控制總畫(huà)布尺寸四個(gè)子圖才不會(huì)擠在一起。dpi150是保存清晰度的下限低于這個(gè)值放大看會(huì)有鋸齒。tight_layout()會(huì)自動(dòng)調(diào)整子圖間距不調(diào)用的話標(biāo)題和坐標(biāo)軸會(huì)互相壓住。pyecharts的用法跟matplotlib完全不同。它生成的是HTML文件可以在瀏覽器里交互適合放進(jìn)交付文檔或可視化大屏。下面是用它畫(huà)地區(qū)Top10的完整代碼from pyecharts.charts import Bar from pyecharts import options as opts bar ( Bar() .add_xaxis(country_top10.index.tolist()) .add_yaxis(上榜數(shù)量, country_top10.values.tolist()) .set_global_opts( title_optsopts.TitleOpts(title豆瓣Top250制片地區(qū)分布), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate45)), ) ) bar.render(country_top10.html)邏輯說(shuō)明pyecharts的鏈?zhǔn)秸{(diào)用把數(shù)據(jù)、坐標(biāo)軸和全局配置組合到一個(gè)對(duì)象里render輸出獨(dú)立HTML文件不需要本地起服務(wù)。rotate45是必須的Top10地區(qū)的名字比較長(zhǎng)不旋轉(zhuǎn)會(huì)重疊。這個(gè)HTML可以直接發(fā)給任何人雙擊就能看hover有數(shù)值提示。pyecharts適合做交付但我不建議把全部圖表都交給它。散點(diǎn)圖和直方圖用pyecharts配置成本高matplotlib兩行就畫(huà)完要做可視化大屏?xí)r再把這幾個(gè)HTML用Page對(duì)象組合起來(lái)一個(gè)頁(yè)面放四五個(gè)圖切換tab就能看不同維度。順序很重要用matplotlib驗(yàn)證結(jié)論用pyecharts包裝展示不要反著來(lái)。6. 驗(yàn)證與進(jìn)階把一次性腳本變成可復(fù)用的數(shù)據(jù)管道6.1 用自檢腳本對(duì)全流程做斷言長(zhǎng)度、唯一性、空值與范圍校驗(yàn)分析跑完不等于項(xiàng)目完工。我見(jiàn)過(guò)太多案例前一天清洗邏輯改了一個(gè)正則第二天重新生成圖表時(shí)少了5條數(shù)據(jù)沒(méi)人發(fā)現(xiàn)。給這個(gè)項(xiàng)目加一個(gè)自檢函數(shù)成本很低但能擋住大部分回歸問(wèn)題。def validate(df: pd.DataFrame) - None: assert len(df) 250, f行數(shù)異常: {len(df)} assert df[rank].is_unique, rank列存在重復(fù) assert df[rating].between(8.0, 10.0).all(), 評(píng)分超出合理范圍 assert df[year].between(1930, 2030).all(), 年份超出合理范圍 missing df[[rating, year, title]].isna().sum().sum() assert missing 0, f關(guān)鍵字段存在空值: {missing} print(自檢通過(guò): 250條數(shù)據(jù)完整字段無(wú)異常)邏輯說(shuō)明自檢腳本只驗(yàn)證不修改任何一項(xiàng)失敗都會(huì)讓程序中斷并報(bào)出具體原因。行數(shù)校驗(yàn)是最基本的一道閘門(mén)防的是清洗階段誤刪數(shù)據(jù)rank唯一性校驗(yàn)防的是翻頁(yè)重復(fù)或去重失敗評(píng)分和年份區(qū)間校驗(yàn)防的是正則拆錯(cuò)導(dǎo)致數(shù)據(jù)漂移。參數(shù)說(shuō)明assert后面的提示信息要具體寧可寫(xiě)成“rank列存在重復(fù)”也不要只寫(xiě)“數(shù)據(jù)異常”。between(8.0, 10.0)是左閉右閉豆瓣Top250的最低分是8.2不會(huì)誤傷。關(guān)鍵空值校驗(yàn)只查參與分析的列不查quote這類可有可無(wú)的字段這個(gè)設(shè)計(jì)跟第四章提到的空值坑呼應(yīng)上了。6.2 增量更新與自動(dòng)化從“跑一次”到“每周跑一次”如果這個(gè)項(xiàng)目只是跑一次出幾張圖那源碼組織成什么樣都無(wú)所謂但如果打算持續(xù)跟進(jìn)榜單變化就需要考慮增量更新。常見(jiàn)做法是給爬蟲(chóng)腳本加一個(gè)force參數(shù)默認(rèn)讀緩存和已有CSV需要強(qiáng)制刷新時(shí)加上--force重新請(qǐng)求所有頁(yè)面并覆蓋CSV。我個(gè)人現(xiàn)在的習(xí)慣是清洗邏輯每改一次就順手把自檢函數(shù)跑一遍再?zèng)Q定要不要重新爬取。這個(gè)項(xiàng)目規(guī)模小不追求自動(dòng)化調(diào)度但把“自檢 緩存 參數(shù)化”這三個(gè)意識(shí)養(yǎng)成習(xí)慣后面接任何數(shù)據(jù)源都能復(fù)用這套骨架。我的項(xiàng)目文檔里會(huì)寫(xiě)清楚三件事環(huán)境依賴怎么裝、腳本按什么順序運(yùn)行、哪些字段是清洗后新增的派生字段。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取