1. 抖音主頁(yè)視頻列表到底能抓到什么點(diǎn)贊收藏分享字段的公開(kāi)數(shù)據(jù)采集思路抖音用戶主頁(yè)的視頻列表本質(zhì)上是一個(gè)公開(kāi)的展示頁(yè)。你打開(kāi)某個(gè)博主的主頁(yè)往下滑動(dòng)會(huì)不斷加載出新的視頻卡片每張卡片上都有播放量、點(diǎn)贊、收藏、分享、評(píng)論這些互動(dòng)數(shù)字。這些數(shù)字對(duì)做內(nèi)容分析、競(jìng)品調(diào)研、選題復(fù)盤(pán)的人來(lái)說(shuō)價(jià)值很高——它能告訴你哪類(lèi)選題在這個(gè)賬號(hào)里跑得最好哪條視頻的收藏率異常高哪條視頻分享遠(yuǎn)大于點(diǎn)贊。我這次要拆的是「用戶主頁(yè)視頻列表」這條鏈路不是單條視頻詳情也不是評(píng)論區(qū)。目標(biāo)很明確給定一個(gè)博主的 sec_user_id把主頁(yè)上所有視頻的點(diǎn)贊、收藏、分享、評(píng)論、發(fā)布時(shí)間、標(biāo)題、視頻 ID 這些字段完整拉下來(lái)并且能翻頁(yè)翻到底。適合誰(shuí)看會(huì)一點(diǎn) Python、能看懂 requests 請(qǐng)求、想自己搭一套采集腳本的人。如果你完全沒(méi)寫(xiě)過(guò)代碼建議先補(bǔ)一下 requests 和 pandas 的基礎(chǔ)不然下面的參數(shù)你會(huì)看得比較吃力。核心難點(diǎn)有三個(gè)。第一主頁(yè)列表接口是 POST參數(shù)里 sec_user_id 是加密后的作者標(biāo)識(shí)得從主頁(yè) URL 里提取。第二分頁(yè)不是簡(jiǎn)單的 page1、page2而是靠 max_cursor 游標(biāo)每次響應(yīng)里帶回下一個(gè)游標(biāo)同時(shí) has_more 告訴你還有沒(méi)有下一頁(yè)。第三鑒權(quán)信息Cookie 或統(tǒng)一 Key會(huì)過(guò)期批量跑的時(shí)候很容易中途 401。我試過(guò)直接拿瀏覽器 Cookie 硬跑跑十幾個(gè)博主就開(kāi)始掉后來(lái)把鑒權(quán)統(tǒng)一收到一個(gè) Key 配置里穩(wěn)定性好了很多。下面按「先講清楚接口長(zhǎng)什么樣 → 再講怎么把鑒權(quán)統(tǒng)一 → 再給可復(fù)制的配置 → 再驗(yàn)證 → 再排錯(cuò)」的順序來(lái)。先明確一點(diǎn)這里采集的是公開(kāi)可見(jiàn)的互動(dòng)數(shù)字不涉及登錄態(tài)下的私密數(shù)據(jù)也不做高頻轟炸。請(qǐng)求之間留間隔單賬號(hào)視頻量通常幾百條分頁(yè)幾次就到底了。字段清單先列出來(lái)方便你對(duì)照后面代碼里的提取邏輯字段名含義來(lái)源aweme_id視頻唯一 ID列表項(xiàng)desc視頻標(biāo)題/文案列表項(xiàng)create_time發(fā)布時(shí)間戳列表項(xiàng)digg_count點(diǎn)贊數(shù)statisticscollect_count收藏?cái)?shù)statisticsshare_count分享數(shù)statisticscomment_count評(píng)論數(shù)statisticsplay_count播放數(shù)statisticsmax_cursor下一頁(yè)游標(biāo)響應(yīng)頂層has_more是否還有下一頁(yè)響應(yīng)頂層這張表就是最終要落庫(kù)的結(jié)構(gòu)。你會(huì)發(fā)現(xiàn)點(diǎn)贊、收藏、分享都在 statistics 對(duì)象里不在列表項(xiàng)頂層提取的時(shí)候別找錯(cuò)層級(jí)。2. TaoToken 統(tǒng)一 Key 配置把接口鑒權(quán)從散落 Cookie 收攏到一處上一節(jié)說(shuō)到 Cookie 容易過(guò)期這是采集腳本最煩的地方。你寫(xiě)死一個(gè) Cookie今天能跑明天可能就 401。更麻煩的是如果你同時(shí)跑多個(gè)數(shù)據(jù)源比如抖音 別的平臺(tái)每個(gè)源一套鑒權(quán)維護(hù)成本直接翻倍。我的做法是把所有對(duì)外請(qǐng)求的鑒權(quán)統(tǒng)一走 TaoToken 的 Key。TaoToken 是一個(gè)模型與接口調(diào)用的統(tǒng)一入口官網(wǎng)在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 地址是 https://taotoken.net/api 。它的作用是讓你用一個(gè) Key 去調(diào)用后端能力不用在每個(gè)腳本里散落不同的憑證。這里要區(qū)分清楚抖音主頁(yè)列表接口本身是抖音的公開(kāi)接口TaoToken 不替代它。TaoToken 負(fù)責(zé)的是你腳本里「需要模型能力或統(tǒng)一鑒權(quán)」的那部分比如你在采集后想用模型做字段清洗、標(biāo)題分類(lèi)、異常值判斷或者你想把請(qǐng)求出口統(tǒng)一管理。把 Key 收到一處腳本里只讀環(huán)境變量換 Key 不用改代碼。具體操作路徑第一步打開(kāi) https://taotoken.net/api-keys 登錄后創(chuàng)建一個(gè) API Key。這個(gè) Key 就是后面所有請(qǐng)求要帶的憑證。創(chuàng)建時(shí)給它起個(gè)能認(rèn)出來(lái)的名字比如 douyin-collector方便以后區(qū)分。第二步把 Key 寫(xiě)進(jìn)環(huán)境變量不要硬編碼在腳本里。Linux/macOS 下export TAOTOKEN_API_KEYsk-你的keyWindows PowerShell$env:TAOTOKEN_API_KEYsk-你的key第三步在腳本里讀取。Python 用 os.environimport os TAOTOKEN_API_KEY os.environ.get(TAOTOKEN_API_KEY) if not TAOTOKEN_API_KEY: raise RuntimeError(缺少 TAOTOKEN_API_KEY請(qǐng)先設(shè)置環(huán)境變量)這樣做的直接好處Cookie 過(guò)期你只需要重新登錄一次抖音側(cè)而 TaoToken 的 Key 是長(zhǎng)期有效的不會(huì)因?yàn)槠脚_(tái)登錄態(tài)變化而失效。兩套鑒權(quán)解耦排錯(cuò)的時(shí)候一眼能看出是平臺(tái)側(cè)問(wèn)題還是 Key 側(cè)問(wèn)題。如果你用的是 Claude Code 這類(lèi)編碼工具想把 Key 配進(jìn)去可以走 https://taotoken.net/claude-code-anthropic 這個(gè)入口里面有對(duì)應(yīng)的接入說(shuō)明。配置的時(shí)候三件套要寫(xiě)全Base URL、Key、Model ID缺一個(gè)都會(huì)連不上。注意Key 只放在服務(wù)端或本地環(huán)境變量里不要提交到 Git也不要寫(xiě)進(jìn)前端代碼。一旦泄露去 console 里吊銷(xiāo)重建。3. 可復(fù)制的請(qǐng)求頭與分頁(yè)配置sec_user_id 提取 max_cursor 游標(biāo)翻頁(yè)這一節(jié)是核心直接給能跑的配置。先解決 sec_user_id 怎么來(lái)。你打開(kāi)一個(gè)博主主頁(yè)URL 長(zhǎng)這樣https://www.douyin.com/user/MS4wLjABAAAAxxxxxxxxxxxxxxxxuser/ 后面那一串就是 sec_user_id。用正則從 URL 里摳出來(lái)import re def extract_sec_user_id(url: str) - str: m re.search(r/user/([A-Za-z0-9_\-]), url) if not m: raise ValueError(f無(wú)法從 URL 提取 sec_user_id: {url}) return m.group(1)拿到 sec_user_id 后構(gòu)造主頁(yè)視頻列表請(qǐng)求。接口是 POST請(qǐng)求參數(shù)里只有 sec_user_id 是必須的count 控制每頁(yè)數(shù)量max_cursor 控制翻頁(yè)起點(diǎn)。請(qǐng)求頭配置關(guān)鍵是 Content-Type 和 User-AgentCookie 走你登錄后的會(huì)話import requests BASE_URL https://www.douyin.com/aweme/v1/web/aweme/post/ HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Content-Type: application/x-www-form-urlencoded; charsetUTF-8, Referer: https://www.douyin.com/, Accept: application/json, text/plain, */*, } def build_params(sec_user_id: str, max_cursor: int 0, count: int 20) - dict: return { sec_user_id: sec_user_id, count: count, max_cursor: max_cursor, device_platform: webapp, aid: 6383, channel: channel_pc_web, version_code: 170400, version_name: 17.4.0, }分頁(yè)邏輯是這套腳本的靈魂。響應(yīng) JSON 頂層有兩個(gè)字段max_cursor 和 has_more。第一次請(qǐng)求傳 max_cursor0響應(yīng)里帶回新的 max_cursor下一次請(qǐng)求就用這個(gè)新值。has_more 為 1 表示還有下一頁(yè)為 0 表示到底了。def fetch_all_videos(session: requests.Session, sec_user_id: str, count: int 20): all_items [] max_cursor 0 page 0 while True: params build_params(sec_user_id, max_cursor, count) resp session.post(BASE_URL, headersHEADERS, paramsparams, timeout15) resp.raise_for_status() data resp.json() items data.get(aweme_list) or [] all_items.extend(items) page 1 print(f第 {page} 頁(yè)本頁(yè) {len(items)} 條累計(jì) {len(all_items)} 條) has_more data.get(has_more, 0) max_cursor data.get(max_cursor, 0) if not has_more or not items: break time.sleep(1.5) # 控制頻率別打太快 return all_items注意 count 這個(gè)參數(shù)。你把它設(shè)成 100響應(yīng)不一定真給你 100 條平臺(tái)會(huì)按自己的策略返回。所以別依賴(lài) count 做分頁(yè)判斷只依賴(lài) has_more 和 max_cursor。字段提取點(diǎn)贊收藏分享都在 statistics 里def parse_item(item: dict) - dict: stats item.get(statistics) or {} return { aweme_id: item.get(aweme_id), desc: (item.get(desc) or ).strip(), create_time: item.get(create_time), digg_count: stats.get(digg_count, 0), collect_count: stats.get(collect_count, 0), share_count: stats.get(share_count, 0), comment_count: stats.get(comment_count, 0), play_count: stats.get(play_count, 0), }如果你要把這套腳本的鑒權(quán)統(tǒng)一到 TaoToken可以在 session 初始化時(shí)把 Key 注入到統(tǒng)一請(qǐng)求層。下面是一個(gè) settings 片段路徑按你項(xiàng)目實(shí)際結(jié)構(gòu)調(diào)整這里以項(xiàng)目根目錄的 config/settings.json 為例{ taotoken: { base_url: https://taotoken.net/api, api_key_env: TAOTOKEN_API_KEY, model_id: your-model-id }, douyin: { list_endpoint: https://www.douyin.com/aweme/v1/web/aweme/post/, page_size: 20, sleep_seconds: 1.5, max_pages: 50 } }讀取配置import json, os with open(config/settings.json, r, encodingutf-8) as f: cfg json.load(f) api_key os.environ[cfg[taotoken][api_key_env]] base_url cfg[taotoken][base_url] model_id cfg[taotoken][model_id]三件套 Base URL、Key、Model ID 都在這里了。Base URL 用 https://taotoken.net/api Key 從環(huán)境變量讀Model ID 按你實(shí)際用的填。這樣換模型或換 Key 只改配置不動(dòng)業(yè)務(wù)代碼。4. 驗(yàn)證一次完整抓取字段完整性與去重效果實(shí)測(cè)配置寫(xiě)完了得跑一次看結(jié)果。驗(yàn)證分兩步先看字段全不全再看有沒(méi)有重復(fù)。先跑抓取把結(jié)果轉(zhuǎn)成 DataFrameimport pandas as pd session requests.Session() # 這里 session 需要帶上你登錄后的 Cookie具體獲取方式見(jiàn)下一節(jié)排錯(cuò) sec_user_id extract_sec_user_id(https://www.douyin.com/user/MS4wLjABAAAAxxxxxxxx) raw_items fetch_all_videos(session, sec_user_id, count20) rows [parse_item(it) for it in raw_items] df pd.DataFrame(rows) print(總條數(shù):, len(df)) print(字段:, list(df.columns)) print(df[[aweme_id, digg_count, collect_count, share_count]].head())預(yù)期輸出類(lèi)似第 1 頁(yè)本頁(yè) 20 條累計(jì) 20 條 第 2 頁(yè)本頁(yè) 20 條累計(jì) 40 條 ... 總條數(shù): 186 字段: [aweme_id, desc, create_time, digg_count, collect_count, share_count, comment_count, play_count]字段完整性檢查確認(rèn) digg_count、collect_count、share_count 三列沒(méi)有大面積空值。如果某列全是 0大概率是 statistics 層級(jí)取錯(cuò)了回去看 parse_item。去重檢查主頁(yè)列表在翻頁(yè)邊界偶爾會(huì)重復(fù)返回同一條用 aweme_id 去重before len(df) df df.drop_duplicates(subset[aweme_id]).reset_index(dropTrue) after len(df) print(f去重前 {before} 條去重后 {after} 條去掉 {before - after} 條重復(fù))實(shí)測(cè)下來(lái)一個(gè) 180 多條視頻的賬號(hào)翻頁(yè) 10 次左右到底去重通常能去掉 0 到 3 條邊界重復(fù)。如果重復(fù)數(shù)量很大說(shuō)明 max_cursor 沒(méi)正確更新檢查你是不是把初始值 0 寫(xiě)死了。導(dǎo)出 Exceldf.to_excel(douyin_homepage_videos.xlsx, indexFalse) print(已導(dǎo)出 douyin_homepage_videos.xlsx)打開(kāi) Excel 核對(duì)幾列點(diǎn)贊數(shù)應(yīng)該和你在主頁(yè)看到的量級(jí)一致收藏?cái)?shù)一般小于點(diǎn)贊數(shù)分享數(shù)通常最小。如果三個(gè)數(shù)字量級(jí)明顯不對(duì)比如收藏比點(diǎn)贊還大一個(gè)數(shù)量級(jí)那就是字段映射錯(cuò)了。再補(bǔ)一個(gè)完整性斷言方便你自動(dòng)化跑required [aweme_id, digg_count, collect_count, share_count] missing [c for c in required if c not in df.columns] assert not missing, f缺少字段: {missing} assert df[aweme_id].is_unique, aweme_id 存在重復(fù)去重未生效 print(字段與去重校驗(yàn)通過(guò))跑通這一步說(shuō)明你的采集鏈路是通的。接下來(lái)就是處理鑒權(quán)過(guò)期和報(bào)錯(cuò)。5. 本篇常見(jiàn)錯(cuò)排查401、local proxy failed、reading choices、OAuth 報(bào)錯(cuò)對(duì)照采集腳本跑不起來(lái)九成是下面這幾類(lèi)錯(cuò)。我按真實(shí)報(bào)錯(cuò)信息對(duì)照著講。401 Unauthorized / 登錄態(tài)失效現(xiàn)象請(qǐng)求返回 401或者返回的 JSON 里 status_code 非 0。原因基本是 Cookie 過(guò)期。抖音的登錄態(tài)有時(shí)效批量跑久了就掉。處理重新登錄獲取 Cookie或者用自動(dòng)化方式在需要時(shí)刷新登錄態(tài)。如果你把鑒權(quán)統(tǒng)一到了 TaoToken先確認(rèn) 401 是來(lái)自抖音側(cè)還是 Key 側(cè)——看報(bào)錯(cuò) URL 域名。抖音域名報(bào) 401 就是平臺(tái) Cookie 問(wèn)題TaoToken 域名報(bào) 401 就是 Key 問(wèn)題去 https://taotoken.net/api-keys 檢查 Key 是否有效、是否被吊銷(xiāo)。local proxy failed / 連接被拒現(xiàn)象requests 拋 ProxyError提示 local proxy failed 或 connection refused。原因是你本地配了代理但代理沒(méi)起來(lái)或者環(huán)境變量 HTTP_PROXY 指向了一個(gè)失效地址。處理檢查環(huán)境變量echo $HTTP_PROXY echo $HTTPS_PROXY如果不需要代理直接清掉unset HTTP_PROXY HTTPS_PROXY然后在 requests 里顯式禁用代理session.trust_env Falsereading choices / 響應(yīng)結(jié)構(gòu)對(duì)不上現(xiàn)象解析時(shí)報(bào) KeyError 或 TypeError提示 reading choices 之類(lèi)。這通常發(fā)生在你把模型返回結(jié)構(gòu)和平臺(tái)返回結(jié)構(gòu)搞混了。抖音列表接口返回的是 aweme_list不是 choices。choices 是模型對(duì)話接口的字段。處理打印原始響應(yīng)前 500 字符確認(rèn)結(jié)構(gòu)print(resp.text[:500])看清楚頂層是 aweme_list 還是別的再改提取路徑。別拿模型接口的解析代碼套平臺(tái)接口。OAuth / token 校驗(yàn)失敗現(xiàn)象報(bào) OAuth 相關(guān)錯(cuò)誤或者 token invalid。如果你在腳本里用了需要 OAuth 的模型調(diào)用檢查 token 是否過(guò)期、scope 是否對(duì)。走 TaoToken 的話確認(rèn) Base URL 填的是 https://taotoken.net/api Key 和 Model ID 三件套齊全。缺 Model ID 是最常見(jiàn)的很多人只填了 URL 和 Key結(jié)果調(diào)用時(shí)報(bào)模型不存在。has_more 一直為 1死循環(huán)現(xiàn)象翻頁(yè)停不下來(lái)或者翻到后面返回空列表但 has_more 還是 1。處理加雙重終止條件has_more 為 0 或者 items 為空都停再加一個(gè) max_pages 上限兜底if page cfg[douyin][max_pages]: print(達(dá)到最大頁(yè)數(shù)上限停止) break字段全是 0現(xiàn)象抓到了條數(shù)但點(diǎn)贊收藏分享全是 0。原因statistics 層級(jí)取錯(cuò)或者你抓的是精簡(jiǎn)版響應(yīng)。檢查 parse_item 里是不是從 item[statistics] 取的而不是 item 頂層。排錯(cuò)的核心思路就一條先看報(bào)錯(cuò)來(lái)自哪個(gè)域名分清是平臺(tái)側(cè)還是 Key 側(cè)再去對(duì)應(yīng)的配置里找。別一上來(lái)就改代碼。6. 采集鏈路的下一步把 Key 配置沉淀成可復(fù)用模板跑通一次完整抓取之后你會(huì)發(fā)現(xiàn)真正花時(shí)間的不是寫(xiě)請(qǐng)求而是維護(hù)鑒權(quán)和翻頁(yè)邊界。把這兩塊沉淀成模板后面換賬號(hào)、換平臺(tái)都能直接套。我的做法是建一個(gè) collector 基類(lèi)把 session 初始化、Key 讀取、重試、限速都放進(jìn)去抖音只是其中一個(gè)子類(lèi)。這樣下次你要抓另一個(gè)平臺(tái)的主頁(yè)列表只需要改 endpoint 和字段映射鑒權(quán)層完全不動(dòng)。Key 配置這塊建議固定三件套的讀取順序先讀環(huán)境變量讀不到再讀本地配置文件都沒(méi)有就報(bào)錯(cuò)退出。不要給默認(rèn)值默認(rèn)值會(huì)讓配置錯(cuò)誤被掩蓋。如果你后面要做長(zhǎng)期、批量的采集任務(wù)可以考慮把模型調(diào)用也接進(jìn)來(lái)比如用模型對(duì)視頻標(biāo)題做自動(dòng)分類(lèi)、對(duì)異?；?dòng)數(shù)據(jù)做標(biāo)注。這類(lèi)長(zhǎng)期任務(wù)適合走 Coding Plan入口在 https://taotoken.net/coding-plan 把編碼和調(diào)用統(tǒng)一管理。只是想驗(yàn)證某個(gè)模型對(duì)字段清洗的效果可以直接在 https://taotoken.net/models 里對(duì)話試一下確認(rèn)輸出格式再寫(xiě)進(jìn)腳本。最后留一個(gè)實(shí)用習(xí)慣每次采集完把本次的 sec_user_id、抓取時(shí)間、條數(shù)、去重?cái)?shù)記一行日志。下次數(shù)據(jù)對(duì)不上時(shí)翻日志比翻代碼快得多。采集腳本的穩(wěn)定性往往就藏在這些不起眼的記錄里。