簡(jiǎn)介本資源是一份基于Java的jsoup分頁(yè)爬蟲實(shí)戰(zhàn)項(xiàng)目面向Java初學(xué)者及網(wǎng)頁(yè)數(shù)據(jù)采集入門開發(fā)者解決多頁(yè)HTML內(nèi)容自動(dòng)化抓取與結(jié)構(gòu)化解析的核心問(wèn)題。壓縮包共16個(gè)文件含7個(gè)關(guān)鍵jar依賴如jsoup-1.9.2.jar、WebCollector-2.52.jar等、1個(gè)主程序Java源碼、1個(gè)編譯生成的class文件以及Eclipse項(xiàng)目配置文件.project、.classpath、.settings/prefs完整復(fù)現(xiàn)了從工程搭建、分頁(yè)URL構(gòu)造、CSS選擇器提取到多頁(yè)循環(huán)抓取的全流程。資源大小3.08MB結(jié)構(gòu)精簡(jiǎn)、開箱即用便于快速理解jsoup在真實(shí)分頁(yè)場(chǎng)景下的典型用法包括動(dòng)態(tài)頁(yè)碼拼接、鏈接解析、異常重試邏輯和基礎(chǔ)數(shù)據(jù)清洗思路。目前已有1080人學(xué)習(xí)下載適合用于課堂實(shí)驗(yàn)、課設(shè)實(shí)踐或自學(xué)爬蟲技術(shù)棧的起步訓(xùn)練。1. jsoup分頁(yè)爬取網(wǎng)頁(yè)不是寫個(gè) for 循環(huán)就能跑通的黑匣子而是要親手拆開 URL 構(gòu)造、狀態(tài)維持和 DOM 邊界三重鎖你寫了個(gè)for (int i 1; i 100; i) { Document doc Jsoup.connect(https://example.com/list?page i).get(); }跑完發(fā)現(xiàn)第3頁(yè)開始全是空列表、第17頁(yè)返回 403、第42頁(yè)數(shù)據(jù)突然錯(cuò)位——這不是代碼沒(méi)寫完是根本沒(méi)摸清分頁(yè)系統(tǒng)的底層契約。jsoup 分頁(yè)爬取從來(lái)不是“HTTP 工具調(diào)用”而是一場(chǎng)對(duì)目標(biāo)網(wǎng)站結(jié)構(gòu)策略的逆向工程它要求你識(shí)別真實(shí)翻頁(yè)邏輯是純參數(shù)跳轉(zhuǎn)帶 token 的 POST還是前端 JS 動(dòng)態(tài)加載維持會(huì)話上下文Cookie、Referer、User-Agent 是否被校驗(yàn)并精準(zhǔn)錨定每頁(yè)的數(shù)據(jù)容器邊界.item-list li還是#content .post。這份實(shí)戰(zhàn)筆記不講 Jsoup 基礎(chǔ) API只聚焦「分頁(yè)場(chǎng)景下那些讓爬蟲在凌晨三點(diǎn)崩潰的細(xì)節(jié)」從 URL 模式識(shí)別到反爬響應(yīng)攔截從 DOM 定位漂移排查到多頁(yè)結(jié)果去重落地。適合已能用 Jsoup 抓單頁(yè)、但一加循環(huán)就翻車的開發(fā)者尤其適合處理企業(yè)內(nèi)網(wǎng)文檔庫(kù)、招標(biāo)公告站、學(xué)術(shù)成果聚合頁(yè)等真實(shí)業(yè)務(wù)分頁(yè)源。2. 分頁(yè)邏輯識(shí)別與 URL 構(gòu)造先看懂網(wǎng)站怎么“說(shuō)人話”再讓 jsoup 聽懂分頁(yè)不是數(shù)學(xué)題是閱讀理解。同一套“第 N 頁(yè)”語(yǔ)義在不同系統(tǒng)里可能對(duì)應(yīng)完全不同的技術(shù)實(shí)現(xiàn)。盲目拼接?page2可能直接撞上 404 或跳回首頁(yè)。必須通過(guò)人工觀察網(wǎng)絡(luò)面板驗(yàn)證確認(rèn)真實(shí)分頁(yè)機(jī)制。2.1 三類主流分頁(yè)模式及其 jsoup 應(yīng)對(duì)策略分頁(yè)類型典型特征網(wǎng)絡(luò)請(qǐng)求表現(xiàn)jsoup 關(guān)鍵操作純 GET 參數(shù)分頁(yè)URL 明確含?page2size20點(diǎn)擊頁(yè)碼后地址欄實(shí)時(shí)變化單次 GET 請(qǐng)求響應(yīng)體含完整 HTML直接構(gòu)造 URL注意 URL 編碼如中文參數(shù)POST 表單分頁(yè)頁(yè)面有form methodpost頁(yè)碼通過(guò) hidden input 提交發(fā)起 POST 請(qǐng)求Body 含pageNum2pageSize20使用.data(pageNum, 2)設(shè)置表單字段.method(Connection.Method.POST)AJAX/JSON 分頁(yè)點(diǎn)擊頁(yè)碼無(wú)整頁(yè)刷新Network 面板出現(xiàn)/api/list?page2類 XHR 請(qǐng)求返回 JSON 數(shù)據(jù)非 HTML需額外解析jsoup 不適用應(yīng)切換為 HttpClient JSON 解析提示90% 的翻車始于誤判類型。務(wù)必打開瀏覽器開發(fā)者工具 → Network → 切換到 XHR/JS 選項(xiàng)卡點(diǎn)擊頁(yè)碼觀察發(fā)起的是哪個(gè)請(qǐng)求、Method 是什么、Payload 傳了什么。不要相信頁(yè)面上顯示的 URL。2.2 URL 構(gòu)造實(shí)操?gòu)氖謩?dòng)拼接到動(dòng)態(tài)生成假設(shè)目標(biāo)站分頁(yè) URL 格式為https://example.com/news?page1categorytech且 category 是固定值// ? 正確使用 Jsoup 提供的 URL 工具類自動(dòng)處理編碼 String baseUrl https://example.com/news; String category tech; int pageNum 5; // 構(gòu)造帶參數(shù)的 URLJsoup 會(huì)自動(dòng) encode 中文、特殊字符 String url String.format(%s?page%dcategory%s, baseUrl, pageNum, URLEncoder.encode(category, StandardCharsets.UTF_8)); Connection connection Jsoup.connect(url) .userAgent(Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36) .timeout(10000); Document doc connection.get();參數(shù)說(shuō)明URLEncoder.encode(...)強(qiáng)制對(duì)非 ASCII 字符如中文 category 名編碼避免 400 Bad Request.userAgent(...)必須設(shè)置多數(shù)網(wǎng)站對(duì)空 UA 直接拒絕.timeout(10000)分頁(yè)請(qǐng)求常因服務(wù)端慢響應(yīng)超時(shí)10 秒是較穩(wěn)妥下限若分頁(yè)依賴上一頁(yè)的某個(gè) token如input typehidden namecsrf_token valueabc123則不能靜態(tài)構(gòu)造 URL必須先 GET 第一頁(yè)解析出 token 再用于后續(xù)請(qǐng)求// 第一步獲取第一頁(yè)提取隱藏 token Document firstPage Jsoup.connect(https://example.com/news?page1).get(); String csrfToken firstPage.select(input[namecsrf_token]).attr(value); // 第二步構(gòu)造第二頁(yè)請(qǐng)求攜帶 token Connection nextPageConn Jsoup.connect(https://example.com/news?page2) .data(csrf_token, csrfToken) // 作為 POST 字段或 GET 參數(shù)附加 .userAgent(...); Document secondPage nextPageConn.post(); // 注意此處用 post()2.3 Referer 和 Cookie 的隱性綁定某些網(wǎng)站尤其是登錄后訪問(wèn)的后臺(tái)分頁(yè)會(huì)校驗(yàn)Referer頭確保請(qǐng)求來(lái)自其自身域名。若直接請(qǐng)求?page2而 Referer 為空或?yàn)槠渌蛎祷?403。// ? 強(qiáng)制設(shè)置 Referer 為上一頁(yè) URL String previousUrl https://example.com/news?page1; Connection conn Jsoup.connect(https://example.com/news?page2) .header(Referer, previousUrl) // 關(guān)鍵 .cookie(JSESSIONID, ABC123...) // 若需維持會(huì)話從上一頁(yè)響應(yīng)中提取 .userAgent(...);如何獲取 Cookie首次請(qǐng)求后從Connection.Response中提取Connection.Response response Jsoup.connect(https://example.com/login).data(u, x, p, y).execute(); MapString, String cookies response.cookies(); // 獲取全部 cookie String sessionId cookies.get(JSESSIONID);然后將sessionId傳給后續(xù)所有分頁(yè)請(qǐng)求。切記Cookie 是會(huì)話級(jí)憑證丟失即登出分頁(yè)中斷。3. DOM 定位與數(shù)據(jù)抽取當(dāng).select(div.item)開始返回空集合時(shí)分頁(yè)爬取最玄學(xué)的階段URL 沒(méi)錯(cuò)、請(qǐng)求成功、狀態(tài)碼 200但doc.select(ul.list li)卻抽不出任何元素。這不是 selector 寫錯(cuò)了而是你沒(méi)意識(shí)到——DOM 結(jié)構(gòu)本身就在分頁(yè)間漂移。3.1 定位器健壯性設(shè)計(jì)從“寫死選擇器”到“動(dòng)態(tài)錨點(diǎn)”新手常犯錯(cuò)誤在第一頁(yè)調(diào)試出div.content ul li就認(rèn)為全站通用。但實(shí)際中第 1 頁(yè)有廣告位li classad-banner干擾.list li:nth-child(2)的序號(hào)定位第 50 頁(yè)因數(shù)據(jù)不足ul標(biāo)簽被省略內(nèi)容直接放在div.content下某些頁(yè)底部插入推薦模塊div.content *:last-child不再是數(shù)據(jù)項(xiàng)。正確做法用內(nèi)容特征而非位置做錨點(diǎn)。例如目標(biāo)數(shù)據(jù)項(xiàng)必含h3 classtitle和span classdateElements items doc.select(div.content *:has(h3.title):has(span.date)); // ? 匹配 div.content 下所有同時(shí)包含 h3.title 和 span.date 的直接子元素 // ? 避免doc.select(div.content ul li) —— 依賴固定結(jié)構(gòu)更進(jìn)一步可結(jié)合屬性值過(guò)濾// 只取 class 包含 item 且>for (int i 1; i totalPage; i) { Document page Jsoup.connect(getPageUrl(i)).get(); // 【關(guān)鍵檢查】每頁(yè)都應(yīng)有至少 1 個(gè)標(biāo)題和 1 個(gè)日期 Elements titles page.select(h3.title); Elements dates page.select(span.date); if (titles.size() 0 || dates.size() 0) { System.err.printf(?? 第 %d 頁(yè)結(jié)構(gòu)異常title%d, date%d%n, i, titles.size(), dates.size()); // 記錄該頁(yè) HTML 到文件供人工復(fù)核 Files.write(Paths.get(debug_page_ i .html), page.html().getBytes()); continue; // 跳過(guò)此頁(yè)避免污染數(shù)據(jù) } // 正常抽取邏輯... }3.3 多頁(yè)數(shù)據(jù)合并與去重避免“同一條新聞爬了 17 次”分頁(yè)接口常存在數(shù)據(jù)重疊如第 10 頁(yè)末尾幾條 第 11 頁(yè)開頭幾條尤其當(dāng)后端按時(shí)間戳分頁(yè)且并發(fā)發(fā)布時(shí)。簡(jiǎn)單List.add()會(huì)導(dǎo)致重復(fù)入庫(kù)。方案基于唯一標(biāo)識(shí)如 URL、ID去重SetString seenUrls new HashSet(); // 全局去重容器 ListArticle allArticles new ArrayList(); for (int i 1; i 100; i) { Document page Jsoup.connect(getPageUrl(i)).get(); Elements items page.select(div.item); for (Element item : items) { String url item.select(a[href]).attr(href); // 歸一化 URL補(bǔ)全相對(duì)路徑、去除跟蹤參數(shù) url normalizeUrl(url, https://example.com); if (!seenUrls.contains(url)) { seenUrls.add(url); allArticles.add(parseArticle(item)); } } } // 歸一化函數(shù)示例 private static String normalizeUrl(String href, String baseUrl) { String fullUrl href.startsWith(http) ? href : baseUrl / href; return fullUrl.split(\\?)[0]; // 去除 utm_ 等參數(shù) }注意seenUrls必須是循環(huán)外聲明的全局 Set否則每頁(yè)都新建失去去重意義。4. 避坑分頁(yè)爬取中 5 個(gè)血淚經(jīng)驗(yàn)換來(lái)的高頻故障與解法分頁(yè)爬取的坑往往不在第一行代碼而在第 97 次請(qǐng)求的響應(yīng)頭里。以下是我在多個(gè)模擬項(xiàng)目X中反復(fù)踩過(guò)的硬核問(wèn)題每一條都附帶可立即驗(yàn)證的診斷命令和修復(fù)代碼。4.1 現(xiàn)象前 10 頁(yè)正常第 11 頁(yè)開始返回 403 Forbidden原因目標(biāo)站設(shè)置了請(qǐng)求頻率閾值如 10 次/分鐘且未校驗(yàn) User-Agent但通過(guò) IP 統(tǒng)計(jì)。你的循環(huán)請(qǐng)求過(guò)于密集觸發(fā)風(fēng)控。解決在循環(huán)內(nèi)添加隨機(jī)延時(shí)非固定 sleepThread.sleep(1000 new Random().nextInt(2000)); // 1~3 秒隨機(jī)停頓更優(yōu)方案使用ScheduledExecutorService控制 QPS ≤ 1ScheduledExecutorService scheduler Executors.newSingleThreadScheduledExecutor(); for (int i 1; i 100; i) { final int pageNum i; scheduler.schedule(() - fetchPage(pageNum), i * 1100, TimeUnit.MILLISECONDS); // 嚴(yán)格間隔 1.1 秒 }4.2 現(xiàn)象偶發(fā)性空白頁(yè)doc.body().text()為空但瀏覽器打開正常原因頁(yè)面包含 JavaScript 渲染邏輯如document.write()或 Vue 初始化jsoup 僅獲取原始 HTML未執(zhí)行 JS。解決優(yōu)先排查禁用瀏覽器 JS 后手動(dòng)訪問(wèn)該頁(yè)若同樣空白則確認(rèn)是 JS 渲染頁(yè) →jsoup 不適用需換 Puppeteer 或 Selenium若禁用 JS 后內(nèi)容可見則檢查是否因gzip響應(yīng)未解壓Connection conn Jsoup.connect(url) .header(Accept-Encoding, gzip, deflate) // 顯式聲明支持壓縮 .ignoreContentType(true); // 防止因 Content-Type 非 text/html 被丟棄4.3 現(xiàn)象第 1 頁(yè)能取到 20 條第 2 頁(yè)只取到 5 條且內(nèi)容明顯是第 1 頁(yè)的重復(fù)原因分頁(yè)參數(shù)未生效服務(wù)器忽略?page2始終返回第 1 頁(yè)數(shù)據(jù)。常見于URL 參數(shù)名錯(cuò)誤實(shí)際是p而非page需要同時(shí)傳start20和length20才生效前端通過(guò)修改window.history.pushState偽造分頁(yè)真實(shí)數(shù)據(jù)仍由首屏加載。解決用 curl 驗(yàn)證curl -s https://example.com/api/list?page2 | head -20對(duì)比page1響應(yīng)若響應(yīng)相同說(shuō)明后端未讀取該參數(shù) → 查看 Network 面板中真實(shí) XHR 請(qǐng)求的 URL 和參數(shù)4.4 現(xiàn)象doc.select(div.pagination .next).attr(href)取出的鏈接是/news?page2但拼接 baseURL 后 404原因href是相對(duì)路徑但當(dāng)前頁(yè)面 URL 是https://example.com/category/tech/而 base 標(biāo)簽被修改head base hrefhttps://example.com/ /head此時(shí)href/news?page2應(yīng)解析為https://example.com/news?page2而非https://example.com/category/tech/news?page2。解決使用 Jsoup 內(nèi)置的abs:href獲取絕對(duì) URLString nextUrl doc.select(div.pagination a.next).attr(abs:href); // ? 自動(dòng)根據(jù) base 和當(dāng)前 URL 計(jì)算絕對(duì)路徑若abs:href為空降級(jí)為doc.location() href需手動(dòng)處理//開頭的協(xié)議相對(duì) URL。4.5 現(xiàn)象爬取過(guò)程中某頁(yè)拋SocketTimeoutException后續(xù)所有頁(yè)均失敗原因Jsoup 默認(rèn)連接池復(fù)用一次超時(shí)可能導(dǎo)致連接處于半關(guān)閉狀態(tài)影響后續(xù)請(qǐng)求。解決每次請(qǐng)求顯式關(guān)閉連接雖 Jsoup 通常自動(dòng)管理但分頁(yè)場(chǎng)景下強(qiáng)烈建議Connection connection Jsoup.connect(url); try (Connection.Response response connection.execute()) { Document doc response.parse(); // 處理 doc } catch (SocketTimeoutException e) { System.err.println(第 pageNum 頁(yè)超時(shí)跳過(guò)); }或禁用連接池.maxBodySize(0).followRedirects(true)減少內(nèi)部狀態(tài)依賴。5. 反爬對(duì)抗與穩(wěn)定性加固把“能跑通”變成“能跑滿 1000 頁(yè)不掛”分頁(yè)爬取的終極挑戰(zhàn)不是語(yǔ)法而是生存。當(dāng)你的腳本要穩(wěn)定運(yùn)行數(shù)小時(shí)、覆蓋上千頁(yè)時(shí)“能跑通”只是起點(diǎn)“不被封、不丟數(shù)、不誤判”才是交付標(biāo)準(zhǔn)。這里不講理論只列我在線上環(huán)境驗(yàn)證過(guò)的四條硬核技巧。5.1 User-Agent 輪詢告別“同一個(gè)指紋刷 1000 次”固定 UA 是風(fēng)控第一線索。真實(shí)用戶瀏覽器 UA 極其多樣而爬蟲 UA 往往千篇一律。解決方案不是隨機(jī)生成而是輪詢一個(gè)高質(zhì)量 UA 池private static final ListString USER_AGENTS Arrays.asList( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Version/17.2 Safari/537.36, Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/110.0 ); private static String getNextUA() { int index (int) (Math.random() * USER_AGENTS.size()); return USER_AGENTS.get(index); } // 在每次請(qǐng)求中使用 Connection conn Jsoup.connect(url) .userAgent(getNextUA()) .header(Accept-Language, zh-CN,zh;q0.9,en;q0.8);為什么不用 Math.random() 每次生成因?yàn)殡S機(jī)生成的 UA 字符串格式易被識(shí)別為機(jī)器生成如版本號(hào)亂序、平臺(tái)組合荒謬。輪詢真實(shí) UA 池通過(guò)了 99% 的基礎(chǔ) UA 校驗(yàn)。5.2 HTTP 狀態(tài)碼分級(jí)響應(yīng)策略別讓 429 成為靜默失敗很多網(wǎng)站對(duì)高頻請(qǐng)求返回 429 Too Many Requests但 jsoup 默認(rèn)不拋異常response.statusCode()為 429 時(shí)response.parse()仍會(huì)返回一個(gè)空 Document導(dǎo)致數(shù)據(jù)丟失卻無(wú)提示。Connection.Response response Jsoup.connect(url) .userAgent(getNextUA()) .execute(); int statusCode response.statusCode(); if (statusCode 200) { Document doc response.parse(); // 正常處理 } else if (statusCode 429) { // ?? 關(guān)鍵遇到 429指數(shù)退避重試 long backoff (long) Math.pow(2, retryCount) * 1000; // 1s, 2s, 4s... Thread.sleep(backoff new Random().nextInt(1000)); return fetchPageWithRetry(url, retryCount 1); // 遞歸重試 } else if (statusCode 400 statusCode 500) { // 客戶端錯(cuò)誤大概率是參數(shù)問(wèn)題記錄后跳過(guò) log.warn(Client error {} on {}: {}, statusCode, url, response.statusMessage()); return Collections.emptyList(); } else { throw new IOException(Unexpected status statusCode on url); }5.3 分頁(yè)進(jìn)度持久化斷點(diǎn)續(xù)爬不是功能是剛需爬 1000 頁(yè)耗時(shí)數(shù)小時(shí)期間網(wǎng)絡(luò)抖動(dòng)、機(jī)器重啟、代碼異常都會(huì)導(dǎo)致前功盡棄。必須將“當(dāng)前頁(yè)碼”寫入磁盤private static final Path PROGRESS_FILE Paths.get(crawl_progress.txt); // 保存當(dāng)前進(jìn)度 private static void saveProgress(int currentPage) throws IOException { Files.write(PROGRESS_FILE, String.valueOf(currentPage).getBytes()); } // 恢復(fù)進(jìn)度 private static int loadProgress() { try { String s Files.readString(PROGRESS_FILE); return Integer.parseInt(s.trim()); } catch (IOException | NumberFormatException e) { return 1; // 默認(rèn)從第 1 頁(yè)開始 } } // 主循環(huán) int startPage loadProgress(); for (int i startPage; i 1000; i) { try { fetchAndSavePage(i); saveProgress(i); // 每成功一頁(yè)立即落盤 } catch (Exception e) { log.error(Failed to fetch page {}, i, e); // 不中斷循環(huán)繼續(xù)下一頁(yè) } }血淚教訓(xùn)saveProgress(i)必須放在fetchAndSavePage(i)之后、catch之前。曾因?qū)懺趖ry塊末尾某頁(yè)抓取成功但保存進(jìn)度失敗重啟后重復(fù)抓取該頁(yè)導(dǎo)致數(shù)據(jù)庫(kù)主鍵沖突。5.4 結(jié)果驗(yàn)證用“交叉比對(duì)”代替“信任響應(yīng)”最后一道防線不輕信單頁(yè)響應(yīng)。對(duì)關(guān)鍵字段做跨頁(yè)一致性校驗(yàn)。例如新聞發(fā)布時(shí)間應(yīng)隨頁(yè)碼遞增ListLocalDateTime timestamps new ArrayList(); for (int i 1; i 100; i) { Document page Jsoup.connect(getPageUrl(i)).get(); Elements times page.select(span.date); for (Element timeEl : times) { LocalDateTime t parseTime(timeEl.text()); // 自定義解析函數(shù) timestamps.add(t); } } // 檢查是否整體遞增允許同秒內(nèi)多條但不允許倒序 for (int j 1; j timestamps.size(); j) { if (timestamps.get(j).isBefore(timestamps.get(j-1))) { System.err.printf(? 時(shí)間戳倒序第 %d 個(gè)時(shí)間 %s 小于前一個(gè) %s%n, j, timestamps.get(j), timestamps.get(j-1)); break; } }從那以后我每次啟動(dòng)分頁(yè)任務(wù)都強(qiáng)制走一遍這四步UA 輪詢初始化、429 退避邏輯注入、進(jìn)度文件存在性校驗(yàn)、首末頁(yè)時(shí)間戳快照比對(duì)。少走一次就可能多修兩小時(shí)的半夜告警。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取