1. 先搞清楚Selenium到底能解決什么問(wèn)題做網(wǎng)頁(yè)自動(dòng)化Python 配上 Selenium 是我個(gè)人覺(jué)得最穩(wěn)妥的組合之一。簡(jiǎn)單說(shuō)Selenium 是一套模擬真實(shí)瀏覽器操作的框架它能驅(qū)動(dòng) Chrome、Firefox、Edge 這些瀏覽器像真人一樣打開(kāi)頁(yè)面、點(diǎn)擊按鈕、填寫(xiě)表單、滾動(dòng)屏幕、讀取數(shù)據(jù)。對(duì)于重復(fù)性的網(wǎng)頁(yè)操作比如每天固定時(shí)間到某個(gè)系統(tǒng)里拉取報(bào)表、批量注冊(cè)測(cè)試賬號(hào)、巡檢線(xiàn)上頁(yè)面是否正常用 Selenium 能省下大量人工時(shí)間。這套方案適合誰(shuí)如果你正在做 Python 爬蟲(chóng)、自動(dòng)化測(cè)試、或者想把手頭重復(fù)的網(wǎng)頁(yè)操作腳本化這篇文章就是圍繞這套鏈路展開(kāi)的。我會(huì)按實(shí)際動(dòng)手的順序來(lái)寫(xiě)先講清楚選型思路再講環(huán)境怎么搭、核心操作怎么寫(xiě)然后重點(diǎn)說(shuō)等待機(jī)制這個(gè)最容易翻車(chē)的地方最后把常見(jiàn)的坑列成清單方便你直接對(duì)照排查。讀完之后你至少能獨(dú)立寫(xiě)出一套可復(fù)用的 Selenium 自動(dòng)化腳本而不是停留在跑通 Demo的階段。需要先說(shuō)明一點(diǎn)Selenium 是公開(kāi)的正規(guī)自動(dòng)化測(cè)試工具用來(lái)做自己負(fù)責(zé)的網(wǎng)站測(cè)試、數(shù)據(jù)采集、內(nèi)部系統(tǒng)自動(dòng)化都完全沒(méi)問(wèn)題。但如果你打算拿它去繞過(guò)某個(gè)網(wǎng)站的訪(fǎng)問(wèn)限制請(qǐng)一定先確認(rèn)對(duì)方的服務(wù)條款合規(guī)使用永遠(yuǎn)是前提。2. 選型思路為什么是 Selenium 而不是別的方案2.1 對(duì)比 Playwright、Pyppeteer 該怎么選很多新手一上來(lái)就問(wèn)Selenium 是不是過(guò)時(shí)了。其實(shí)這個(gè)判斷要看場(chǎng)景。Playwright 和 Pyppeteer 在性能、API 設(shè)計(jì)上確實(shí)更現(xiàn)代但 Selenium 有一個(gè)別人替代不了的優(yōu)勢(shì)生態(tài)成熟。WebDriver 協(xié)議是老牌標(biāo)準(zhǔn)絕大多數(shù)的自動(dòng)化測(cè)試平臺(tái)、云測(cè)服務(wù)、CI 流程都對(duì) Selenium 有原生支持。如果你要對(duì)接企業(yè)內(nèi)部的測(cè)試平臺(tái)或者團(tuán)隊(duì)里其他人都在用 Java/Selenium你這邊用 PythonSelenium 能無(wú)縫協(xié)作。性能方面Selenium 4 引入了相對(duì)定位器Relative Locator和全新的元素等待策略說(shuō)實(shí)話(huà)已經(jīng)沒(méi)以前那么笨重了。我自己在維護(hù)一個(gè)每日巡檢腳本管理著 30 多個(gè)頁(yè)面Selenium 4 跑下來(lái)比舊版穩(wěn)定得多。所以我的建議是做功能測(cè)試、和企業(yè)平臺(tái)集成選 Selenium做輕量數(shù)據(jù)采集、追求渲染速度可以考慮 Playwright。但如果你剛開(kāi)始學(xué)Selenium 依然是入門(mén)性?xún)r(jià)比最高的選擇資料多、問(wèn)題容易搜到。2.2 Selenium 4 對(duì)比舊版的幾個(gè)關(guān)鍵變化早期版本大家最頭疼的就是等待問(wèn)題所以才會(huì)流行各種自定義的 WebDriverWait 封裝。Selenium 4 把很多功能內(nèi)置了比如相對(duì)定位器可以用above()、below()、to_left_of()這類(lèi)方法基于某個(gè)參考元素去找附近元素定位組合復(fù)雜的 UI 時(shí)特別有用。新窗口管理driver.switch_to.new_window()直接開(kāi)新 Tab不用再靠 JavaScript 模擬。更規(guī)范的 Shadow DOM 支持穿透自定義組件的內(nèi)部結(jié)構(gòu)方便多了。如果你在舊教程里看到find_element_by_id()這種寫(xiě)法那已經(jīng)廢棄了。現(xiàn)在統(tǒng)一用driver.find_element(By.ID, xxx)這點(diǎn)要提前適應(yīng)否則照著老代碼抄會(huì)直接報(bào)錯(cuò)。3. 環(huán)境搭建Python、Selenium 和 Driver 三板斧3.1 安裝與版本對(duì)應(yīng)關(guān)系先確保本機(jī)裝好了 Python 3.8 以上的版本。官網(wǎng)下載安裝包之后安裝時(shí)記得勾選 Add Python to PATH這一步省掉后面大量找不到 python 命令的麻煩。裝好后打開(kāi)命令行驗(yàn)證python --version pip --version然后裝 Seleniumpip install selenium這里要專(zhuān)門(mén)說(shuō)下 Driver 的問(wèn)題。Selenium 本質(zhì)是通過(guò) WebDriver 協(xié)議和瀏覽器通信所以光裝庫(kù)還不夠得下載一個(gè)和瀏覽器版本精確對(duì)應(yīng)的驅(qū)動(dòng)。比如你用的是 Chrome 120.0.6099.130那 chromedriver 也必須匹配這個(gè)版本號(hào)差一個(gè)版本都可能啟動(dòng)失敗。我在 windows 上習(xí)慣用webdriver-manager這個(gè)庫(kù)來(lái)自動(dòng)管理驅(qū)動(dòng)版本幾條命令就能搞定pip install webdriver-managerfrom selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager driver webdriver.Chrome(serviceService(ChromeDriverManager().install()))這個(gè)庫(kù)會(huì)自動(dòng)檢測(cè)當(dāng)前 Chrome 版本、下載對(duì)應(yīng)驅(qū)動(dòng)并緩存到本地。實(shí)測(cè)下來(lái)省了非常多的手工維護(hù)成本。Linux 服務(wù)器上同理只要提前裝好 Chromium 或用 Chrome都能自動(dòng)匹配。3.2 顯式配置瀏覽器選項(xiàng)啟動(dòng)瀏覽器時(shí)我建議一開(kāi)始就把常用配置寫(xiě)好否則后面調(diào)試時(shí)來(lái)回改很耽誤事。一個(gè)比較完整的啟動(dòng)模板長(zhǎng)這樣from selenium import webdriver from selenium.webdriver.chrome.options import Options options Options() options.add_argument(--start-maximized) # 窗口最大化 options.add_experimental_option(detach, True) # 腳本結(jié)束不自動(dòng)關(guān)瀏覽器 options.add_experimental_option(excludeSwitches, [enable-automation]) # 去掉自動(dòng)化提示條 driver webdriver.Chrome(optionsoptions) driver.get(https://example.com)啟動(dòng)成功后打開(kāi)目標(biāo)頁(yè)面用driver.page_source或直接driver.save_screenshot(home.png)驗(yàn)證一下頁(yè)面確實(shí)加載出來(lái)了。跑通這一步你的環(huán)境就算立住了。4. 元素定位與核心交互實(shí)操4.1 八種定位方式怎么選Selenium 提供了 8 種元素定位方式但實(shí)際項(xiàng)目中絕大多數(shù)都只需要掌握 4 種ID、CSS 選擇器、XPath、鏈接文本。定位策略的選擇直接影響腳本的穩(wěn)定性我一般按這個(gè)優(yōu)先級(jí)來(lái)有id優(yōu)先用By.ID這是最穩(wěn)定的方式因?yàn)?ID 在頁(yè)面里通常是唯一的。沒(méi)有id就考慮By.CSS_SELECTOR性能好、語(yǔ)法簡(jiǎn)潔。當(dāng)元素沒(méi)有明顯 class 或 id但能通過(guò)頁(yè)面結(jié)構(gòu)描述出唯一路徑時(shí)用By.XPATH。如果是定位超鏈接文字By.LINK_TEXT和By.PARTIAL_LINK_TEXT很直觀。一個(gè)非常常見(jiàn)的錯(cuò)誤是新手用絕對(duì) XPath比如//html/body/div[1]/div[2]/form/input。這種寫(xiě)法只要前端加一層 div 就崩了。我個(gè)人的習(xí)慣是盡量用相對(duì)路徑配合屬性和文本組合定位# 推薦通過(guò) input 的 name 屬性和父級(jí)表單鎖定 username driver.find_element(By.XPATH, //form[idloginForm]//input[nameusername]) # 推薦文本定位按鈕 submit_btn driver.find_element(By.XPATH, //button[contains(text(),登錄)])4.2 表單填寫(xiě)、點(diǎn)擊與滾動(dòng)排除定位之外第二類(lèi)核心操作是交互。填輸入框、點(diǎn)按鈕、滾動(dòng)頁(yè)面這三件事覆蓋了絕大多數(shù)場(chǎng)景from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys # 輸入文本 search_box driver.find_element(By.ID, kw) search_box.send_keys(Python Selenium) search_box.send_keys(Keys.ENTER) # 點(diǎn)擊 driver.find_element(By.ID, submit).click() # 滾動(dòng)到頁(yè)面底部 driver.execute_script(window.scrollTo(0, document.body.scrollHeight);) # 將一個(gè)元素滾動(dòng)到可視區(qū)域再操作 target driver.find_element(By.ID, result) driver.execute_script(arguments[0].scrollIntoView(true);, target)關(guān)于selenium 網(wǎng)頁(yè)左右滑動(dòng)這種常見(jiàn)需求本質(zhì)就是橫向滾動(dòng)容器。頁(yè)面里經(jīng)常有橫向滾動(dòng)的輪播圖或數(shù)據(jù)表格此時(shí)不能用window.scrollTo得對(duì)具體的容器元素執(zhí)行滾動(dòng)# 容器里橫向滑動(dòng)找到滾動(dòng)的 div修改其 scrollLeft carousel driver.find_element(By.CLASS_NAME, carousel-viewport) driver.execute_script(arguments[0].scrollLeft 500;, carousel)如果要做橫向滑動(dòng)后判斷某個(gè)元素是否可見(jiàn)可以用is_element_clickable或者element.location_once_scrolled_into_view來(lái)輔助判斷。處理這類(lèi)橫向滾動(dòng)容器時(shí)腳本執(zhí)行 JS 是最省事的Selenium 自帶的ActionChains拖拽反而容易因?yàn)檫吔鐥l件失控。還有個(gè)我踩過(guò)的坑click()有時(shí)會(huì)因?yàn)樵乇徽趽醵鴪?bào)ElementClickInterceptedException。這不是定位寫(xiě)錯(cuò)了而是頁(yè)面前端有彈層或固定導(dǎo)航欄蓋住了目標(biāo)。解決方式是先讓元素滾動(dòng)到可視區(qū)域再直接用 JS 點(diǎn)擊兜底driver.execute_script(arguments[0].click();, element)JS 點(diǎn)擊繞過(guò)了一層模擬點(diǎn)擊檢查在自動(dòng)化測(cè)試自己的網(wǎng)站時(shí)作為兜底方案非常管用。5. 等待機(jī)制自動(dòng)化腳本的隱形命門(mén)5.1 為什么強(qiáng)制等待是最差解很多腳本剛開(kāi)始寫(xiě)的時(shí)候都能跑過(guò)幾天就莫名其妙報(bào)NoSuchElementException。原因幾乎都是頁(yè)面還沒(méi)加載完代碼就去找元素了。最簡(jiǎn)單的解決辦法是time.sleep(3)但它有三個(gè)問(wèn)題一是固定死等頁(yè)面 1 秒加載完也照樣白等 2 秒二是網(wǎng)絡(luò)慢時(shí) 3 秒又不夠三是腳本整體時(shí)間被拖得很長(zhǎng)。所以強(qiáng)制等待只能用來(lái)臨時(shí)調(diào)試不能當(dāng)主力方案。正確做法是用 Selenium 的顯式等待。它會(huì)在指定時(shí)間內(nèi)反復(fù)檢測(cè)某個(gè)條件直到條件滿(mǎn)足或超時(shí)。理解成等人等到出現(xiàn)為止而不是數(shù)完 3 秒再說(shuō)from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait WebDriverWait(driver, 10) login_button wait.until(EC.element_to_be_clickable((By.ID, loginBtn))) login_button.click()ec.element_to_be_clickable是個(gè)高頻使用的條件它同時(shí)檢查元素是否存在、是否可見(jiàn)、是否可點(diǎn)擊比presence_of_element_located更嚴(yán)格也更符合實(shí)際點(diǎn)擊場(chǎng)景。5.2 顯式等待和隱式等待別混用除了顯式等待Selenium 還提供implicitly_wait()它表示全局輪詢(xún)時(shí)間——每找一個(gè)元素最長(zhǎng)等待 N 秒。這兩個(gè)機(jī)制可以共存但我強(qiáng)烈建議不要混用因?yàn)樗鼈兊讓佑?jì)時(shí)邏輯疊加后會(huì)讓某些失敗用例的等待時(shí)間變成兩個(gè)等待時(shí)間相乘排查起來(lái)非常痛苦。我個(gè)人的習(xí)慣是只用顯式等待配合等待條件的封裝。經(jīng)驗(yàn)之談公共函數(shù)里把等待邏輯抽成一層比如下面這種def wait_and_click(driver, locator, timeout10): element WebDriverWait(driver, timeout).until( EC.element_to_be_clickable(locator) ) element.click() return element后面所有腳本都用這同一個(gè)函數(shù)遇到彈窗、校驗(yàn)、異常按鈕統(tǒng)一在這里補(bǔ)充處理邏輯維護(hù)面就一個(gè)文件。寫(xiě)了三年自動(dòng)化我最大的體會(huì)就是自動(dòng)化腳本的穩(wěn)定性不是靠定位技巧堆出來(lái)的是靠統(tǒng)一的等待策略撐起來(lái)的。6. 實(shí)際項(xiàng)目中的完整流程與踩坑記錄6.1 一套完整的登錄加數(shù)據(jù)采集腳本把前面這些東西串起來(lái)給你看一個(gè)我在實(shí)際項(xiàng)目中常用的骨架。任務(wù)是每天登錄一個(gè)內(nèi)部系統(tǒng)、按條件查詢(xún)、抓取表格數(shù)據(jù)并寫(xiě)入 Excelimport time import pandas as pd from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options webdriver.ChromeOptions() # 后臺(tái)運(yùn)行配置適合部署到服務(wù)器定時(shí)執(zhí)行 options.add_argument(--headless) options.add_argument(--no-sandbox) options.add_argument(--disable-dev-shm-usage) driver webdriver.Chrome(optionsoptions) try: driver.get(https://your-internal-system.com/login) wait WebDriverWait(driver, 10) # 登錄 wait.until(EC.presence_of_element_located((By.ID, username))).send_keys(your_account) driver.find_element(By.ID, password).send_keys(your_password) driver.find_element(By.ID, loginBtn).click() # 等待登錄完成進(jìn)入列表頁(yè) wait.until(EC.url_contains(dashboard)) # 滾動(dòng)加載全部數(shù)據(jù) last_height driver.execute_script(return document.body.scrollHeight) while True: driver.execute_script(window.scrollTo(0, document.body.scrollHeight);) time.sleep(1) new_height driver.execute_script(return document.body.scrollHeight) if new_height last_height: break last_height new_height # 提取表格數(shù)據(jù) rows driver.find_elements(By.XPATH, //table[iddataTable]/tbody/tr) data [] for row in rows: cells row.find_elements(By.TAG_NAME, td) data.append([cell.text for cell in cells]) df pd.DataFrame(data) df.to_excel(daily_report.xlsx, indexFalse) print(數(shù)據(jù)寫(xiě)入完成共, len(data), 行) finally: driver.quit()這里有幾個(gè)細(xì)節(jié)要說(shuō)明time.sleep(1)在滾動(dòng)循環(huán)里是必要的它不是在等元素出現(xiàn)而是給頁(yè)面一個(gè)渲染緩沖無(wú)限滾動(dòng)到底的判斷用的是頁(yè)面高度不再變化這個(gè)方案對(duì)大多數(shù)滾動(dòng)加載都有效。finally里的driver.quit()必須有否則瀏覽器進(jìn)程殘留在后臺(tái)堆積跑幾次服務(wù)器內(nèi)存就被吃光了。6.2 常見(jiàn)問(wèn)題速查表我把自己踩過(guò)并且高頻出現(xiàn)在各種提問(wèn)里的問(wèn)題整理成了一張表方便你直接對(duì)照?qǐng)?bào)錯(cuò)信息常見(jiàn)原因解決方向ModuleNotFoundError: No module named selenium沒(méi)裝庫(kù)或用錯(cuò) Python 環(huán)境pip install selenium并檢查當(dāng)前解釋器路徑SessionNotCreatedExceptionDriver 與瀏覽器版本不匹配用 webdriver-manager 自動(dòng)匹配N(xiāo)oSuchElementException元素未加載或定位路徑錯(cuò)誤加顯式等待改相對(duì)定位ElementClickInterceptedException元素被其他層遮擋scrollIntoView JS 點(diǎn)擊兜底TimeoutException等待條件未滿(mǎn)足先手動(dòng)在瀏覽器里驗(yàn)證元素是否存在腳本正常但數(shù)據(jù)不全頁(yè)面是懶加載或有分頁(yè)模擬滾動(dòng)到底或循環(huán)點(diǎn)擊下一頁(yè)無(wú)頭模式下拿不到數(shù)據(jù)某些站點(diǎn)對(duì) headless 有差異先用有頭模式寫(xiě)出穩(wěn)定腳本再切無(wú)頭驗(yàn)證6.3 關(guān)于自動(dòng)化被站點(diǎn)特征識(shí)別這件事這里要單獨(dú)說(shuō)一句。現(xiàn)在很多站點(diǎn)的前端會(huì)檢查當(dāng)前瀏覽器是否由自動(dòng)化工具驅(qū)動(dòng)比如判斷navigator.webdriver屬性、檢查瀏覽器啟動(dòng)參數(shù)等Selenium 默認(rèn)啟動(dòng)時(shí)會(huì)暴露這些特征。對(duì)于正常的測(cè)試和生產(chǎn)環(huán)境我一般通過(guò)調(diào)整啟動(dòng)參數(shù)來(lái)降低誤報(bào)概率例如關(guān)閉自動(dòng)化提示條就是其中一步。但更重要的是如果你的目標(biāo)網(wǎng)站明確禁止自動(dòng)化訪(fǎng)問(wèn)或者有登錄協(xié)議限制那就不要強(qiáng)行繞過(guò)。技術(shù)能力是用來(lái)解決正當(dāng)問(wèn)題的不是用來(lái)對(duì)抗服務(wù)條款的。合規(guī)采集、在自己負(fù)責(zé)的系統(tǒng)上做自動(dòng)化測(cè)試才是這套工具的正確打開(kāi)方式。我處理過(guò)的多數(shù)真實(shí)需求其實(shí)只要模擬正常的瀏覽器指紋行為和合理的訪(fǎng)問(wèn)頻率根本不需要做任何對(duì)抗性操作。7. 進(jìn)階技巧與維護(hù)心得7.1 處理 iframe、多窗口和上傳下載網(wǎng)頁(yè)自動(dòng)化繞不開(kāi)幾個(gè)特殊場(chǎng)景。第一個(gè)是 iframe元素明明在頁(yè)面上但就是定位不到大概率是因?yàn)樗?iframe 里。處理方式很簡(jiǎn)單先切進(jìn) iframe操作完再切回主文檔frame driver.find_element(By.XPATH, //iframe[idcontentFrame]) driver.switch_to.frame(frame) # 操作 iframe 內(nèi)部元素 driver.find_element(By.ID, innerBtn).click() driver.switch_to.default_content()第二個(gè)是多窗口。點(diǎn)擊某個(gè)鏈接開(kāi)了新 Tab但 Selenium 仍然停留在舊窗口。正確的流程是記錄當(dāng)前窗口句柄、點(diǎn)開(kāi)新窗口、切換過(guò)去base_window driver.current_window_handle driver.find_element(By.LINK_TEXT, 打開(kāi)新窗口).click() for handle in driver.window_handles: if handle ! base_window: driver.switch_to.window(handle) break第三個(gè)是上傳文件。標(biāo)準(zhǔn)的上傳控件直接給send_keys傳本地文件路徑就行不需要模擬點(diǎn)擊文件選擇框driver.find_element(By.XPATH, //input[typefile]).send_keys(C:\\data\\test.xlsx)7.2 讓腳本真正能長(zhǎng)期跑的幾條經(jīng)驗(yàn)?zāi)_本寫(xiě)完能跑一天不算本事能穩(wěn)定跑三個(gè)月才是。在這個(gè)過(guò)程中我最受益的幾個(gè)經(jīng)驗(yàn)日志先行在關(guān)鍵步驟加print或?qū)懭肴罩疚募?bào)錯(cuò)時(shí)能直接看到卡在哪一步。失敗要留證據(jù)except里加上driver.save_screenshot()和當(dāng)前頁(yè)面 HTML排查問(wèn)題比看堆?？斓枚唷６〞r(shí)任務(wù)注意會(huì)話(huà)用 cron 或計(jì)劃任務(wù)跑腳本時(shí)避免把瀏覽器配置得太特殊無(wú)頭模式加超時(shí)重試是標(biāo)配。頁(yè)面改版后第一件事是改定位器前端一改版最穩(wěn)定的 ID 都可能失效。平時(shí)就把定位器抽到獨(dú)立的配置文件里改版時(shí)集中更新不用翻整個(gè)腳本。我個(gè)人在實(shí)際操作中最常用到的一個(gè)小技巧是先打開(kāi)瀏覽器開(kāi)發(fā)者工具在 Console 里測(cè)試一下 XPath 或 CSS 選擇器是否能唯一選中目標(biāo)元素。用document.querySelector驗(yàn)證 CSS用$x()驗(yàn)證 XPath確認(rèn)無(wú)誤后再寫(xiě)進(jìn) Selenium 腳本。這一步能省掉大量的跑一遍腳本發(fā)現(xiàn)定位失敗的時(shí)間。這套工具鏈的擴(kuò)展空間也很大。我后續(xù)就把這塊自動(dòng)化的數(shù)據(jù)接入到了內(nèi)部的定時(shí)任務(wù)系統(tǒng)里每天凌晨自動(dòng)跑完報(bào)表再配合 pandas 做簡(jiǎn)單清洗后通過(guò)企業(yè)微信機(jī)器人推送結(jié)果。整個(gè)過(guò)程從人工操作十幾分鐘壓縮到全自動(dòng)一到兩分鐘。你要做的就是先把環(huán)境搭起來(lái)、把前幾節(jié)的骨架跑通然后針對(duì)自己的頁(yè)面一點(diǎn)一點(diǎn)把邏輯補(bǔ)完整。自動(dòng)化腳本的價(jià)值往往就是從解決第一個(gè)重復(fù)勞動(dòng)開(kāi)始積累起來(lái)的。