:關(guān)鍵字驅(qū)動與持續(xù)集成)
Robot Framework簡稱 RF是一個基于 Python 實現(xiàn)的關(guān)鍵字驅(qū)動自動化測試框架。它最大的特點不是“寫代碼”而是把測試用例拆成“關(guān)鍵字組合”讓測試計劃和測試執(zhí)行基本共用同一種語言。不管是 Web UI 自動化、接口回歸、移動端 App 測試還是數(shù)據(jù)庫校驗和 RPA 流程RF 都能當(dāng)成一個通用的自動化測試框架來用。這篇文章就基于我實際項目里的使用經(jīng)歷拆開講講為什么選它、怎么落地、有哪些坑以及怎么讓它跑得又穩(wěn)又快。1. 先聊方案選型為什么是 Robot Framework 而不是寫一堆 Selenium 腳本1.1 它解決的到底是什么問題很多測試團(tuán)隊最初做 UI 自動化時首選就是 Selenium WebDriver 寫 Python 腳本。但項目變大以后腳本數(shù)量膨脹問題會集中爆發(fā)沒有人愿意讀一大段driver.find_element的重復(fù)代碼用例和代碼耦合得太緊業(yè)務(wù)人員根本沒法參與回歸一次要維護(hù)幾十個腳本改一個定位方式要把所有引用它的腳本翻一遍。RF 解決的核心問題就是把“測試設(shè)計”和“代碼實現(xiàn)”拆開。測試用例層面不再關(guān)心元素定位、瀏覽器操作這些細(xì)節(jié)只描述“我要做什么”真正的實現(xiàn)細(xì)節(jié)被封裝成關(guān)鍵字放進(jìn)測試庫里。這等于給團(tuán)隊搭了一條生產(chǎn)線業(yè)務(wù)人員寫“工序”會寫代碼的人維護(hù)“工具”。這種關(guān)鍵字驅(qū)動模式配合數(shù)據(jù)驅(qū)動和標(biāo)簽分組能覆蓋端到端測試、驗收測試、數(shù)據(jù)校驗這些典型場景。還有一個隱性收益RF 的測試用例是表格樣式的文本天然適合評審。比如登錄場景用例直接用自然語言列出“打開登錄頁、輸入賬號、輸入密碼、點擊登錄、斷言跳轉(zhuǎn)成功”產(chǎn)品經(jīng)理也能看懂哪些場景被覆蓋了。1.2 和 pytest、原生 Selenium 相比它贏在哪pytest 是很優(yōu)秀的框架但它的形態(tài)是純代碼。同樣是斷言、fixture、參數(shù)化pytest 需要寫 Python 函數(shù)和裝飾器這對純測試背景、不太寫代碼的同事來說有門檻。RF 把這一層包裝成了聲明式的表格語法pytest 里一個登錄參數(shù)化用例需要pytest.mark.parametrize和斷言代碼RF 里用[Template]加一條關(guān)鍵字就能實現(xiàn)類似效果。pytest 的報告要額外集成 pytest-html 或 allureRF 自帶output.xml、log.html、report.html三件套執(zhí)行完直接打開就能看到每一步的耗時和截圖。pytest 的 fixture 作用域靠嵌套理解成本高RF 的Suite Setup、Test Setup、Test Teardown一眼就能看明白。當(dāng)然這不是說 RF 能替代 pytest。pytest 在單元測試領(lǐng)域、復(fù)雜斷言邏輯、和大規(guī)模代碼庫集成上更靈活。RF 的強(qiáng)項是端到端、驗收、回歸這類“場景驅(qū)動”的測試它的核心競爭力是讓非開發(fā)人員能看懂用例、參與用例設(shè)計。1.3 哪些場景千萬不要強(qiáng)行用它沒有萬能框架RF 也有明確的能力邊界。我建議在下面這些情況直接放棄 RF對復(fù)雜算法、數(shù)據(jù)處理邏輯做單元測試性能要求高的斷言場景用 pytest 或 JUnit 更合適。需要測試內(nèi)部類、私有方法的底層單元測試RF 的封裝反而成為障礙。萬級并發(fā)性能測試RF 做不了交給 Locust 或 JMeter。團(tuán)隊全員都是資深開發(fā)且已經(jīng)有一套沉淀了很久的 pytest 框架沒必要為了“統(tǒng)一”把棧推倒重來。判斷標(biāo)準(zhǔn)其實很簡單如果你要測試的對象是“業(yè)務(wù)邏輯和用戶流程”RF 很合適如果測試對象是“函數(shù)內(nèi)部的正確性”別用 RF。2. 理解這套框架先抓住它的骨架2.1 三層模型測試庫、關(guān)鍵字、測試用例RF 的設(shè)計核心可以拆成三層測試庫Library提供底層能力比如SeleniumLibrary提供瀏覽器操作RequestsLibrary提供 HTTP 請求這是“工具箱”。關(guān)鍵字Keyword由測試庫里的方法包裝成用戶可讀的動詞比如“打開瀏覽器”“輸入賬號”“點擊登錄”這是“操作手”。測試用例Test Case把關(guān)鍵字按業(yè)務(wù)順序排列加上斷言這是“生產(chǎn)線”。一個最小用例長這樣*** Settings *** Library SeleniumLibrary *** Test Cases *** 打開站點并驗證標(biāo)題 Open Browser https://example.com chrome Title Should Be 示例站點 Close Browser在這個用例里Open Browser是 SeleniumLibrary 提供的關(guān)鍵字Title Should Be是內(nèi)建斷言關(guān)鍵字。你不需要關(guān)心底層怎么實例化 WebDriver只要告訴它“打開、斷言、關(guān)閉”。這層抽象的意義在于底層庫換了用例不用動。比如某天你想從 Selenium 切到 Playwright只要換一個測試庫重新封裝一套同名關(guān)鍵字用例層基本不受影響。2.2 變量、變量文件和作用域切環(huán)境的正確姿勢RF 的變量有三種形態(tài)標(biāo)量變量${var}表示單個值是最常用的。列表變量{list}表示一組值適合循環(huán)。字典變量{dict}表示鍵值對適合傳配置。我強(qiáng)烈建議所有環(huán)境相關(guān)配置不要直接寫在用例里而是放到變量文件或者命令行。例如*** Variables *** ${BASE_URL} https://staging.example.com ${BROWSER} chrome *** Test Cases *** 打開首頁 Open Browser ${BASE_URL} ${BROWSER}運行的時候可以用--variable覆蓋robot --variable BASE_URL:https://production.example.com tests/這樣做的好處很直接同一套用例測測試環(huán)境和生產(chǎn)環(huán)境只改變量不碰用例。更復(fù)雜的做法是用變量文件按環(huán)境分目錄比如env/dev.yaml、env/staging.yaml通過命令行參數(shù)指定加載哪份配置。2.3 報告體系log.html 是排查問題的主戰(zhàn)場RF 每跑完一次默認(rèn)生成三個文件output.xml機(jī)器可讀的原始結(jié)果適合 CI 系統(tǒng)解析。log.html每個步驟、每個關(guān)鍵字的調(diào)用過程、參數(shù)、耗時、截圖是排查問題的主戰(zhàn)場。report.html整個套件的匯總視圖展示通過失敗率、耗時分布。實際項目里我?guī)缀踔欢⒅鴏og.html看。因為它記錄了每條用例每個關(guān)鍵字的具體執(zhí)行情況甚至關(guān)鍵字內(nèi)部的運行軌跡。SeleniumLibrary 失敗時還會自動把瀏覽器截圖嵌到 log 里反正一句話排查問題先看 log。如果只想重新生成報告而不重跑用例可以用rebotrebot --name 回歸報告 output.xml這在 CI 里特別實用可以先用--dryrun收集結(jié)果再統(tǒng)一生成漂亮報告。2.4 標(biāo)簽、執(zhí)行策略和套件組織RF 支持給用例打標(biāo)簽這是組織用例規(guī)模和做選擇執(zhí)行的關(guān)鍵武器。*** Test Cases *** 用戶登錄成功 [Tags] smoke login regression ... 用戶登錄失敗 [Tags] regression login ...跑用例時可以精準(zhǔn)選擇robot --include smoke tests/ robot --exclude regression tests/ robot --include login --exclude smoke tests/這種標(biāo)簽設(shè)計的好處在于做冒煙測試時不必把整個回歸套件跑一遍同時如果有某個功能掛了可以直接用標(biāo)簽鎖定相關(guān)用例快速復(fù)現(xiàn)。套件還可以按目錄組織每個目錄下的__init__.robot可以設(shè)置該套件級別的 Setup 和 Teardown相當(dāng)于公共前置后置。3. 從零跑通你的第一個 Web UI 自動化用例3.1 安裝與前置準(zhǔn)備環(huán)境準(zhǔn)備分為三步按順序來pip install robotframework pip install robotframework-seleniumlibrary pip install webdriver-managerRF 本身只依賴 Python版本建議 3.8 以上。robotframework-seleniumlibrary是 Web 測試的官方推薦庫。但 Selenium 還需要瀏覽器驅(qū)動WebDriver 要和瀏覽器版本嚴(yán)格對應(yīng)這個最容易踩坑。我的建議是不要手動下載 driver直接用webdriver-manager自動處理版本匹配。如果你不想用這個庫也可以手動下載 ChromeDriver 后把路徑加到 PATH 里。驗證安裝是否成功在命令行執(zhí)行robot --version python -m robot --version能輸出版本號就說明核心安裝沒問題。隨后用瀏覽器打開任意一個頁面比如打開https://example.com確認(rèn)驅(qū)動能正常拉起瀏覽器。3.2 寫第一個用例搜索、斷言、截圖下面是一個完整的 Web 用例我以某個測試站點的搜索功能為例*** Settings *** Library SeleniumLibrary Suite Setup Open Browser ${BASE_URL} chrome Suite Teardown Close All Browsers *** Variables *** ${BASE_URL} https://example.com/search *** Test Cases *** 搜索功能冒煙驗證 [Tags] smoke Input Text idsearch-input Robot Framework Click Button idsearch-button Wait Until Element Is Visible css.result-item timeout10s Page Should Contain Robot Framework Capture Page Screenshot這個用例里面有幾個關(guān)鍵點需要解釋Suite Setup承擔(dān)了打開瀏覽器和打開站點的職責(zé)所有用例共用一個瀏覽器會話能減少重復(fù)啟動瀏覽器的時間。Input Text和Click Button都是 SeleniumLibrary 提供的關(guān)鍵字第二個參數(shù)是目標(biāo)值第三個參數(shù)很多時候是定位器。我用Wait Until Element Is Visible替代了固定Sleep等待元素可見最多 10 秒元素提前出現(xiàn)就立刻繼續(xù)不浪費時間。Capture Page Screenshot會把截圖放進(jìn) log.html失敗時排查很有用。執(zhí)行命令也非常簡單robot tests/跑完看log.html每一步的耗時、參數(shù)、截圖都在。3.3 封裝公共關(guān)鍵字讓用例像人話第一次跑通之后大概率會面臨一個痛苦每個用例都在重復(fù)“輸入賬號、輸入密碼、點擊登錄、等待首頁加載”。這時候必須做關(guān)鍵字封裝。新建一個資源文件resources/login_keywords.robot*** Keywords *** 用戶登錄 [Arguments] ${username} ${password} Input Text idusername ${username} Input Text idpassword ${password} Click Button idlogin-btn Wait Until Page Contains 歡迎回來 timeout10s然后在測試用例里通過Resource引入*** Settings *** Resource resources/login_keywords.robot *** Test Cases *** 管理員登錄后進(jìn)入后臺 用戶登錄 admin_user correct_password Page Should Contain 后臺管理經(jīng)過封裝后用例的可讀性大幅提升。產(chǎn)品同事看一眼就能知道這條用例是在驗證什么編寫用例的人也不用關(guān)心每個輸入框的 id 是什么。3.4 數(shù)據(jù)驅(qū)動改造一條用例跑十組數(shù)據(jù)UI 自動化最怕的就是用例數(shù)量膨脹。比如登錄測試正常、密碼錯誤、用戶不存在、賬號鎖定、密碼為空這些場景如果每個都復(fù)制一份用例維護(hù)成本直線上升。RF 的[Template]可以解決這個問題*** Test Cases *** 登錄數(shù)據(jù)驅(qū)動測試 [Template] 驗證登錄結(jié)果 admin_user correct_pwd 登錄成功 admin_user wrong_pwd 密碼錯誤 nobody_user any_pwd 用戶不存在 locked_user correct_pwd 賬號已鎖定然后定義關(guān)鍵字*** Keywords *** 驗證登錄結(jié)果 [Arguments] ${username} ${password} ${expected} 用戶登錄 ${username} ${password} Page Should Contain ${expected}這一招把“每條數(shù)據(jù)一條用例”壓成“一條模板用例多組數(shù)據(jù)”。執(zhí)行時每一組數(shù)據(jù)會作為一個獨立用例顯示結(jié)果報告一目了然。如果數(shù)據(jù)量很大還可以把數(shù)據(jù)放到 CSV 或 Excel用 DataDriver 庫加載實現(xiàn)完全數(shù)據(jù)、用例分離。4. 項目級落地目錄分層、自定義庫和持續(xù)集成4.1 分層目錄設(shè)計與資源文件項目一旦超過兩個模塊我強(qiáng)烈建議按下面的目錄結(jié)構(gòu)組織project/ ├── tests/ │ ├── login_tests.robot │ └── order_tests.robot ├── resources/ │ ├── common_keywords.robot │ ├── login_keywords.robot │ └── order_keywords.robot ├── libraries/ │ └── CustomLibrary.py ├── data/ │ ├── login_data.csv │ └── env/ │ ├── dev.yaml │ └── staging.yaml ├── results/ └── run.pytests/只放用例只關(guān)心業(yè)務(wù)步驟。resources/放關(guān)鍵字是項目的核心資產(chǎn)。libraries/放自定義 Python 庫。data/放測試數(shù)據(jù)和環(huán)境配置。results/放執(zhí)行生成的報告通常會被 CI 歸檔后清空。很多人一上來就把用例和關(guān)鍵字混在一個目錄文件看起來不少真正維護(hù)時卻不知道怎么拆。其實核心準(zhǔn)則就一條用例是“做什么”關(guān)鍵字是“怎么做”配置是“在哪做”三者嚴(yán)格分家。4.2 什么時候需要寫自定義 Python 庫RF 生態(tài)再強(qiáng)也總有庫覆蓋不到的業(yè)務(wù)邏輯比如生成某種特殊格式的訂單號、調(diào)用內(nèi)部加解密算法、連接某個數(shù)據(jù)庫做數(shù)據(jù)清理。這時候不要硬湊關(guān)鍵字直接寫一個 Python 類RF 會自動把類里的方法暴露為關(guān)鍵字。# libraries/OrderLibrary.py import hashlib class OrderLibrary: def generate_order_no(self, prefix, timestamp): raw f{prefix}{timestamp} digest hashlib.md5(raw.encode()).hexdigest()[:8] return f{prefix}-{digest}在用例里引入*** Settings *** Library OrderLibrary *** Test Cases *** 生成訂單號 ${order_no} Generate Order No ORD 202501011030 Should Not Be Empty ${order_no} Log ${order_no}要記住兩點類名和方法名都會被 RF 轉(zhuǎn)換為空格分隔的關(guān)鍵字比如generate_order_no變成Generate Order No方法的返回值可以被變量直接接收。自定義庫可以依賴第三方庫只要在 import 之前已經(jīng)安裝就行。4.3 接入持續(xù)集成命令、退出碼、報告歸檔RF 接入 CI 的步驟并不復(fù)雜。首先確定執(zhí)行命令推薦統(tǒng)一寫成robot --outputdir results --timestampoutputs --include smoke tests/--outputdir指定結(jié)果目錄--timestampoutputs讓每次都生成帶時間戳的報告避免覆蓋歷史結(jié)果。執(zhí)行結(jié)束后RF 會返回退出碼0 表示全部通過1 表示有失敗用例2 表示執(zhí)行異常、比如測試套件崩潰。在 CI 流水線里典型的配置步驟是安裝 Python 和依賴。執(zhí)行robot命令。解析output.xml把結(jié)果展示在流水線頁面。發(fā)布report.html和log.html作為歸檔附件。失敗時把執(zhí)行日志和截圖打包上傳。這里有個經(jīng)驗不要把整個工作區(qū)全量打成包只需歸檔results/目錄包含 log.html、report.html、output.xml 和可能的截圖即可。4.4 讓結(jié)果可追溯輸出目錄和時間戳結(jié)果管理是項目落地中很容易被忽視的一塊。默認(rèn)情況下執(zhí)行命令會在當(dāng)前目錄生成 output.xml、log.html、report.html這很容易被下一次執(zhí)行覆蓋。我的固定操作是加--outputdir results和--timestampoutputsrobot --outputdir results/20250101_1030 --timestampoutputs tests/這樣每一次執(zhí)行的產(chǎn)物都帶時間戳即使不建數(shù)據(jù)庫光靠文件目錄也能追溯到某一次失敗的現(xiàn)場。如果再配合在用例里打上帶有缺陷編號的標(biāo)簽比如[Tags] bug-1234按 bug 號查詢歷史執(zhí)行結(jié)果就很方便。5. 測試庫選型Web、接口、移動端到底怎么配5.1 常用測試庫能力對比測試庫適用場景主要能力備注SeleniumLibraryWeb UI瀏覽器操作、元素定位、截圖、等待最穩(wěn)定、社區(qū)資料最多BrowserLibraryWeb UI基于 Playwright支持多標(biāo)簽、更快的執(zhí)行定位更快但 API 風(fēng)格和 Selenium 庫不同AppiumLibrary移動端 App支持 Android/iOS 原生、混合應(yīng)用需要 Appium 服務(wù)在線RequestsLibrary接口測試HTTP 請求、JSON 斷言、會話管理輕量適合做接口自動化DatabaseLibrary數(shù)據(jù)庫測試連接數(shù)據(jù)庫、執(zhí)行 SQL、校驗數(shù)據(jù)常用于測試數(shù)據(jù)準(zhǔn)備和結(jié)果核對AutoItLibraryWindows 桌面程序模擬鍵盤鼠標(biāo)操作小眾需要注意系統(tǒng)環(huán)境我目前在 Web 項目上使用 SeleniumLibrary 為主。雖然 BrowserLibrary 性能更好但團(tuán)隊對 Selenium 的熟悉程度更高出了問題容易排查。接口測試這塊我一般不會單獨為接口寫 RF 用例而是把接口校驗作為 UI 用例的前置步驟或后置校驗用 RequestsLibrary 把查詢、創(chuàng)建、清理這些動作封裝成關(guān)鍵字。5.2 內(nèi)建庫才是被低估的寶藏很多人以為 RF 只有 SeleniumLibrary忽略了它自帶的標(biāo)準(zhǔn)庫。內(nèi)建庫BuiltIn提供了大量非常實用的關(guān)鍵字Should Be Equal、Should Contain做斷言。Run Keyword If做條件分支。Repeat Keyword做重試。Set Test Variable在用例間傳遞參數(shù)。還有String庫幫助處理字符串拼接、正則匹配、去除空格Collections庫支持列表和字典的操作DateTime庫處理日期時間的計算和格式化。這些庫不需要額外安裝但實際使用頻率極高。我舉個例子之前有個項目要驗證訂單號格式我直接寫${order_no} Generate Order No ORD 202501011030 ${match} Should Match Regexp ${order_no} ^ORD-[a-f0-9]{8}$如果不滿足正則執(zhí)行立刻失敗非常直觀。5.3 等待策略穩(wěn)定性的第一道閘門UI 自動化里90% 的偶然失敗都和等待有關(guān)。RF 里常見的等待方式有三種Sleep固定睡 N 秒。簡單但低效網(wǎng)絡(luò)一抖就掛。隱式等待Set Selenium Implicit Wait對每次查找元素生效但無法應(yīng)對元素可見性變化。顯式等待Wait Until Element Is Visible、Wait Until Page Contains等條件滿足才繼續(xù)。我實際項目里的標(biāo)準(zhǔn)做法是請求階段盡量用顯式等待對于頁面加載完成的判斷用Wait Until Page Contains或Wait Until Element Is Visible。我還會把常用等待封裝成一個帶超時和重試的關(guān)鍵字統(tǒng)一控制超時時間。*** Keywords *** 等待頁面出現(xiàn) [Arguments] ${text} ${timeout}10s Wait Until Page Contains ${text} timeout${timeout}把超時統(tǒng)一管理起來比到處散落Sleep 2s更容易維護(hù)穩(wěn)定性也明顯提升。6. 高頻問題與排查技巧實錄6.1 執(zhí)行前的經(jīng)典報錯報錯信息常見原因處理辦法No keyword with name Open Browser foundSeleniumLibrary 未安裝或未導(dǎo)入檢查pip list是否包含 robotframework-seleniumlibrary并在 Settings 里加Library SeleniumLibraryWebDriverException: Message: chromedriver executable needs to be in PATHChromeDriver 不在 PATH 或版本不匹配使用 webdriver-manager 自動匹配TimeoutException元素沒有在指定時間出現(xiàn)檢查定位器確認(rèn)頁面加載策略延長顯式等待Element not found定位器寫錯或元素在 iframe 內(nèi)使用開發(fā)者工具重新定位iframe 需要先Select Frame中文亂碼文件編碼不是 UTF-8所有 .robot 文件用 UTF-8 編碼保存排查這類問題先看 log.html 中具體是哪一步報錯比對著日志盲猜高效得多。如果失敗在截圖里基本上一眼就能看出是彈窗遮擋、頁面沒加載完還是元素位置變化。6.2 我實際踩過的幾個坑第一個坑是 Chrome 自動更新導(dǎo)致版本不匹配。項目跑得好好的某天突然大批量失敗報錯全部是 driver 版本問題。后來我把驅(qū)動管理切到webdriver-manager并在 CI 里強(qiáng)制使用固定版本的瀏覽器鏡像這個問題基本消失。第二個坑是 suite setup 和 test setup 混淆。初期我把登錄放在Test Setup里結(jié)果每條用例登錄一次大量時間浪費在重復(fù)登錄上。排查后發(fā)現(xiàn)登錄操作完全可以放在Suite Setup里一條套件只登錄一次用例之間通過瀏覽器會話共享狀態(tài)。當(dāng)然如果你需要用例之間完全隔離就不要這樣做。第三個坑是變量作用域。我在自定義關(guān)鍵字里用Set Test Variable修改變量結(jié)果影響了后續(xù)用例排查了很久。RF 里變量默認(rèn)是本地作用域Set Test Variable只在當(dāng)前用例有效Set Suite Variable會對套件內(nèi)后面所有用例生效。用之前想清楚這個變量該活多久。6.3 用例提速從 40 分鐘到 15 分鐘項目剛開始時回歸用例跑完要四十多分鐘最痛苦的是每次用例失敗后重新跑的一大堆前置流程。后來做了三件事執(zhí)行時間直接降到 15 分鐘把公共前置流程從每個用例遷移到Suite Setup避免重復(fù)登錄、重復(fù)創(chuàng)建數(shù)據(jù)。全部固定Sleep改成顯式等待元素提前加載就能提前繼續(xù)。用Pabot做并發(fā)執(zhí)行把多個套件分配到多個進(jìn)程并行跑。Pabot 的用法很簡單pip install robotframework-pabot pabot --outputdir results tests/它會自動掃描套件分進(jìn)程并行執(zhí)行。需要注意的是并行執(zhí)行時不要讓多個用例同時操作同一個數(shù)據(jù)庫記錄否則會出現(xiàn)互相干擾的情況。建議把數(shù)據(jù)隔離到測試用例級別或者用唯一的訂單號前綴。6.4 一點個人習(xí)慣最后分享幾個我在實際項目中堅持的習(xí)慣。第一所有 .robot 文件統(tǒng)一用 UTF-8 編碼變量文件用統(tǒng)一的環(huán)境變量文件管理。第二每個資源文件只放一個業(yè)務(wù)域的關(guān)鍵字比如登錄、訂單、支付分開不要做一個“萬能關(guān)鍵字文件”。第三寫用例時強(qiáng)制帶標(biāo)簽冒煙、回歸、缺陷號都要清晰這樣后續(xù)按標(biāo)簽選擇執(zhí)行時才不會頭疼。還有一個很小的習(xí)慣每個用例結(jié)束前要么加一個斷言關(guān)鍵字要么顯式捕獲截圖絕不留下沒有任何校驗的空跑用例。RF 這套框架的價值不在于它能寫多么炫酷的腳本而在于它讓測試團(tuán)隊可以用同一種語言描述業(yè)務(wù)場景、設(shè)計測試用例、執(zhí)行回歸、追蹤缺陷。只要把關(guān)鍵字封裝和分層設(shè)計做好它完全能撐起一個中型項目的自動化測試體系。