我最早認(rèn)真寫(xiě)Python自動(dòng)化腳本不是為了搞什么“大工程”純粹是受不了每天下班前那半個(gè)小時(shí)的重復(fù)勞動(dòng)下載文件夾里躺著各種PDF、圖片、壓縮包要給它們重新命名、按類型和日期歸類還要把最新的報(bào)表發(fā)給相關(guān)的人。起初我用鼠標(biāo)一個(gè)個(gè)點(diǎn)后來(lái)實(shí)在覺(jué)得荒唐就花了一個(gè)晚上寫(xiě)了第一個(gè)整理腳本。嚴(yán)格來(lái)說(shuō)那個(gè)腳本寫(xiě)得挺糙但它幫我省下了此后無(wú)數(shù)個(gè)“半小時(shí)”。也是從那以后我意識(shí)到日常工作的“自動(dòng)化”這個(gè)詞聽(tīng)起來(lái)高級(jí)落到實(shí)處其實(shí)是一個(gè)很樸素的問(wèn)題哪些事你每天做一遍、規(guī)則又很固定那它們就都值得被寫(xiě)成一個(gè)腳本替你跑掉。這篇內(nèi)容想和你完整走一遍“一個(gè)Python腳本的誕生”全過(guò)程從怎么判斷需求、怎么搭環(huán)境到寫(xiě)代碼、加參數(shù)、做測(cè)試再到把它掛進(jìn)定時(shí)任務(wù)里無(wú)人值守地跑。適合兩種人看一種是剛開(kāi)始學(xué)Python、寫(xiě)過(guò)幾行語(yǔ)法但不知道怎么落地成實(shí)際工具的另一種是已經(jīng)會(huì)用Python處理小任務(wù)但每次都是“手動(dòng)跑一下”還沒(méi)把腳本真正變成日常工作里穩(wěn)定運(yùn)轉(zhuǎn)的一部分?？赐昴銜?huì)發(fā)現(xiàn)自動(dòng)化沒(méi)有多神秘它拼的不是高超技巧而是你做判斷時(shí)的克制和寫(xiě)細(xì)節(jié)時(shí)的耐心。1. 需求先行不是所有重復(fù)勞動(dòng)都值得寫(xiě)成腳本1.1 判斷一個(gè)場(chǎng)景該不該自動(dòng)化的三個(gè)標(biāo)準(zhǔn)寫(xiě)腳本前先回答一個(gè)更關(guān)鍵的問(wèn)題這件事真的適合自動(dòng)化嗎我見(jiàn)過(guò)太多人熱情高漲地寫(xiě)了個(gè)自動(dòng)填表單腳本結(jié)果網(wǎng)站改版一次就廢掉也有人辛辛苦苦做了個(gè)爬蟲(chóng)跑了三天就被對(duì)方封了IP。項(xiàng)目流產(chǎn)的原因往往不是代碼不行而是需求本身選錯(cuò)了。我的經(jīng)驗(yàn)是判斷一個(gè)日常工作值不值得自動(dòng)化就套三個(gè)標(biāo)準(zhǔn)規(guī)則明確。你能用兩三句話把它的處理邏輯說(shuō)清楚沒(méi)有那么多例外和主觀判斷。比如“把下載文件夾里超過(guò)7天未打開(kāi)的文件移到歸檔目錄”規(guī)則清楚得像說(shuō)明書(shū)而“把重要的郵件挑出來(lái)匯總”什么叫“重要”本身就需要定義。頻率夠高、耗時(shí)可觀。每天一次和每年一次投入產(chǎn)出完全不同。單次耗時(shí)5分鐘、每天重復(fù)一年下來(lái)就是20多個(gè)小時(shí)如果只是每月一次且5分鐘能搞定寫(xiě)一小時(shí)腳本就得仔細(xì)掂量了。失敗影響可控。腳本跑錯(cuò)時(shí)最壞會(huì)怎樣刪幾個(gè)文件還是清空整個(gè)數(shù)據(jù)庫(kù)如果影響無(wú)法接受那就要在設(shè)計(jì)和測(cè)試上多花大力氣甚至在前期就放棄自動(dòng)化。我有個(gè)做設(shè)備老化測(cè)試的朋友他的日常工作就是盯著設(shè)備跑測(cè)試、記數(shù)據(jù)、生成報(bào)告一盯就是幾個(gè)小時(shí)。我建議他把“全自動(dòng)執(zhí)行測(cè)試并生成報(bào)告”提上日程因?yàn)檫@場(chǎng)景完全命中上述三條規(guī)則固定、每天重復(fù)、且失敗造成的只是數(shù)據(jù)采樣問(wèn)題風(fēng)險(xiǎn)可控。后來(lái)他用Python寫(xiě)了套腳本至少把人從工位上解放了出來(lái)。判斷清楚了這個(gè)自動(dòng)化才做得值。1.2 別急著寫(xiě)碼先把整個(gè)流程拆成輸入、處理、輸出確定要做之后也別打開(kāi)編輯器就敲import os。我自己的習(xí)慣是先在紙上畫(huà)一條流水線哪怕只是草草幾筆。所謂流程無(wú)非三段輸入是什么處理規(guī)則是什么輸出要變成什么。以最常見(jiàn)的“整理下載文件夾”來(lái)說(shuō)輸入一個(gè)真實(shí)目錄下的文件集合處理規(guī)則按擴(kuò)展名歸類到文檔、圖片、壓縮包、安裝包按修改時(shí)間決定是否歸檔到當(dāng)月目錄輸出移動(dòng)之后的目錄結(jié)構(gòu)還有一份“本次移動(dòng)了哪些文件”的小結(jié)。把需求拆成這三段之后你會(huì)立刻看見(jiàn)模糊的地方“文檔”具體指哪些擴(kuò)展名Excel算文檔還是數(shù)據(jù)文件移動(dòng)時(shí)文件名沖突怎么辦這些“模糊地帶”才是自動(dòng)化項(xiàng)目里真正的難點(diǎn)而不是代碼本身。一次我?guī)屯伦鰣?bào)表合并工具我以為需求就是“合并文件夾里所有Excel”結(jié)果他補(bǔ)充了五個(gè)“但是”有的表頭不在第一行有的需要跳過(guò)“合計(jì)”行還有的要按部門(mén)拆成多個(gè)子表。要不是先做了流程拆解直接開(kāi)寫(xiě)必然返工。所以這一階段的產(chǎn)出物不是代碼而是一段人話版本的說(shuō)明什么時(shí)候跑、跑之前要滿足什么條件、跑完之后應(yīng)該看到什么。這段說(shuō)明之后會(huì)變成你的README、你的注釋以及你和將來(lái)的自己之間的溝通橋梁。1.3 自動(dòng)化項(xiàng)目的“從 0 到 1”六步法這些年下來(lái)我把一個(gè)自動(dòng)化腳本從想法到穩(wěn)定的過(guò)程總結(jié)成六個(gè)步驟后面的章節(jié)就按這個(gè)順序展開(kāi)摸清現(xiàn)狀把當(dāng)前手動(dòng)操作的過(guò)程一步步走一遍記錄每一步的動(dòng)作和耗時(shí)定義范圍寫(xiě)清楚腳本管哪些文件、不管哪些文件最小實(shí)現(xiàn)先做一個(gè)只能跑一次的版本驗(yàn)證核心邏輯走通加參數(shù)和容錯(cuò)把可變的部分參數(shù)化把可能報(bào)錯(cuò)的地方接住自動(dòng)化運(yùn)行用定時(shí)任務(wù)或觸發(fā)器讓它無(wú)人值守地跑監(jiān)控與復(fù)盤(pán)日志、通知、隔段時(shí)間回看一次規(guī)則是否還適用。判斷完需求和范圍心里那顆“想立刻寫(xiě)碼”的心可以先收一收下一章先把環(huán)境這件事理順。環(huán)境問(wèn)題雖然不性感但它恰恰是腳本活不過(guò)第一周的頭號(hào)原因。2. 環(huán)境準(zhǔn)備與工程習(xí)慣別讓“跑不起來(lái)”毀掉你的熱情2.1 Python安裝與版本管理選對(duì)工具才能少踩坑現(xiàn)在的Python版本分化已經(jīng)不嚴(yán)重了但我還是建議裝3.9以上版本沒(méi)必要為了兼容老代碼而去碰Python 2。Windows用戶去官網(wǎng)下載安裝包時(shí)有一點(diǎn)要注意安裝向?qū)У谝豁?yè)那里有個(gè)“Add Python to PATH”勾選框默認(rèn)不勾請(qǐng)務(wù)必勾上。這一步對(duì)應(yīng)的就是很多人之后遇到的“python不是內(nèi)部或外部命令”的全部根源。系統(tǒng)裝好Python之后我強(qiáng)烈建議所有自動(dòng)化項(xiàng)目都用虛擬環(huán)境也就是venv。不要把包直接裝到全局環(huán)境里不然過(guò)兩個(gè)月你就會(huì)遇到“上次跑得好好的今天怎么報(bào)錯(cuò)”“這個(gè)項(xiàng)目要pandas 1.x那個(gè)項(xiàng)目要pandas 2.x”這種互踩地雷的尷尬。我自己就吃過(guò)這個(gè)虧全局環(huán)境里裝了一堆包某天升級(jí)了一個(gè)依賴庫(kù)結(jié)果三個(gè)老腳本同時(shí)報(bào)廢排查到凌晨才定位是版本沖突。創(chuàng)建項(xiàng)目目錄并啟用虛擬環(huán)境的常規(guī)操作是# 創(chuàng)建項(xiàng)目目錄 mkdir organize_files cd organize_files # 創(chuàng)建并激活虛擬環(huán)境 python -m venv venv # Windows PowerShell 下激活 venv\Scripts\activate # Linux/macOS 下激活 source venv/bin/activate激活后命令行前面會(huì)出現(xiàn)(venv)字樣之后安裝的所有包都只屬于這個(gè)項(xiàng)目不會(huì)污染系統(tǒng)環(huán)境也不怕影響別的腳本。這幾十秒的投資值。2.2 依賴鎖定與項(xiàng)目結(jié)構(gòu)腳本也需要“工程感”即使是簡(jiǎn)單的自動(dòng)化腳本我也建議至少保持一個(gè)像樣的目錄結(jié)構(gòu)避免半年后回來(lái)看代碼一頭霧水。下面是我個(gè)人慣用的骨架organize_files/ ├── organize.py ├── requirements.txt ├── README.md ├── tests/ │ └── test_organize.py └── venv/requirements.txt 的作用是把項(xiàng)目用到的第三方庫(kù)連同版本號(hào)一起鎖住。養(yǎng)成習(xí)慣每當(dāng)環(huán)境里成功裝了一批包就執(zhí)行一次pip freeze requirements.txt這樣別人拿到代碼或者你換臺(tái)電腦一條命令就能把環(huán)境重建出來(lái)pip install -r requirements.txt很多新手不建虛擬環(huán)境也不鎖版本等腳本在別人機(jī)器上跑不起來(lái)時(shí)才病急亂投醫(yī)。實(shí)際上大部分“我明明裝了啊為什么import不到”的問(wèn)題十有八九是把包裝進(jìn)了A環(huán)境、運(yùn)行腳本卻用了B環(huán)境。你在終端里敲which python看一眼再確認(rèn)當(dāng)前激活的是不是項(xiàng)目的venv思路會(huì)比瞎裝包清晰得多。另外Windows下腳本運(yùn)行時(shí)常見(jiàn)“一閃而過(guò)”的問(wèn)題我也放到這里提醒如果你雙擊的是 .bat 或 .py 文件窗口秒關(guān)不代表腳本沒(méi)跑而是跑完正常退出。想看輸出就打開(kāi)PowerShell或cmd手動(dòng)切到項(xiàng)目目錄再執(zhí)行輸出會(huì)留在終端里。用cmd跑一下cd /d D:\your_project venv\Scripts\python organize.py這樣真出異常也能看到完整的報(bào)錯(cuò)堆棧不至于兩眼一抹黑。2.3 環(huán)境變量與PATH類報(bào)錯(cuò)一個(gè)典型問(wèn)題引發(fā)的思考熱搜里那些“pnpm無(wú)法被識(shí)別”“python不是內(nèi)部或外部命令”其實(shí)都指向同一個(gè)底層概念操作系統(tǒng)的PATH環(huán)境變量。PATH里記錄了系統(tǒng)在哪個(gè)目錄下找可執(zhí)行程序裝軟件時(shí)沒(méi)把安裝路徑加進(jìn)PATH或者加了之后沒(méi)有重新打開(kāi)終端就會(huì)出現(xiàn)“明明裝了但命令找不到”的現(xiàn)象。我遇到過(guò)同事在PowerShell里裝好了一個(gè)工具立刻運(yùn)行卻報(bào)“無(wú)法將 x 項(xiàng)識(shí)別為 cmdlet、函數(shù)、腳本文件或可運(yùn)行程序的名稱”。我先問(wèn)他你是不是沒(méi)開(kāi)新終端他重開(kāi)了一個(gè)之后問(wèn)題果然消失。因?yàn)槊钚械沫h(huán)境變量是在啟動(dòng)時(shí)讀取的老窗口還保存著舊狀態(tài)。這些經(jīng)驗(yàn)放在Python里是完全相通的安裝完P(guān)ython后要新開(kāi)終端virtualenv切換后要注意當(dāng)前shell環(huán)境pip裝完了新包但腳本還是找不到模塊時(shí)優(yōu)先懷疑是不是沒(méi)有在同一個(gè)解釋器環(huán)境下執(zhí)行。同一個(gè)原則也適用于排查各種腳本類工具鏈問(wèn)題先確認(rèn)進(jìn)程用的是哪個(gè)解釋器/運(yùn)行時(shí)再討論版本和依賴這是所有環(huán)境類排障的統(tǒng)一套路。3. 第一個(gè)腳本的完整誕生以批量文件整理為例3.1 需求實(shí)例化給腳本定行為邊界理論說(shuō)了一堆現(xiàn)在落到實(shí)打?qū)嵉拇a上。我用“整理下載文件夾”這個(gè)最容易上手的場(chǎng)景來(lái)走完整流程。先描述需求D:\Downloads實(shí)際請(qǐng)換成你自己的目錄里有各種散亂文件腳本要按擴(kuò)展名把它們分到文檔、圖片、壓縮包、安裝包等子目錄同時(shí)按文件的最后修改時(shí)間歸入對(duì)應(yīng)月份的二級(jí)目錄里比如文檔/2024-05。運(yùn)行之后屏幕打印出每個(gè)文件從哪移到哪以及本次共處理多少文件。這里我先定義幾個(gè)行為的邊界只處理常規(guī)文件不處理子目錄遇到同名文件不覆蓋而是追加時(shí)間戳腳本要內(nèi)置一個(gè)“預(yù)覽模式”只打印計(jì)劃不實(shí)際移動(dòng)文件。第3條尤其重要。新手寫(xiě)自動(dòng)化文件操作時(shí)最容易犯的錯(cuò)就是直接動(dòng)手改文件跑完才發(fā)現(xiàn)歸檔規(guī)則有誤文件已經(jīng)散布到幾十個(gè)目錄里去了。dry-run 模式相當(dāng)于給腳本裝了個(gè)安全閥我強(qiáng)烈建議所有涉及刪除、移動(dòng)、重命名的腳本都做這個(gè)設(shè)計(jì)。3.2 代碼實(shí)現(xiàn)用pathlib而不是os.pathPython 3.4以后Pathlib成為操作路徑的主流方式比起os.path.join、os.listdir的組合Pathlib的可讀性好得多而且跨平臺(tái)。下面的代碼可以直接復(fù)制保存為organize.pyimport argparse import shutil import sys from datetime import datetime from pathlib import Path CATEGORY_RULES { 文檔: [.pdf, .doc, .docx, .txt, .md, .xls, .xlsx, .ppt, .pptx], 圖片: [.jpg, .jpeg, .png, .gif, .bmp, .webp, .svg], 壓縮包: [.zip, .rar, .7z, .tar, .gz, .bz2], 安裝包: [.exe, .msi, .dmg, .pkg, .deb, .rpm], } def get_category(ext: str) - str: ext ext.lower() for category, exts in CATEGORY_RULES.items(): if ext in exts: return category return 其他 def build_target_path(source: Path, target_base: Path, category: str, ext: str) - Path: month_folder source.stat().st_mtime month_str datetime.fromtimestamp(month_folder).strftime(%Y-%m) target_dir target_base / category / month_str target_dir.mkdir(parentsTrue, exist_okTrue) target_file target_dir / source.name if target_file.exists(): stem source.stem suffix source.suffix timestamp datetime.now().strftime(%H%M%S) target_file target_dir / f{stem}_{timestamp}{suffix} return target_file def organize(source_dir: Path, target_dir: Path, dry_run: bool True) - None: if not source_dir.exists(): print(f源目錄不存在: {source_dir}) sys.exit(1) moved_count 0 for item in source_dir.iterdir(): if not item.is_file(): continue category get_category(item.suffix) target build_target_path(item, target_dir, category, item.suffix) if dry_run: print(f[預(yù)覽] {item.name} - {target.relative_to(target_dir)}) else: shutil.move(str(item), str(target)) print(f[移動(dòng)] {item.name} - {target.relative_to(target_dir)}) moved_count 1 print(f共整理 {moved_count} 個(gè)文件。) if __name__ __main__: parser argparse.ArgumentParser(description按類型和日期整理文件夾) parser.add_argument(--source, typePath, defaultPath.home() / Downloads, help要整理的源目錄) parser.add_argument(--target, typePath, defaultPath.home() / Downloads_Sorted, help歸檔目標(biāo)目錄) parser.add_argument(--dry-run, actionstore_true, help只預(yù)覽不執(zhí)行) args parser.parse_args() organize(args.source, args.target, args.dry_run)這段代碼有四個(gè)值得注意的細(xì)節(jié)第一get_category里先統(tǒng)一轉(zhuǎn)小寫(xiě)避免.PDF和.pdf被當(dāng)成兩種類型第二build_target_path里用source.stat().st_mtime讀取文件的最后修改時(shí)間再用datetime.fromtimestamp轉(zhuǎn)成年月字符串這樣歸檔目錄會(huì)自然按時(shí)間形成層級(jí)第三重名沖突沒(méi)有選擇覆蓋而是追加當(dāng)前時(shí)間戳這個(gè)策略雖然沒(méi)有那么“優(yōu)雅”但在真實(shí)文件系統(tǒng)里最保險(xiǎn)第四shutil.move參數(shù)我都轉(zhuǎn)成了字符串形式為的是避免某些第三方庫(kù)對(duì) Path 對(duì)象兼容性不好的邊緣情況。3.3 用dry-run驗(yàn)證邏輯之后才動(dòng)真格首次運(yùn)行先別直接移動(dòng)文件python organize.py --source D:\Downloads --target D:\Downloads_Sorted --dry-run終端會(huì)列出所有計(jì)劃執(zhí)行的動(dòng)作。仔細(xì)掃一眼輸出看看擴(kuò)展名分類對(duì)不對(duì)有沒(méi)有該歸檔但被歸到“其他”的文件有沒(méi)有規(guī)則里沒(méi)覆蓋到的格式。確認(rèn)沒(méi)問(wèn)題之后去掉--dry-run再跑一次python organize.py --source D:\Downloads --target D:\Downloads_Sorted我實(shí)際跑的時(shí)候發(fā)現(xiàn)真實(shí)文件夾里“其他”類別增長(zhǎng)很快因?yàn)楦鞣N無(wú)擴(kuò)展名文件、臨時(shí)文件.tmp、日志文件.log都堆在那里。如果你也遇到這種情況可以在CATEGORY_RULES里繼續(xù)補(bǔ)充規(guī)則比如日志文件屬于“日志”臨時(shí)文件直接放入“臨時(shí)”。規(guī)則是人根據(jù)現(xiàn)實(shí)迭代出來(lái)的腳本也會(huì)越長(zhǎng)越順手。這個(gè)例子雖然簡(jiǎn)單但它已經(jīng)覆蓋了Python自動(dòng)化的骨架路徑遍歷、規(guī)則分類、目標(biāo)計(jì)算、安全預(yù)覽、參數(shù)入口。后面要讓它自動(dòng)運(yùn)行其實(shí)已經(jīng)水到渠成。4. 從手動(dòng)到自動(dòng)讓腳本在沒(méi)人記得它時(shí)也在工作4.1 Windows環(huán)境下的定時(shí)運(yùn)行三件套腳本本身寫(xiě)好了但如果你每次都手動(dòng)打開(kāi)終端執(zhí)行自動(dòng)化還只完成了一半。真正的自動(dòng)化是讓腳本自己按點(diǎn)或按事件跑起來(lái)。Windows上我常用三種方式從推薦程度排序任務(wù)計(jì)劃程序Task Scheduler圖形界面適合不想記命令的人。新建任務(wù)時(shí)觸發(fā)器設(shè)為“每天”或“計(jì)算機(jī)啟動(dòng)時(shí)”操作選“啟動(dòng)程序”程序填venv\Scripts\python.exe的完整路徑參數(shù)填organize.py的完整路徑“起始于”填項(xiàng)目目錄。schtasks 命令適合快速注冊(cè)。管理員權(quán)限的cmd里執(zhí)行類似下面的命令schtasks /Create /SC DAILY /TN OrganizeDownloads /TR D:\organize_files\venv\Scripts\python.exe D:\organize_files\organize.py --no-dry-run /ST 18:00PowerShell開(kāi)機(jī)自啟腳本把 .bat 放進(jìn)shell:startup文件夾。簡(jiǎn)單直接但只能等用戶登錄后才運(yùn)行。批處理內(nèi)容我一般這樣寫(xiě)echo off cd /d D:\organize_files venv\Scripts\python.exe organize.py --no-dry-run organize.log 21提醒一句用任務(wù)計(jì)劃程序時(shí)很多人會(huì)默認(rèn)勾選“不管用戶是否登錄都要運(yùn)行”這個(gè)時(shí)候系統(tǒng)要求你填Windows賬號(hào)密碼而且運(yùn)行環(huán)境是Session 0部分依賴網(wǎng)絡(luò)驅(qū)動(dòng)器或GUI的程序會(huì)異常。如果你的腳本只是處理本地文件選“只在用戶登錄時(shí)運(yùn)行”其實(shí)更穩(wěn)。4.2 Linux/macOS下的cron與launchd如果你跑腳本的機(jī)器是Linux服務(wù)器或者公司配的Mac更常見(jiàn)的方案是cron。用crontab -e編輯當(dāng)前用戶的定時(shí)任務(wù)舉例# 每天 18:30 執(zhí)行整理腳本輸出寫(xiě)入日志 30 18 * * * cd /home/user/organize_files /home/user/organize_files/venv/bin/python organize.py --no-dry-run organize.log 21這里面有個(gè)常見(jiàn)誤區(qū)cron執(zhí)行時(shí)環(huán)境變量很少PATH幾乎為空所以命令里最好用絕對(duì)路徑。直接寫(xiě)python很容易出現(xiàn)“找不到命令”。還記得前面說(shuō)的環(huán)境變量問(wèn)題嗎這里又是同一個(gè)根源。macOS的圖形化場(chǎng)景用launchd配置一個(gè)plist文件放到~/Library/LaunchAgents下再launchctl load就能常駐運(yùn)行。日常辦公自動(dòng)化的需求cron通常就夠用了launchd適合需要更精細(xì)控制場(chǎng)景的進(jìn)階用戶。4.3 讓腳本學(xué)會(huì)“說(shuō)話”日志與異常通知無(wú)人值守運(yùn)行里最尷尬的事是腳本跑掛了卻沒(méi)人知道。所以腳本不僅要會(huì)做事還要會(huì)留下記錄、會(huì)在出事時(shí)喊人。最簡(jiǎn)單的做法是在調(diào)度的命令里把輸出重定向到日志文件就像前面bat里寫(xiě)的那樣。但如果想更進(jìn)一步我建議在Python代碼里使用內(nèi)置的logging模塊按需把信息寫(xiě)到文件并設(shè)置等級(jí)import logging logging.basicConfig( filenameorganize.log, levellogging.INFO, format%(asctime)s %(levelname)s %(message)s, encodingutf-8 )把原來(lái)print的地方改成logging.info(...)、logging.warning(...)。普通運(yùn)行只有幾行INFO異常時(shí)能留下完整的堆棧。我自己的習(xí)慣是本地手動(dòng)跑時(shí)在終端看輸出定時(shí)任務(wù)運(yùn)行時(shí)看日志文件真正重要的腳本再加上異常通知。異常通知的落地方式很多郵件SMTP和各類webhook機(jī)器人是最常見(jiàn)的。關(guān)鍵點(diǎn)是只在異常時(shí)通知?jiǎng)e把每條信息都發(fā)出來(lái)——如果每天定時(shí)任務(wù)正常跑卻發(fā)給你一封“今天移了42個(gè)文件”的郵件時(shí)間一長(zhǎng)你就會(huì)把通知當(dāng)成垃圾真正出事時(shí)反而被忽略。只有失敗才響警報(bào)才是對(duì)“通知”這一渠道的正確使用。4.4 無(wú)人值守的關(guān)鍵腳本的冪等性設(shè)計(jì)再補(bǔ)一個(gè)很多人忽略的重要概念冪等性。就是說(shuō)同一個(gè)腳本無(wú)論被連續(xù)跑多少遍結(jié)果都應(yīng)該保持一致、不產(chǎn)生臟狀態(tài)。用整理文件舉例第一次跑把散亂文件歸檔了第二次跑如果腳本又重新把源目錄里的文件“重復(fù)移動(dòng)一遍”那是沒(méi)問(wèn)題的因?yàn)樵茨夸浺呀?jīng)沒(méi)文件了。但如果腳本設(shè)計(jì)成“把目標(biāo)目錄里的文件再按另一個(gè)規(guī)則處理”或者“把每個(gè)文件復(fù)制一份”跑兩次就會(huì)復(fù)制出兩份這就是糟糕的冪等性。我的原則很簡(jiǎn)單腳本運(yùn)行時(shí)先做“是否還有待處理對(duì)象”的判斷而不是無(wú)條件執(zhí)行全套動(dòng)作。例如定時(shí)同步類、清理類腳本都應(yīng)該以“當(dāng)前狀態(tài)下還有什么要做”為導(dǎo)向而不是“我把預(yù)設(shè)動(dòng)作做一遍就完”。5. 再往前走一步工具鏈、測(cè)試與邊界5.1 從單腳本到工具鏈參數(shù)化與配置分離第一個(gè)版本跑通后你會(huì)很快發(fā)現(xiàn)需求變化的苗頭今天要整理下載文件夾明天要整理桌面的單個(gè)目錄后天又要給歸檔文件加一層“客戶名”目錄。如果這些變化全靠改代碼遲早要亂。這時(shí)候就該做參數(shù)化與配置分離。所謂配置分離就是把“規(guī)則”從“邏輯”里拿出來(lái)。比如分類規(guī)則可以進(jìn)一步挪到JSON或YAML文件里代碼只負(fù)責(zé)讀配置、執(zhí)行動(dòng)作。工具選型上如果參數(shù)開(kāi)始變多可以把a(bǔ)rgparse換成click通過(guò)裝飾器定義參數(shù)可讀性會(huì)好很多如果項(xiàng)目要做批量操作、定時(shí)任務(wù)分發(fā)再考慮引入啟動(dòng)腳本或pipeline式編排。另外順帶說(shuō)一句不只命令行有“腳本”概念。像Illustrator這類設(shè)計(jì)軟件也有開(kāi)源的腳本擴(kuò)展生態(tài)本質(zhì)上是把重復(fù)的批量導(dǎo)圖、批量改圖層名操作交給代碼。如果你經(jīng)常碰這類軟件不妨留意下它們的腳本接口凡是兩分鐘以上的重復(fù)手工動(dòng)作基本都有一條腳本化的路。我見(jiàn)過(guò)很多Python自動(dòng)化項(xiàng)目死在“只寫(xiě)執(zhí)行、不寫(xiě)維護(hù)”上。腳本剛寫(xiě)成時(shí)充滿成就感但三個(gè)月后回來(lái)看當(dāng)初那句“這里我以后再補(bǔ)”的注釋已經(jīng)變成了一筆技術(shù)債。所以參數(shù)化和注釋不是給別人的是給三個(gè)月后的自己的。5.2 用pytest給自動(dòng)化腳本上保險(xiǎn)自動(dòng)化代碼和普通業(yè)務(wù)代碼有個(gè)明顯區(qū)別它跑起來(lái)的時(shí)候往往沒(méi)有人盯著。白天你寫(xiě)業(yè)務(wù)代碼跑掛了立刻有報(bào)錯(cuò)但半夜兩點(diǎn)定時(shí)任務(wù)跑掛可能直到三天后你才發(fā)現(xiàn)三天前的數(shù)據(jù)沒(méi)處理。所以自動(dòng)化腳本比一般代碼更需要自動(dòng)化測(cè)試。對(duì)上面這個(gè)整理例子的organize.py我會(huì)為關(guān)鍵的規(guī)則邏輯寫(xiě)pytest測(cè)試import pytest from organize import get_category, build_target_path def test_get_category_pdf(): assert get_category(.PDF) 文檔 def test_get_category_unknown_extension(): assert get_category(.xyz) 其他 def test_build_target_path_reuses_existing_month_folder(tmp_path): source tmp_path / report.pdf source.write_bytes(bfake pdf) target build_target_path(source, tmp_path / sorted, 文檔, .pdf) assert target.parent.name 2024-01 assert target.parent.parent.name 文檔像pytest這類自動(dòng)化測(cè)試框架日常工作里最大的價(jià)值就是允許你頻繁、安全地改代碼。文件分類規(guī)則未來(lái)一定會(huì)變比如增加新擴(kuò)展名、調(diào)整目錄層級(jí)。如果沒(méi)有測(cè)試每次改動(dòng)都心驚膽戰(zhàn)有了測(cè)試之后執(zhí)行一下pytest綠了就是穩(wěn)妥了。我給自己的項(xiàng)目定了個(gè)底線規(guī)則涉及文件刪除、移動(dòng)、網(wǎng)絡(luò)請(qǐng)求的腳本至少給核心函數(shù)寫(xiě)10個(gè)左右的測(cè)試用例。這不需要花多少時(shí)間卻能避免絕大多數(shù)低級(jí)回歸。5.3 GUI與瀏覽器自動(dòng)化工具怎么選克制是最高級(jí)的自動(dòng)化前面講的都是處理“文件”和“數(shù)據(jù)”層面日常工作里還有一類場(chǎng)景是“操作界面”比如登錄網(wǎng)頁(yè)下載報(bào)表、在軟件里點(diǎn)按鈕導(dǎo)出數(shù)據(jù)。這類需求有很成熟的工具棧瀏覽器自動(dòng)化的Playwright、Selenium移動(dòng)端有Appium、maestro甚至還有影刀RPA、Cheese這類面向業(yè)務(wù)人員的低代碼自動(dòng)化工具。但我要說(shuō)一句逆耳的話GUI自動(dòng)化是自動(dòng)化里維護(hù)成本最高、坑最多的一類能不碰盡量不碰。原因也很直白界面是為人類設(shè)計(jì)的按鈕位置、窗口大小、網(wǎng)絡(luò)延遲都會(huì)讓腳本失靈。你寫(xiě)20行代碼讓瀏覽器自動(dòng)點(diǎn)一個(gè)按鈕需求方一句話“頁(yè)面改版了”你的20行代碼就得從選擇器開(kāi)始重寫(xiě)。這類工具還有“模擬鼠標(biāo)操作桌面軟件”的方向我見(jiàn)過(guò)有人問(wèn)股票軟件能不能用鼠標(biāo)自動(dòng)化去代替手工操作我的建議非常明確不要做。一方面行情波動(dòng)瞬息萬(wàn)變腳本處理異常的能力遠(yuǎn)不如人另一方面繞過(guò)軟件正常交互流程去模擬操作很可能違反軟件的用戶協(xié)議。如果真要盯盤(pán)或做策略回測(cè)優(yōu)先找官方API或官方允許的擴(kuò)展方式這才是可持續(xù)的路。如果確實(shí)需要GUI自動(dòng)化我建議用瀏覽器優(yōu)先方案Playwright帶無(wú)頭模式、自動(dòng)等待、網(wǎng)絡(luò)斷言穩(wěn)定性比早期工具好很多同時(shí)做足等待策略和失敗重試。能用官方接口實(shí)現(xiàn)的永遠(yuǎn)優(yōu)先于界面自動(dòng)化能改業(yè)務(wù)流程省掉的永遠(yuǎn)優(yōu)先于寫(xiě)代碼硬扛。5.4 關(guān)于合規(guī)與邊界有些“自動(dòng)化”真的不能碰聊到自動(dòng)化就必須面對(duì)一個(gè)現(xiàn)實(shí)有些需求表面上是“效率工具”實(shí)質(zhì)越界了。比如某些攻擊類腳本、游戲作弊類腳本以及未經(jīng)授權(quán)抓取他人數(shù)據(jù)的爬蟲(chóng)這類東西我沒(méi)有立場(chǎng)教你也不會(huì)在文章里給任何實(shí)現(xiàn)思路。它們對(duì)你的職業(yè)生涯和技術(shù)能力積累沒(méi)有任何正收益反而會(huì)帶來(lái)實(shí)實(shí)在在的風(fēng)險(xiǎn)。哪怕是看著人畜無(wú)害的數(shù)據(jù)抓取也要先看目標(biāo)站點(diǎn)是否有官方API、是否有明確的服務(wù)條款。我遇到過(guò)“自動(dòng)化爬取頁(yè)面時(shí)遇到woff字體混淆、頁(yè)面數(shù)據(jù)抓出來(lái)是亂碼”的求助這種技術(shù)本質(zhì)上是在和反爬體系對(duì)抗。正確姿勢(shì)是退一步查官方開(kāi)放平臺(tái)、合作關(guān)系或換個(gè)有授權(quán)數(shù)據(jù)的渠道。技術(shù)方案再巧妙如果前提不成立結(jié)果都是白費(fèi)還可能惹上麻煩。規(guī)則不清晰時(shí)不要抱著僥幸心理硬上這是我在這行非常強(qiáng)烈的建議。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 腳本一閃而過(guò)、命令找不到、路徑報(bào)錯(cuò)自動(dòng)化腳本跑不起來(lái)的原因說(shuō)來(lái)說(shuō)去就那幾類。我整理了一張速查表遇到問(wèn)題先按表排查癥狀最常見(jiàn)原因處理方式雙擊bat一閃而過(guò)腳本跑完正常退出輸出沒(méi)來(lái)得及看打開(kāi)cmd手動(dòng)執(zhí)行或末尾加 pausepython不是內(nèi)部或外部命令安裝時(shí)沒(méi)勾選Add Python to PATH安裝Python時(shí)勾選或手動(dòng)添加環(huán)境變量pip安裝包后腳本仍ImportError裝錯(cuò)了解釋器環(huán)境全局 vs venv命令行確認(rèn) which python激活正確venvPermissionError文件被占用或當(dāng)前用戶無(wú)寫(xiě)權(quán)限關(guān)閉占用程序檢查目錄權(quán)限必要時(shí)用管理員權(quán)限讀取文件名亂碼/UnicodeDecodeErrorWindows下默認(rèn)編碼問(wèn)題打開(kāi)文件時(shí)顯式指定 encodingutf-8定時(shí)任務(wù)沒(méi)有執(zhí)行計(jì)劃任務(wù)里的程序/參數(shù)沒(méi)用絕對(duì)路徑檢查任務(wù)屬性程序填venv里的python絕對(duì)路徑工具命令無(wú)法被識(shí)別如pnpm、Python等PATH未配置或終端還是舊窗口重新打開(kāi)終端檢查環(huán)境變量pip下載超時(shí)網(wǎng)絡(luò)到源站不穩(wěn)定配置國(guó)內(nèi)鏡像源比如清華PyPI鏡像這里想特別展開(kāi)兩個(gè)高頻問(wèn)題。第一個(gè)是編碼問(wèn)題Windows下Python讀取文件或文件名時(shí)經(jīng)常碰到UnicodeDecodeError。解決方案就是前面表里寫(xiě)的所有打開(kāi)文件的操作盡量顯式寫(xiě)encodingutf-8必要時(shí)對(duì)讀取的文件名做容錯(cuò)處理。第二個(gè)是“定時(shí)任務(wù)沒(méi)跑”的排查順序先手動(dòng)執(zhí)行一遍任務(wù)里的命令看能否正常完成再確認(rèn)計(jì)劃任務(wù)的觸發(fā)器設(shè)置是否正確最后看程序是否用了絕對(duì)路徑。絕大多數(shù)定時(shí)任務(wù)問(wèn)題三步之內(nèi)就能定位。6.2 文件操作類腳本的“后悔藥”方案操作文件的腳本我建議在架構(gòu)上就給它鋪好后路。除了前面講過(guò)的dry-run還可以在移動(dòng)前先把原文件路徑記在一份日志或CSV里這樣即使出了亂子也能照著清單恢復(fù)。有人可能覺(jué)得這是“多此一舉”但真經(jīng)歷過(guò)一次誤移動(dòng)幾百個(gè)文件的痛苦就會(huì)明白這多出來(lái)的兩三行代碼有多值錢(qián)。除此之外涉及刪除操作的腳本我默認(rèn)不提供物理刪除能力而是移到一個(gè)名為trash的目錄定期人工清理。刪除是危險(xiǎn)操作中最危險(xiǎn)的一種它發(fā)生在毫秒之間后悔程度卻可以持續(xù)很久。讓腳本慢半拍、多留一步緩沖這不是笨是對(duì)真實(shí)文件系統(tǒng)的敬畏。6.3 我的排障心法二分法與最小復(fù)現(xiàn)最后分享一個(gè)通用的排障思路當(dāng)腳本報(bào)錯(cuò)但又說(shuō)不清哪里錯(cuò)時(shí)不要盯著幾百行代碼反復(fù)看而是用二分法找問(wèn)題。具體做法是先確認(rèn)腳本在哪一行開(kāi)始輸出與預(yù)期不符加幾個(gè)關(guān)鍵位置的調(diào)試打印或者復(fù)制出一段“最小復(fù)現(xiàn)”的sample數(shù)據(jù)人為觸發(fā)問(wèn)題。把問(wèn)題范圍從“整個(gè)項(xiàng)目”縮到“一個(gè)函數(shù)”再到“一行代碼”通常速度最快。我在調(diào)試那個(gè)文件整理腳本時(shí)曾遇到“有的文件歸檔成功有的文件靜默消失了”。當(dāng)時(shí)我沒(méi)有直接懷疑代碼邏輯而是把消失的那個(gè)文件路徑單獨(dú)拿出來(lái)跑了一遍這才發(fā)現(xiàn)目標(biāo)目錄的月份子目錄創(chuàng)建失敗導(dǎo)致shutil.move拋異常被上層邏輯吞掉了。發(fā)現(xiàn)過(guò)程沒(méi)什么神奇就是通過(guò)打印每步的實(shí)際狀態(tài)把范圍一步步縮到那個(gè)目錄權(quán)限上。這個(gè)習(xí)慣后來(lái)幫我省了無(wú)數(shù)時(shí)間。最后一點(diǎn)真實(shí)體會(huì)一個(gè)腳本真正成熟的標(biāo)志不是它第一天跑通時(shí)的興奮而是它連續(xù)運(yùn)行一個(gè)月后你幾乎忘記它的存在。我后來(lái)給整理腳本加上了日志、異常郵件提醒和pytest測(cè)試它就像一個(gè)沉默的值班員每天在固定時(shí)刻出現(xiàn)把那些瑣碎但必須做的事情處理完。自動(dòng)化帶給我的解放感不是“我再也不用做這些事了”而是“我終于有精力去做那些機(jī)器做不了的事了”。如果你正打算動(dòng)手寫(xiě)第一個(gè)腳本我的建議是從最小的場(chǎng)景開(kāi)始先讓它跑起來(lái)再逐步優(yōu)化。好的自動(dòng)化項(xiàng)目從來(lái)都是長(zhǎng)出來(lái)的不是一開(kāi)始設(shè)計(jì)出來(lái)的。