1. 項目概述每次月底盤點水果庫存時你是不是也對著幾十張Excel表格發(fā)愁從不同門店收集來的銷售數(shù)據(jù)格式五花八門手動復制粘貼不僅容易出錯還特別耗時。去年夏天我在連鎖水果店做系統(tǒng)升級時就遇到過這個痛點 - 當時財務部的同事每周要花6個小時做數(shù)據(jù)匯總還經(jīng)常因為漏統(tǒng)計被老板批評。這個Python腳本就是為了解決這個具體場景設計的。它能夠自動識別不同格式的Excel文件提取其中的水果品類和對應數(shù)量最終生成一份標準化的匯總報表。最棒的是整個過程完全不需要打開Excel后臺自動運行3分鐘就能完成原本需要半天的工作量。2. 核心功能解析2.1 多格式文件兼容傳統(tǒng)VBA腳本最大的問題就是遇到格式變化的文件就會報錯。我們的解決方案是采用智能識別策略首先嘗試用pandas直接讀取兼容xls/xlsx如果失敗轉(zhuǎn)為使用openpyxl逐行掃描通過關鍵詞匹配定位數(shù)據(jù)區(qū)域比如搜索蘋果、香蕉等水果名稱def detect_data_sheet(file_path): try: df pd.read_excel(file_path) if 品類 in df.columns and 數(shù)量 in df.columns: return df except: wb openpyxl.load_workbook(file_path) for sheet in wb: for row in sheet.iter_rows(): for cell in row: if isinstance(cell.value, str) and any(fruit in cell.value for fruit in FRUIT_LIST): return parse_custom_format(sheet)2.2 智能數(shù)據(jù)清洗不同門店的數(shù)據(jù)往往存在各種問題單位不統(tǒng)一有的用斤有的用kg名稱不規(guī)范紅富士 vs 富士蘋果空白或錯誤數(shù)據(jù)我們建立了標準化處理流程單位統(tǒng)一轉(zhuǎn)換為千克水果名稱映射到標準品類異常值自動標記待核查提示建議在config.py中維護一個水果名稱映射表后續(xù)新增品類只需修改這個文件3. 完整實現(xiàn)步驟3.1 環(huán)境準備推薦使用Python 3.8版本主要依賴庫pandas 1.3openpyxl 3.0xlrd 2.0用于兼容老版xls格式安裝命令pip install pandas openpyxl xlrd --upgrade3.2 核心代碼解析主程序邏輯分為四個模塊文件遍歷模塊def scan_folder(folder_path): valid_files [] for file in os.listdir(folder_path): if file.endswith((.xls, .xlsx)): valid_files.append(os.path.join(folder_path, file)) return valid_files數(shù)據(jù)提取模塊def extract_fruit_data(file): # 實現(xiàn)上文提到的智能識別邏輯 ...數(shù)據(jù)聚合模塊def aggregate_data(data_list): total_df pd.concat(data_list) summary total_df.groupby(標準品類)[數(shù)量].sum() return summary.sort_values(ascendingFalse)結果輸出模塊def save_report(result_df, output_path): with pd.ExcelWriter(output_path) as writer: result_df.to_excel(writer, sheet_name匯總) # 自動添加數(shù)據(jù)透視表 ...3.3 使用示例將腳本保存為fruit_summary.py后python fruit_summary.py -i ./input_files -o ./output/report.xlsx參數(shù)說明-i 指定輸入文件夾路徑-o 指定輸出文件路徑4. 實戰(zhàn)技巧與避坑指南4.1 性能優(yōu)化處理大量文件時需要注意使用glob替代os.listdir提高文件搜索效率對于超大型Excel50MB改用chunksize分塊讀取啟用多線程處理建議用concurrent.futuresfrom concurrent.futures import ThreadPoolExecutor def batch_process(files): with ThreadPoolExecutor(max_workers4) as executor: results list(executor.map(process_single_file, files)) return results4.2 常見問題排查編碼問題遇到中文亂碼時在read_excel中添加encodinggbk參數(shù)特殊字符處理可以使用errorsignore選項格式異常合并單元格會導致pandas讀取錯位需要先預處理遇到加密文件時提示用戶手動處理內(nèi)存不足對于超多文件100個建議分批處理使用del及時釋放不再使用的DataFrame5. 擴展應用場景這個腳本經(jīng)過簡單修改還可以用于連鎖餐廳的食材庫存統(tǒng)計超市日用品銷售分析電商平臺商品數(shù)據(jù)匯總進階改進方向增加自動郵件發(fā)送功能集成到釘釘/企業(yè)微信機器人開發(fā)可視化看板我在實際使用中發(fā)現(xiàn)最耗時的其實不是編碼過程而是前期與各部門確認數(shù)據(jù)標準的時間。建議在正式使用前先拿3-5個典型文件做充分測試確保識別規(guī)則覆蓋所有特殊情況。