簡介這份資源面向計(jì)算機(jī)、數(shù)學(xué)、電子信息等專業(yè)正在做畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)或期末大作業(yè)的學(xué)生以及需要項(xiàng)目實(shí)戰(zhàn)練習(xí)的學(xué)習(xí)者提供一套基于聯(lián)邦學(xué)習(xí)與NSL-KDD數(shù)據(jù)集的網(wǎng)絡(luò)入侵檢測完整方案。項(xiàng)目經(jīng)導(dǎo)師指導(dǎo)并獲評審98分采用客戶端-服務(wù)器架構(gòu)包含聯(lián)邦訓(xùn)練、本地模型更新、連接通信與GUI可視化等模塊可幫助讀者理解聯(lián)邦學(xué)習(xí)在入侵檢測場景中的落地方式。壓縮包共63個(gè)文件約26.18MB以py源碼、pyc編譯文件、txt說明、log日志、weight權(quán)重、png/jpg結(jié)果對比圖及csv數(shù)據(jù)集為主另含README與許可證目錄結(jié)構(gòu)清晰便于按模塊查閱。目前已有307人學(xué)習(xí)下載。讀者可獲得可直接運(yùn)行的源碼、運(yùn)行說明、NSL-KDD數(shù)據(jù)集與訓(xùn)練權(quán)重并借助GUI界面觀察檢測效果適合作為參考資料學(xué)習(xí)借鑒若需擴(kuò)展功能則需讀懂代碼后自行調(diào)試。1. 聯(lián)邦學(xué)習(xí)NSL-KDD做入侵檢測為什么這套組合值得你花一個(gè)周末跑通很多做安全的同學(xué)第一次接觸 NSL-KDD 都是在課堂作業(yè)里用個(gè)決策樹跑出 99% 的準(zhǔn)確率然后就沒有然后了。問題在于真實(shí)網(wǎng)絡(luò)里流量數(shù)據(jù)不可能集中到一臺機(jī)器上——運(yùn)營商、云廠商、企業(yè)內(nèi)網(wǎng)各自握著一段流量誰都不愿意把原始 pcap 交出去。聯(lián)邦學(xué)習(xí)正好卡在這個(gè)點(diǎn)上模型參數(shù)可以共享原始數(shù)據(jù)不出本地。把聯(lián)邦學(xué)習(xí)和 NSL-KDD 拼在一起做網(wǎng)絡(luò)入侵檢測本質(zhì)上是在模擬「多個(gè)節(jié)點(diǎn)各自持有部分攻擊樣本協(xié)同訓(xùn)練一個(gè)全局檢測器」的場景。這套 Python 源碼帶 GUI 界面適合兩類人一是想入門聯(lián)邦學(xué)習(xí)但找不到合適數(shù)據(jù)集的算法工程師二是做入侵檢測想引入隱私保護(hù)機(jī)制的安服從業(yè)者。下面我從數(shù)據(jù)預(yù)處理一路講到 GUI 聯(lián)調(diào)把能踩的坑都標(biāo)出來。2. NSL-KDD 數(shù)據(jù)集的預(yù)處理從 41 維原始特征到聯(lián)邦節(jié)點(diǎn)可用的張量2.1 為什么 NSL-KDD 不能直接喂給模型NSL-KDD 是 KDD Cup 99 的修正版去掉了原始數(shù)據(jù)里大量重復(fù)記錄訓(xùn)練集 125973 條、測試集 22544 條每條 41 個(gè)特征加一個(gè)標(biāo)簽。這 41 維里有 3 個(gè)是字符串類型protocol_type、service、flag還有 38 個(gè)數(shù)值特征量綱差異極大——src_bytes 能到上億而 su_attempted 只有 0 或 1。直接丟進(jìn)神經(jīng)網(wǎng)絡(luò)梯度會被大數(shù)值特征主導(dǎo)小特征等于沒參與訓(xùn)練。常見做法是三步走獨(dú)熱編碼處理類別特征、Min-Max 歸一化處理數(shù)值特征、標(biāo)簽做二分類或多分類映射。二分類就是把 normal 標(biāo) 0其余所有攻擊類型標(biāo) 1多分類則細(xì)分為 DoS、Probe、R2L、U2R 四類加 normal 共五類。聯(lián)邦學(xué)習(xí)場景下我一般推薦先做二分類跑通鏈路再切多分類看節(jié)點(diǎn)間數(shù)據(jù)異構(gòu)的影響。import pandas as pd import numpy as np from sklearn.preprocessing import MinMaxScaler, LabelEncoder # NSL-KDD 列名官方文檔里給的 41 個(gè)特征 label difficulty COLUMNS [ duration,protocol_type,service,flag,src_bytes,dst_bytes, land,wrong_fragment,urgent,hot,num_failed_logins,logged_in, num_compromised,root_shell,su_attempted,num_root,num_file_creations, num_shells,num_access_files,num_outbound_cmds,is_host_login, is_guest_login,count,srv_count,serror_rate,srv_serror_rate, rerror_rate,srv_rerror_rate,same_srv_rate,diff_srv_rate, srv_diff_host_rate,dst_host_count,dst_host_srv_count, dst_host_same_srv_rate,dst_host_diff_srv_rate,dst_host_same_src_port_rate, dst_host_srv_diff_host_rate,dst_host_serror_rate,dst_host_srv_serror_rate, dst_host_rerror_rate,dst_host_srv_rerror_rate,label,difficulty ] def load_and_preprocess(train_path, test_path): train pd.read_csv(train_path, namesCOLUMNS) test pd.read_csv(test_path, namesCOLUMNS) # difficulty 列對訓(xùn)練無用直接丟掉 train.drop(difficulty, axis1, inplaceTrue) test.drop(difficulty, axis1, inplaceTrue) # 二分類標(biāo)簽normal - 0其余攻擊 - 1 train[label] train[label].apply(lambda x: 0 if x normal else 1) test[label] test[label].apply(lambda x: 0 if x normal else 1) # 類別特征獨(dú)熱編碼注意 train 和 test 要對齊列 cat_cols [protocol_type, service, flag] combined pd.concat([train, test], axis0) combined pd.get_dummies(combined, columnscat_cols) train combined.iloc[:len(train), :] test combined.iloc[len(train):, :] # 數(shù)值特征歸一化scaler 只在訓(xùn)練集上 fit num_cols [c for c in train.columns if c ! label] scaler MinMaxScaler() train[num_cols] scaler.fit_transform(train[num_cols]) test[num_cols] scaler.transform(test[num_cols]) return train, test, scaler train_df, test_df, scaler load_and_preprocess(KDDTrain.txt, KDDTest.txt) print(f訓(xùn)練集: {train_df.shape}, 測試集: {test_df.shape})這段代碼的關(guān)鍵點(diǎn)有三個(gè)。第一獨(dú)熱編碼必須把 train 和 test 拼在一起做否則 test 里出現(xiàn) train 沒見過的 service 類別時(shí)列數(shù)會對不上這是新手最常翻車的地方。第二MinMaxScaler 只能在訓(xùn)練集上 fit然后用同一個(gè) scaler 去 transform 測試集否則等于把測試集的信息泄漏進(jìn)了訓(xùn)練過程。第三歸一化后的特征范圍是 [0,1]但獨(dú)熱編碼產(chǎn)生的 0/1 列不受影響所以 num_cols 要排除 label 列但包含獨(dú)熱列實(shí)際跑下來沒問題。2.2 把數(shù)據(jù)集切給多個(gè)聯(lián)邦節(jié)點(diǎn)IID 和 Non-IID 兩種切法聯(lián)邦學(xué)習(xí)的核心設(shè)定是每個(gè)客戶端只持有部分?jǐn)?shù)據(jù)。NSL-KDD 本身是集中式數(shù)據(jù)集我們需要人為切分來模擬聯(lián)邦場景。切法直接決定實(shí)驗(yàn)結(jié)論的可信度。IID 切分最簡單把訓(xùn)練集隨機(jī)打亂后均分給 N 個(gè)客戶端每個(gè)客戶端的數(shù)據(jù)分布和全局一致。這種切法下聯(lián)邦平均FedAvg幾乎能逼近集中式訓(xùn)練的效果適合驗(yàn)證代碼鏈路是否跑通。Non-IID 切分才是真實(shí)場景。常見做法有兩種按攻擊類型切——比如客戶端 A 只有 DoS客戶端 B 只有 Probe客戶端 C 只有 normal或者用 Dirichlet 分布控制標(biāo)簽比例alpha 越小異構(gòu)越嚴(yán)重。我一般先用按類型切的方式因?yàn)樗苤庇^暴露「某個(gè)客戶端本地沒有某類攻擊全局模型還能不能學(xué)到」這個(gè)問題。import numpy as np def split_iid(df, num_clients5, seed42): IID 切分隨機(jī)均分 rng np.random.default_rng(seed) indices rng.permutation(len(df)) splits np.array_split(indices, num_clients) return [df.iloc[idx].reset_index(dropTrue) for idx in splits] def split_noniid_by_label(df, num_clients5, seed42): Non-IID 切分按標(biāo)簽分組后分配模擬標(biāo)簽異構(gòu) rng np.random.default_rng(seed) normal df[df[label] 0].sample(frac1, random_stateseed) attack df[df[label] 1].sample(frac1, random_stateseed) clients [] # 前 3 個(gè)客戶端以 normal 為主后 2 個(gè)以 attack 為主 normal_parts np.array_split(normal, 3) attack_parts np.array_split(attack, 2) for i in range(3): clients.append(normal_parts[i]) for i in range(2): clients.append(attack_parts[i]) return [c.reset_index(dropTrue) for c in clients] clients_iid split_iid(train_df, num_clients5) clients_noniid split_noniid_by_label(train_df, num_clients5) for i, c in enumerate(clients_noniid): ratio c[label].mean() print(f客戶端 {i}: {len(c)} 條, 攻擊占比 {ratio:.3f})Non-IID 切分后你會看到客戶端之間的攻擊占比差異巨大有的接近 0有的接近 1。這時(shí)候直接跑 FedAvg全局模型在攻擊占比低的客戶端上表現(xiàn)會明顯掉——這就是聯(lián)邦學(xué)習(xí)里最經(jīng)典的「客戶端漂移」問題。解決辦法后面第 4 章會講。3. 聯(lián)邦學(xué)習(xí)入侵檢測模型從本地 MLP 到 FedAvg 聚合的完整實(shí)現(xiàn)3.1 本地模型選型為什么 MLP 比 CNN/LSTM 更適合這個(gè)場景NSL-KDD 預(yù)處理后是約 122 維的扁平向量沒有空間結(jié)構(gòu)也沒有時(shí)序依賴。用 CNN 做一維卷積意義不大用 LSTM 反而增加參數(shù)量和通信開銷。MLP 在這個(gè)任務(wù)上收斂快、參數(shù)少、通信量低是聯(lián)邦學(xué)習(xí)場景下最務(wù)實(shí)的選擇。我一般用三層結(jié)構(gòu)輸入層 122 維隱藏層 128 和 64輸出層二分類用 1 個(gè) sigmoid 神經(jīng)元。隱藏層加 Dropout 0.3 防過擬合激活函數(shù)用 ReLU。優(yōu)化器選 Adam學(xué)習(xí)率 1e-3損失函數(shù)二分類用 BCEWithLogitsLoss比 SigmoidBCELoss 數(shù)值更穩(wěn)定。import torch import torch.nn as nn class IntrusionMLP(nn.Module): def __init__(self, input_dim, hidden1128, hidden264, dropout0.3): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden1), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden1, hidden2), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden2, 1) # 輸出 logits配合 BCEWithLogitsLoss ) def forward(self, x): return self.net(x).squeeze(-1) # 輸入維度從預(yù)處理后的數(shù)據(jù)推斷 input_dim train_df.shape[1] - 1 # 減去 label 列 model IntrusionMLP(input_dim) print(f輸入維度: {input_dim}, 參數(shù)量: {sum(p.numel() for p in model.parameters())})參數(shù)量大概在 2 萬左右每輪通信傳輸?shù)奶荻然驒?quán)重不到 100KB5 個(gè)客戶端跑 50 輪通信量也就幾十 MB完全在可接受范圍內(nèi)。如果你換成 ResNet 那種量級的模型通信開銷會直接爆炸聯(lián)邦學(xué)習(xí)的優(yōu)勢就沒了。3.2 FedAvg 聚合的代碼實(shí)現(xiàn)與三個(gè)必調(diào)參數(shù)FedAvg 的邏輯很直白每輪通信開始時(shí)服務(wù)器把全局權(quán)重下發(fā)給所有客戶端客戶端用本地?cái)?shù)據(jù)跑若干 epoch 的 SGD把更新后的權(quán)重傳回服務(wù)器服務(wù)器按各客戶端樣本數(shù)加權(quán)平均。聽起來簡單但實(shí)際調(diào)起來有三個(gè)參數(shù)直接決定成敗。第一個(gè)是客戶端本地 epoch 數(shù)local_epochs。設(shè)太小比如 1每輪通信的本地計(jì)算量不夠需要更多通信輪次才能收斂設(shè)太大比如 10客戶端會過度擬合本地?cái)?shù)據(jù)聚合后的全局模型反而變差。我一般從 3 開始試Non-IID 場景下調(diào)到 2。第二個(gè)是客戶端參與率client_fraction。每輪隨機(jī)選一部分客戶端參與模擬真實(shí)場景中設(shè)備可能離線的情況。5 個(gè)客戶端的話我一般設(shè) 0.6 到 0.8也就是每輪選 3 到 4 個(gè)。第三個(gè)是學(xué)習(xí)率。聯(lián)邦學(xué)習(xí)的學(xué)習(xí)率通常比集中式訓(xùn)練大一些因?yàn)槊枯喚酆舷喈?dāng)于做了一次模型平均有平滑效果。我一般用 0.01 起步配合 StepLR 每 20 輪衰減 0.5。import copy from torch.utils.data import DataLoader, TensorDataset def fedavg_train(clients_data, global_model, num_rounds50, local_epochs3, client_fraction0.8, lr0.01, devicecpu): global_model global_model.to(device) criterion nn.BCEWithLogitsLoss() history [] for rnd in range(num_rounds): # 隨機(jī)選客戶端 num_selected max(1, int(len(clients_data) * client_fraction)) selected np.random.choice(len(clients_data), num_selected, replaceFalse) local_weights [] local_sizes [] for cid in selected: df clients_data[cid] X torch.tensor(df.drop(label, axis1).values, dtypetorch.float32) y torch.tensor(df[label].values, dtypetorch.float32) loader DataLoader(TensorDataset(X, y), batch_size256, shuffleTrue) # 復(fù)制全局模型到本地 local_model copy.deepcopy(global_model) local_model.train() optimizer torch.optim.Adam(local_model.parameters(), lrlr) for epoch in range(local_epochs): for xb, yb in loader: xb, yb xb.to(device), yb.to(device) optimizer.zero_grad() loss criterion(local_model(xb), yb) loss.backward() optimizer.step() # 收集本地權(quán)重和樣本數(shù) local_weights.append({k: v.cpu().clone() for k, v in local_model.state_dict().items()}) local_sizes.append(len(df)) # 按樣本數(shù)加權(quán)平均 total sum(local_sizes) avg_weights {} for k in local_weights[0].keys(): avg_weights[k] sum(w[k] * (s / total) for w, s in zip(local_weights, local_sizes)) global_model.load_state_dict(avg_weights) history.append(avg_weights) print(fRound {rnd1}/{num_rounds} 完成, 參與客戶端: {list(selected)}) return global_model, history global_model IntrusionMLP(input_dim) trained_model, hist fedavg_train(clients_noniid, global_model, num_rounds30)這段代碼里local_sizes加權(quán)是關(guān)鍵。如果所有客戶端樣本數(shù)一樣等權(quán)平均也行但 Non-IID 切分后各客戶端樣本數(shù)差異可能很大不加權(quán)的話小樣本客戶端的噪聲會被放大。另外注意copy.deepcopy不能省否則本地訓(xùn)練會直接改到全局模型。3.3 全局模型評估在測試集上看準(zhǔn)確率、召回率和 F1訓(xùn)練完必須用獨(dú)立的測試集評估不能拿訓(xùn)練集或某個(gè)客戶端的數(shù)據(jù)來報(bào)指標(biāo)。NSL-KDD 的測試集里包含訓(xùn)練集沒出現(xiàn)過的攻擊子類型這正好能檢驗(yàn)?zāi)Ｐ偷姆夯芰?。from sklearn.metrics import accuracy_score, recall_score, f1_score, confusion_matrix def evaluate(model, test_df, devicecpu): model.eval() X torch.tensor(test_df.drop(label, axis1).values, dtypetorch.float32).to(device) y_true test_df[label].values with torch.no_grad(): logits model(X) probs torch.sigmoid(logits).cpu().numpy() y_pred (probs 0.5).astype(int) acc accuracy_score(y_true, y_pred) rec recall_score(y_true, y_pred) f1 f1_score(y_true, y_pred) cm confusion_matrix(y_true, y_pred) print(f準(zhǔn)確率: {acc:.4f}, 召回率: {rec:.4f}, F1: {f1:.4f}) print(f混淆矩陣:\n{cm}) return acc, rec, f1 evaluate(trained_model, test_df)入侵檢測場景下召回率比準(zhǔn)確率更重要——漏掉一個(gè)攻擊的代價(jià)遠(yuǎn)大于誤報(bào)一個(gè)正常流量。如果召回率低于 0.95優(yōu)先調(diào)低分類閾值到 0.3 左右試試或者增加攻擊樣本的權(quán)重。4. 聯(lián)邦學(xué)習(xí)做入侵檢測的避坑指南5 個(gè)血淚教訓(xùn)4.1 坑一Non-IID 下全局模型精度斷崖式下跌現(xiàn)象IID 切分時(shí)全局模型準(zhǔn)確率能到 0.98換成按標(biāo)簽切分后掉到 0.85 以下某些客戶端本地評估甚至不到 0.7。原因客戶端本地?cái)?shù)據(jù)標(biāo)簽分布嚴(yán)重偏斜本地 SGD 把模型往各自的方向拉FedAvg 簡單加權(quán)平均后得到的全局模型在任何一個(gè)客戶端上都不是最優(yōu)的。這就是聯(lián)邦學(xué)習(xí)里的客戶端漂移問題。解決三個(gè)方向。一是加 FedProx 的近端項(xiàng)在本地?fù)p失里加一個(gè)mu/2 * ||w - w_global||^2懲罰本地模型偏離全局太遠(yuǎn)mu 一般設(shè) 0.01 到 0.1。二是用 Scaffold 做控制變量校正但實(shí)現(xiàn)復(fù)雜度高。三是最簡單的——增加客戶端參與率到 1.0讓每輪所有客戶端都參與犧牲通信效率換精度。4.2 坑二獨(dú)熱編碼后 train 和 test 列數(shù)不一致現(xiàn)象預(yù)處理完 train 是 122 列test 是 119 列模型 forward 時(shí)報(bào)維度不匹配。原因test 集里出現(xiàn)了 train 集沒有的 service 類別比如某些罕見服務(wù)pd.get_dummies分別處理時(shí)生成的列不同。解決必須把 train 和 test 拼在一起做get_dummies然后再拆開。如果內(nèi)存不夠至少要用reindex對齊列缺失的列填 0。這個(gè)坑我在三個(gè)項(xiàng)目里都遇到過每次都是同一個(gè)原因。4.3 坑三歸一化 scaler 在測試集上重新 fit現(xiàn)象離線評估指標(biāo)很好部署到新流量上效果暴跌。原因測試時(shí)對每個(gè) batch 單獨(dú)做歸一化或者用測試集重新 fit 了 scaler導(dǎo)致訓(xùn)練和推理時(shí)的特征尺度不一致。解決scaler 必須和模型權(quán)重一起保存推理時(shí)加載同一個(gè) scaler。用 joblib 保存import joblib joblib.dump(scaler, scaler.pkl) # 推理時(shí) scaler joblib.load(scaler.pkl) X_new scaler.transform(raw_features) # 只 transform不 fit4.4 坑四GUI 主線程跑訓(xùn)練導(dǎo)致界面卡死現(xiàn)象點(diǎn)「開始訓(xùn)練」按鈕后窗口無響應(yīng)進(jìn)度條不動Windows 上直接顯示「未響應(yīng)」。原因PyQt/Tkinter 的事件循環(huán)和訓(xùn)練循環(huán)在同一個(gè)線程里訓(xùn)練阻塞了 UI 刷新。解決把訓(xùn)練邏輯放到 QThread 或 threading.Thread 里通過信號槽機(jī)制更新進(jìn)度條。PyQt 里用pyqtSignal傳遞每輪 loss 和準(zhǔn)確率主線程只負(fù)責(zé)刷新界面。注意子線程里不能直接操作 UI 控件必須走信號。4.5 坑五模型保存時(shí)只存 state_dict 忘了存輸入維度現(xiàn)象加載模型推理時(shí)報(bào)size mismatch因?yàn)樾陆Ｐ蜁r(shí) input_dim 傳錯(cuò)了。原因torch.save(model.state_dict())只保存權(quán)重不保存網(wǎng)絡(luò)結(jié)構(gòu)信息。加載時(shí)如果 input_dim 和訓(xùn)練時(shí)不一致第一層 Linear 的權(quán)重形狀就對不上。解決保存時(shí)把 input_dim 一起存進(jìn) checkpointtorch.save({ state_dict: model.state_dict(), input_dim: input_dim, hidden1: 128, hidden2: 64 }, fed_model.pth) # 加載時(shí) ckpt torch.load(fed_model.pth) model IntrusionMLP(ckpt[input_dim], ckpt[hidden1], ckpt[hidden2]) model.load_state_dict(ckpt[state_dict])5. GUI 界面聯(lián)調(diào)與進(jìn)階讓聯(lián)邦入侵檢測從腳本變成能演示的工具5.1 用 PyQt5 搭一個(gè)最小可用的聯(lián)邦訓(xùn)練控制臺GUI 不需要花哨能展示「客戶端列表、訓(xùn)練輪次、實(shí)時(shí)指標(biāo)、開始/停止按鈕」就夠了。我用 PyQt5 搭過一個(gè)核心結(jié)構(gòu)是一個(gè) QMainWindow 加一個(gè) QThread 子類。QThread 的 run 方法里跑 fedavg_train每輪結(jié)束通過 signal 把 round 編號和當(dāng)前全局模型在驗(yàn)證集上的 F1 發(fā)回主線程主線程更新 QLabel 和 QProgressBar。from PyQt5.QtCore import QThread, pyqtSignal from PyQt5.QtWidgets import QApplication, QMainWindow, QPushButton, QLabel, QVBoxLayout, QWidget, QProgressBar import sys class TrainThread(QThread): progress pyqtSignal(int, float) # round, f1 finished pyqtSignal(object) def __init__(self, clients, model, rounds): super().__init__() self.clients clients self.model model self.rounds rounds def run(self): # 這里調(diào)用第 3 章的 fedavg_train每輪回調(diào) progress for rnd in range(self.rounds): # ... 訓(xùn)練邏輯 ... f1 0.0 # 實(shí)際從評估函數(shù)拿 self.progress.emit(rnd 1, f1) self.finished.emit(self.model) class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle(聯(lián)邦學(xué)習(xí)入侵檢測控制臺) layout QVBoxLayout() self.status QLabel(就緒) self.bar QProgressBar() self.btn QPushButton(開始訓(xùn)練) self.btn.clicked.connect(self.start_train) layout.addWidget(self.status) layout.addWidget(self.bar) layout.addWidget(self.btn) container QWidget() container.setLayout(layout) self.setCentralWidget(container) def start_train(self): self.thread TrainThread(clients_noniid, IntrusionMLP(input_dim), 30) self.thread.progress.connect(self.update_ui) self.thread.finished.connect(lambda m: self.status.setText(訓(xùn)練完成)) self.thread.start() self.btn.setEnabled(False) def update_ui(self, rnd, f1): self.bar.setValue(int(rnd / 30 * 100)) self.status.setText(f第 {rnd} 輪, F1{f1:.4f}) app QApplication(sys.argv) win MainWindow() win.show() sys.exit(app.exec_())這段代碼的關(guān)鍵是QThread和pyqtSignal的配合。progress信號帶兩個(gè)參數(shù)int 和 float主線程的update_ui槽函數(shù)接收后更新進(jìn)度條和標(biāo)簽。注意self.btn.setEnabled(False)防止重復(fù)點(diǎn)擊啟動多個(gè)線程訓(xùn)練完成后在 finished 回調(diào)里重新啟用。5.2 驗(yàn)證聯(lián)邦學(xué)習(xí)是否真的比本地訓(xùn)練強(qiáng)一個(gè)對照實(shí)驗(yàn)很多人跑完聯(lián)邦學(xué)習(xí)發(fā)現(xiàn)精度和單機(jī)訓(xùn)練差不多就懷疑聯(lián)邦學(xué)習(xí)沒用。其實(shí)要證明聯(lián)邦學(xué)習(xí)的價(jià)值需要做三組對照第一組每個(gè)客戶端只用本地?cái)?shù)據(jù)訓(xùn)練在全局測試集上評估第二組把所有客戶端數(shù)據(jù)集中起來訓(xùn)練一個(gè)模型第三組跑 FedAvg。如果第三組明顯優(yōu)于第一組、接近第二組說明聯(lián)邦學(xué)習(xí)在隱私約束下確實(shí)有效。我跑 NSL-KDD Non-IID 切分的經(jīng)驗(yàn)值是本地訓(xùn)練 F1 大概 0.72 到 0.78FedAvg 能到 0.88 到 0.92集中式訓(xùn)練 0.95 左右。差距主要來自 Non-IID 導(dǎo)致的客戶端漂移用 FedProx 能把 FedAvg 再拉高 2 到 3 個(gè)百分點(diǎn)。訓(xùn)練方式準(zhǔn)確率召回率F1數(shù)據(jù)是否出本地本地獨(dú)立訓(xùn)練0.810.740.75是FedAvg0.930.900.91是集中式訓(xùn)練0.970.950.96否這張表是我在 5 客戶端、按標(biāo)簽 Non-IID 切分、30 輪通信下的典型結(jié)果。你的數(shù)字會因隨機(jī)種子和切分方式有波動但趨勢應(yīng)該一致。5.3 一個(gè)容易被忽略的技巧用模型參數(shù)量控制通信輪次聯(lián)邦學(xué)習(xí)最貴的不是計(jì)算是通信。如果你發(fā)現(xiàn) 30 輪還沒收斂先別急著加到 100 輪檢查一下模型參數(shù)量。我見過有人用 4 層 512 維的 MLP 跑 NSL-KDD參數(shù)量 80 萬每輪通信 3MB5 個(gè)客戶端 100 輪就是 1.5GB 流量。把隱藏層降到 128 和 64參數(shù)量降到 2 萬通信量降 40 倍收斂輪次反而更少——因?yàn)樾∧Ｐ驮?Non-IID 下更不容易過擬合本地?cái)?shù)據(jù)。我現(xiàn)在的習(xí)慣是先用小模型跑通鏈路看收斂曲線如果 20 輪內(nèi) F1 能到 0.85 以上就不加參數(shù)如果卡在 0.8 以下先調(diào) local_epochs 和 client_fraction最后才考慮加模型容量。這個(gè)順序幫我省了很多無謂的調(diào)參時(shí)間。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取