简介本资源是一套基于联邦学习与NSL-KDD数据集的网络入侵检测高分实践项目面向计算机、网络安全及相关专业本科生与研究生适用于课程设计、期末大作业及AI安全方向项目实战。项目完整实现分布式环境下的多客户端协同训练兼顾数据隐私保护与检测精度提升并配套GUI界面便于数据探索与结果可视化。压缩包共63个文件含12个核心Python源码涵盖客户端/服务器逻辑、模型构建、GUI交互、数据预处理等模块、26个编译后pyc文件、10个说明类txt文档、3个权重文件.weight、2个png图表及README.md等整体26.19MB结构清晰、模块解耦度高。已有85人学习下载提供从环境配置、数据加载、联邦训练到本地测试的全流程运行指南附带日志记录、对比图输出与模型权重保存机制可直接复现98分评审成果并深入理解联邦学习在网络安全场景中的落地路径。 做网络入侵检测的课设、毕设或者横向课题很多人第一反应都是把NSL-KDD数据集下载下来跑一个随机森林或者深度学习分类器画个混淆矩阵就算交差。但一旦题目里带上“联邦学习”四个字整个玩法就变了——不再是一个模型在所有数据上集中训练而是多个参与方在数据不出本地的前提下协同训出一个全局入侵检测模型。项目标题里这个“使用联邦学习与NSL-KDD数据集进行网络入侵检测的Python代码及运行指南高分项目.zip”说白了就是一套能直接跑的完整工程核心是用联邦学习框架解决传统集中式入侵检测的数据隐私痛点。这篇文章把这套项目从数据预处理、特征编码、联邦训练架构到代码运行、结果评估的完整链路全部拆开讲适合正在做联邦学习方向课设/毕设的同学也想把联邦学习落地到安全场景里的工程师参考。1. 为什么用联邦学习做入侵检测数据不出本地才是关键1.1 传统入侵检测方案的数据困局传统网络入侵检测系统NIDS最常见的是集中式架构各网络节点、各分公司的流量日志汇聚到一台中心服务器统一训练一个检测模型。听起来简单但实际部署时第一个问题就是数据隐私和合规。流量日志里包含大量内部业务特征很多企业连自己部门之间的数据都不愿意共享更别说跨公司合作。你拿不到高质量的真实流量数据模型训练就成了空谈。就算拿到了中心化存储本身就是巨大的被攻击面某一次数据泄露就能让所有参与方的敏感信息全部暴露。这个问题在学术上叫“数据孤岛”。我做这个项目之前调研过一些真实的NIDS部署案例很多安全团队手里其实都有不错的流量样本但谁也不愿意把它们合并到一个地方。另一方面攻击模式是持续演变的单一机构的数据量通常不够支撑一个泛化能力足够好的入侵检测模型。于是联邦学习成了一个非常自然的解法大家各自的流量数据留在本地只有模型参数参与交换。1.2 联邦学习在入侵检测场景中的核心价值联邦学习的思路最早来自Google的移动端输入法优化方案核心就是“数据不动模型动”。每一方在本地用自己的数据训练模型只上传模型权重或梯度中心服务器把这些参数聚合起来更新全局模型再下发到各方迭代。整个过程中原始数据从未离开本地既保留了多方联合建模的能力又避开了数据集中的隐私风险。放到入侵检测场景里这个机制的价值就很直接不同机构的网络环境、业务类型、攻击特征差异很大联合训练能够让模型看到更多样化的攻击模式提升泛化能力。而安全行业本身对数据敏感度极高联邦学习几乎是为这个场景量身定做的。项目里用NSL-KDD数据集做实验本质上是在模拟“多个组织的网络流量数据各自持有协作训练一个统一入侵检测模型”的过程。1.3 为什么选NSL-KDD而不是CICIDS2017或UNSW-NB15目前公开的网络入侵检测数据集有好几个NSL-KDD、CICIDS2017、UNSW-NB15等。这个项目选了NSL-KDD原因很实际规模适中NSL-KDD的训练集约12.5万条、测试集约2.2万条单机跑联邦学习模拟完全没压力不用上GPUCPU也能在合理时间内跑完一轮实验。去冗余设计NSL-KDD是KDDCUP99的改进版剔除了大量重复记录训练集和测试集的样本比例也更合理不会出现“测试集里一大半跟训练集重复”的作弊式高分。公开的Train/Test划分论文和课设里可以直接复现对比方便这是评分项目特别喜欢它的原因。41维特征覆盖面广包含了基础连接特征、内容特征和流量统计特征能逼你把特征工程做完整而不是直接丢进深度学习模型就完事。五分类标签Normal、DoS、Probe、R2L、U2R类别的长尾分布很典型能让你在课程项目中实操一把“类别不平衡处理”。当然CICIDS2017更贴近真实网络流量但数据量非常大约280万条预处理和训练成本远高于课设范畴。NSL-KDD虽然老但用来理解联邦学习和入侵检测的链路效率是最高的。2. NSL-KDD数据集别急着开跑先搞懂这41个特征2.1 NSL-KDD与KDDCUP99的差异NSL-KDD由加拿大新不伦瑞克大学的研究人员在KDDCUP99基础上重新整理而来主要做了三件事去除冗余记录、合理调整训练/测试集比例、保证各类别在训练和测试集中的分布更合理。原始KDDCUP99训练集约490万条NSL-KDD精简到约12.5万条但检测难度没有显著降低反而因为去重测试结果更能反映模型真实的泛化能力。KDDTrain.txt 和 KDDTest.txt 是标准划分另外还有一个 KDDTest-21.txt这是把测试集中“最容易被识别”的样本挑掉21%后的子集难度更高。多数课程项目用 KDDTest.txt 就够但如果想挑战更真实的评估效果可以用 KDDTest-21.txt 看模型在难样本上的表现。2.2 41维特征分三类看预处理就清晰了NSL-KDD每条记录有41维特征加1个标签标签分5类Normal、DoS、Probe、R2L、U2R。这41维特征粗分为三组类别维度示例说明基础连接特征duration、protocol_type、service、flag、src_bytes、dst_bytes单个TCP/UDP连接的属性内容特征hot、failed_logins、logged_in、num_compromised、root_shell与连接内容相关的域通常需要领域知识提取流量统计特征count、srv_count、serror_rate、same_srv_rate、dst_host_count等基于时间窗口统计的连接行为特征其中 protocol_type、service、flag 是类别型离散特征protocol_type 有3个取值tcp、udp、icmpservice 有70个取值flag 有11个取值。这三列必须做编码变换其余绝大多数是数值型连续特征需要做标准化。预处理就是围绕“类别特征编码数值特征标准化”展开。2.3 预处理三步走缺失值、编码、标准化第一步是缺失值。NSL-KDD原始文件里一般没有缺省值但为了稳妥还是应该检查一下读入DataFrame后用df.isna().sum()扫一遍有缺失的直接填充0或删除该行项目代码里建议用dropna()保留完整样本。第二步是类别特征编码。这一步有个很关键的细节直接在原始列上做pd.get_dummies()是最省事的方式代价是输出的特征维度和类别出现顺序绑定。联邦学习场景下不同客户端拿到的数据子集里某些类别可能压根没出现如果各自做one-hot编码特征维度会对不上聚合直接崩溃。所以项目采用的是“先整体确定类别全集再统一编码映射”的方式后面第4章会给出具体实现。第三步是数值特征标准化。推荐用StandardScaler()把所有数值特征缩放到均值0、方差1附近这对神经网络的收敛速度影响非常大。但注意联邦场景下“标准化”本身也有讲究如果所有客户端共享同一个Scaler就相当于把全局数据统计信息传给了各方在严格隐私设定下这不太“联邦”。课程项目一般可以简化处理先在训练集上fit好Scaler再下发给各客户端用如果要写进项目报告建议说明这个假设。3. 联邦框架设计客户端-服务端架构与FedAvg聚合逻辑3.1 整体架构中心化服务的星型拓扑这套项目的架构是一个非常标准的中心化联邦学习拓扑一个服务端Server、多个客户端Client。服务端维护全局模型客户端持有各自的本地数据子集。每轮全局通信的过程如下服务端把当前全局模型参数下发到所有参与客户端各客户端在本地数据上独立训练若干epoch训练完成后客户端只上传更新后的模型参数不发送任何原始数据服务端收集所有客户端的参数按权重执行FedAvg聚合聚合后的全局模型进入下一轮迭代。在单机模拟环境下所有客户端和服务端其实是跑在同一个Python进程里的“下发”和“上传”都只是参数对象的内存复制。这么做的好处是逻辑清晰、便于调试也不影响理解联邦学习的真实通信模式。如果要做成真正的分布式系统只需要把参数发送替换成Socket或gRPC通信即可。3.2 FedAvg聚合算法按样本量加权平均FedAvgFederated Averaging是联邦学习最经典的聚合算法。它的核心逻辑很简单全局模型参数 每个客户端参数的加权平均权重就是该客户端的本地样本量占所有参与客户端总样本量的比例。假设有K个客户端第k个客户端样本量为n_k本地训练后模型参数为w_k全局参数更新为w_global Σ(n_k / n_total) * w_k其中 n_total Σ n_k这样样本量大的客户端在聚合中贡献更大逻辑合理。实现上只需要在服务端遍历一次各客户端上传的参数按样本比例做加权求和def fed_average(client_params, client_sizes): total_size sum(client_sizes) global_params {} for key in client_params[0].keys(): global_params[key] sum( (client_params[i][key] * client_sizes[i]) / total_size for i in range(len(client_params)) ) return global_params这里有个容易踩的坑PyTorch模型的参数是Tensor直接乘浮点权重没问题但最后要把结果重新包装成模型可加载的OrderedDict状态字典否则model.load_state_dict()会报类型错误。项目中我们在得到加权求和结果后用{k: v.clone() for k, v in global_params.items()}做一个拷贝确保后续模型更新不会影响聚合结果。3.3 单机模拟多客户端数据切片与Non-IID设置单机模拟联邦学习最关键的一步就是把完整数据集合理地分给多个客户端。最简单的分法是IID独立同分布切分把所有数据随机打乱后按比例分成K份每个客户端拿一份。这种分法模拟的是“所有参与方数据分布相似”的理想情况。更接近真实的是Non-IID切分模拟“不同参与方所处网络环境不同、遭遇攻击类型也不同”的实际情况。比如可以按标签类别进行偏斜分配客户端A的数据里80%是DoS攻击样本客户端B的数据里80%是Probe探测样本客户端C的数据里80%是正常流量。我在项目代码里同时提供了两种切分方式默认用IID随机切分保证基础结果稳定调试通过后可以切到Non-IID观察联邦学习在数据异构条件下的性能变化。4. 核心Python代码拆解从数据加载到联邦训练主流程4.1 数据加载与统一编码解决各客户端维度不一致问题数据加载这部分项目里分两个函数load_raw_data()负责读取原始TXT文件build_feature_pipeline()负责生成统一的编码映射。关键代码结构如下def load_raw_data(train_path, test_path): columns [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label ] train_df pd.read_csv(train_path, headerNone, namescolumns) test_df pd.read_csv(test_path, headerNone, namescolumns) return train_df, test_df统一编码阶段先遍历全部数据确定类别特征的categories再交给LabelEncoder或者直接构造映射字典。这样每个客户端做one-hot时都使用同一个“字典”维度一定一致。核心逻辑categorical_cols [protocol_type, service, flag] def fit_category_mapping(dfs): # dfs是一个DataFrame列表项目里传的是[训练集, 测试集] mapping {} for col in categorical_cols: unique_vals set() for df in dfs: unique_vals | set(df[col].unique()) mapping[col] {val: idx for idx, val in enumerate(sorted(unique_vals))} return mapping def encode_and_scale(df, category_map, scalerNone): df df.copy() for col in categorical_cols: df[col _code] df[col].map(category_map[col]) df pd.get_dummies(df, columnscategorical_cols, prefixcategorical_cols, drop_firstFalse) # 然后对数值列做标准化 return df这里的重点是训练集和测试集必须用同一个category_map否则测试集里如果出现训练集没见过的service类别map()会返回NaN你的输入特征维度就乱了。4.2 MLP本地模型定义项目里的本地模型是一个三层的多层感知机MLP输入维度根据预处理后的特征数动态计算隐藏层设为128和64输出维度按分类任务设定二分类为2五分类为5中间用ReLU激活函数和Dropout做正则化import torch import torch.nn as nn class MLP(nn.Module): def __init__(self, input_dim, hidden_dim128, num_classes5, dropout0.3): super(MLP, self).__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden_dim, hidden_dim // 2), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden_dim // 2, num_classes) ) def forward(self, x): return self.net(x)为什么不选CNN或更复杂的网络NSL-KDD本质上是表格数据没有时空结构MLP在参数效率上反而更高。联邦学习每轮要传输全部模型参数MLP体量小通信开销低迭代速度快。做课程项目时完全不用追求大模型先把链路跑通更重要。4.3 客户端本地训练逻辑每个客户端本质上就是一个普通的PyTorch训练器。区别在于它的初始权重来自服务端下发的全局模型本地训练只更新自己的部分训练完把参数返回给服务端。核心逻辑def client_train(global_params, train_loader, local_epochs, lr, device): model MLP(input_dimfeature_dim, num_classesnum_classes).to(device) model.load_state_dict(global_params) optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.CrossEntropyLoss() model.train() for epoch in range(local_epochs): for batch_x, batch_y in train_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) optimizer.zero_grad() outputs model(batch_x) loss loss_fn(outputs, batch_y) loss.backward() optimizer.step() return {k: v.cpu().clone() for k, v in model.state_dict().items()}local_epochs一般设置在3~5之间。如果本地训练轮数太大客户端会各自收敛到局部最优聚合出来的全局模型反而变差。这也是联邦学习和传统分布式训练的一个明显差别本地更新太狠会对全局聚合产生负面影响。4.4 服务端聚合与主流程主流程把前面所有的模块串起来。项目里的run_federated_learning()函数大致结构如下def run_federated_learning(...): global_model MLP(input_dimfeature_dim, num_classesnum_classes) global_params global_model.state_dict() for round_idx in range(num_rounds): print(fGlobal Round {round_idx 1}/{num_rounds}) client_params [] client_sizes [] for client_id in range(num_clients): # 从每个客户端获取本地训练后的参数 params, size clients[client_id].local_train(global_params) client_params.append(params) client_sizes.append(size) # FedAvg聚合 global_params fed_average(client_params, client_sizes) global_model.load_state_dict(global_params) # 每轮结束后在测试集上评估一次 if (round_idx 1) % eval_interval 0: metrics evaluate(global_model, test_loader) print(metrics) return global_model每轮评估一次可以看到准确率和F1分数随全局轮次的变化曲线。课程项目报告里展示这条曲线比只贴一个最终数字有说服力得多。5. 完整运行指南从环境准备到出结果5.1 环境与依赖安装我建议直接用Anaconda创建独立的虚拟环境避免把系统Python搞乱。Python版本3.8~3.10都行核心依赖如下# 创建并激活虚拟环境 conda create -n fed-nsl python3.9 -y conda activate fed-nsl # 安装依赖包 pip install torch pandas numpy scikit-learn matplotlib这里说明一下几个包的作用torch负责模型构建和训练pandas负责读取CSV/TXT数据集numpy做数组操作scikit-learn提供评估指标accuracy、precision、recall、f1_scorematplotlib用于绘制训练曲线。如果没有GPU用CPU版本PyTorch就够了pip install torch --index-url https://download.pytorch.org/whl/cpu可以显著减小安装体积。5.2 项目目录结构与运行命令解压zip后推荐的项目结构如下federated-nslkdd/ ├── data/ # 存放 NSL-KDD 原始 txt 文件 │ ├── KDDTrain.txt │ └── KDDTest.txt ├── src/ │ ├── data_loader.py # 数据读取与预处理 │ ├── model.py # MLP模型定义 │ ├── client.py # 客户端逻辑 │ ├── server.py # 服务端聚合逻辑 │ └── main.py # 主入口脚本 ├── output/ │ ├── metrics.json # 每轮评估结果 │ └── training_curve.png # 训练曲线 └── requirements.txt运行方式非常简单python src/main.py如果代码里把配置项集中在main.py顶部的Config类你要做的就是打开main.py修改几个关键参数class Config: num_clients 3 # 模拟客户端数量 num_rounds 20 # 全局联邦通信轮数 local_epochs 5 # 每轮本地训练epoch数 batch_size 128 # 本地训练batch大小 lr 0.001 # 学习率 num_classes 5 # 五分类Normal/DoS/Probe/R2L/U2R non_iid False # 是否启用Non-IID数据切分默认参数下CPU单机跑20轮、3个客户端、每轮5个epoch大概需要几分钟到十几分钟取决于机器配置。对比RNN类模型动辄几十分钟的训练时间这个项目的可调试性要好很多。5.3 结果输出与评估指标解读运行结束后output/目录下会生成两个主要文件。metrics.json里记录了每轮全局模型在测试集上的整体指标和每个类别的precision、recall、F1-scoretraining_curve.png则是准确率和损失值随轮次变化的曲线图。评估指标需要重点看三个Accuracy整体准确率、Macro-F1所有类别的F1平均值对类别不平衡不敏感、以及每类的Recall召回率。NSL-KDD测试集里R2L和U2R样本非常少如果模型把所有样本都预测成Normal或者DoS整体Accuracy也能到70%左右看起来很“正常”但R2L的Recall可能直接是0。所以报告里至少要同时提供Accuracy和Macro-F1再配合每个类别的混淆矩阵才能说明模型真实可用。6. 实测踩坑与调优记录6.1 One-Hot编码维度不一致联邦场景特有的崩溃点我第一次跑通流程时图省事在每个客户端内部直接用pd.get_dummies()处理类别特征结果在服务端聚合时直接报错。原因很简单随机切分数据后客户端A的service列可能只有40个不同值客户端B有52个各自one-hot之后的特征维度分别是41和53模型参数对不上聚合代码直接崩溃。这也是我在第4章强调“统一编码映射”的原因。这类错误只在联邦学习里会碰到单机集中训练完全不会暴露项目报告里如果能写清楚这个坑是非常加分的。6.2 Non-IID数据切分下FedAvg收敛变慢甚至震荡默认IID切分时20轮内准确率就能稳定收敛到比较高的水平。但切到Non-IID后模型在前10轮经常出现“上一轮准确率很高、下一轮突然掉下去”的震荡现象。我查了资料结合实测总结出三个有效缓解手段调大全局通信轮数从20轮增加到50轮给聚合过程更多时间让参数互相“磨合”。降低本地epoch从5降到2减少客户端向自己局部最优方向跑太远。提高客户端参与比例每轮不是只选部分客户端而是让所有客户端都参与聚合减少高方差更新。如果想在项目报告中体现进阶能力可以把FedAvg换成FedProx在本地损失函数里加一个近端正则项强制客户端参数不要偏离全局参数太远对Non-IID效果提升很明显实现成本也不高。6.3 R2L和U2R类别严重不平衡整体指标好看实际不可用NSL-KDD里DoS样本数量非常多R2L和U2R只有几百条甚至几十条。直接训练出来的模型对DoS的识别效果很好但对R2L和U2R几乎完全失效。这是网络安全领域的老问题处理方式通常是两种一种是使用类别权重损失nn.CrossEntropyLoss(weightclass_weights)把少数类样本的loss放大另一种是对R2L/U2R做上采样最简单的就是用SMOTE但在高维表格数据上要小心过拟合。我用类别权重方式处理后R2L的Recall从不到5%提升到接近50%效果非常明显。输出Final模型的评估报告时这里一定要注明“使用加权交叉熵处理类别不平衡”。6.4 代码选型的内存与调试细节项目规模不大但有几个细节容易让人卡壳PyTorch默认在GPU上训练时模型状态字典里的Tensor都在显卡显存里。服务端聚合时如果GPU显存不够同时装下多个客户端的参数可以考虑把客户端上传的参数先.cpu()拷贝到内存再聚合。代码里client_train的返回语句我特意写了.cpu().clone()就是为了避免这个坑。如果本地跑的时候内存占用飙升注意DataLoader的num_workers参数Windows系统下建议设为0否则多进程读取可能报错。数据加载别用pd.read_csv的默认参数NSL-KDD原始TXT文件没有表头需要手动指定headerNone和namescolumns否则第一行会被当成列名。6.5 扩展方向从模拟联邦到真实分布式如果学有余力这套项目可以往两个方向扩展。第一个方向是把单机模拟改成真正的分布式训练用torch.distributed或者gRPC框架实现服务端与客户端的网络通信这样就不是“模拟联邦”而是“真实联邦”了。第二个方向是把NSL-KDD换成真实网络流量数据集比如CICIDS2017并引入更贴近实际的Non-IID分布模拟比如按业务类型或地理位置切分数据。这两个方向随便做一个都能让项目深度在一众课程设计里脱颖而出。我在实际跑这个项目的过程中最大的体会是联邦学习的门槛其实不在算法本身而在于“分布式场景下数据的组织方式”。你处理好了数据切分、编码对齐、参数聚合这些工程细节理解FedAvg就只是时间问题。NSL-KDD虽然是个老数据集但它结构简单、标注清晰、生态成熟非常适合作为理解联邦学习在安全领域落地的第一块试验田。本文还有配套的精品资源点击获取 联邦学习+NSL-KDD网络入侵检测Python工程全解析
简介本资源是一套基于联邦学习与NSL-KDD数据集的网络入侵检测高分实践项目面向计算机、网络安全及相关专业本科生与研究生适用于课程设计、期末大作业及AI安全方向项目实战。项目完整实现分布式环境下的多客户端协同训练兼顾数据隐私保护与检测精度提升并配套GUI界面便于数据探索与结果可视化。压缩包共63个文件含12个核心Python源码涵盖客户端/服务器逻辑、模型构建、GUI交互、数据预处理等模块、26个编译后pyc文件、10个说明类txt文档、3个权重文件.weight、2个png图表及README.md等整体26.19MB结构清晰、模块解耦度高。已有85人学习下载提供从环境配置、数据加载、联邦训练到本地测试的全流程运行指南附带日志记录、对比图输出与模型权重保存机制可直接复现98分评审成果并深入理解联邦学习在网络安全场景中的落地路径。 做网络入侵检测的课设、毕设或者横向课题很多人第一反应都是把NSL-KDD数据集下载下来跑一个随机森林或者深度学习分类器画个混淆矩阵就算交差。但一旦题目里带上“联邦学习”四个字整个玩法就变了——不再是一个模型在所有数据上集中训练而是多个参与方在数据不出本地的前提下协同训出一个全局入侵检测模型。项目标题里这个“使用联邦学习与NSL-KDD数据集进行网络入侵检测的Python代码及运行指南高分项目.zip”说白了就是一套能直接跑的完整工程核心是用联邦学习框架解决传统集中式入侵检测的数据隐私痛点。这篇文章把这套项目从数据预处理、特征编码、联邦训练架构到代码运行、结果评估的完整链路全部拆开讲适合正在做联邦学习方向课设/毕设的同学也想把联邦学习落地到安全场景里的工程师参考。1. 为什么用联邦学习做入侵检测数据不出本地才是关键1.1 传统入侵检测方案的数据困局传统网络入侵检测系统NIDS最常见的是集中式架构各网络节点、各分公司的流量日志汇聚到一台中心服务器统一训练一个检测模型。听起来简单但实际部署时第一个问题就是数据隐私和合规。流量日志里包含大量内部业务特征很多企业连自己部门之间的数据都不愿意共享更别说跨公司合作。你拿不到高质量的真实流量数据模型训练就成了空谈。就算拿到了中心化存储本身就是巨大的被攻击面某一次数据泄露就能让所有参与方的敏感信息全部暴露。这个问题在学术上叫“数据孤岛”。我做这个项目之前调研过一些真实的NIDS部署案例很多安全团队手里其实都有不错的流量样本但谁也不愿意把它们合并到一个地方。另一方面攻击模式是持续演变的单一机构的数据量通常不够支撑一个泛化能力足够好的入侵检测模型。于是联邦学习成了一个非常自然的解法大家各自的流量数据留在本地只有模型参数参与交换。1.2 联邦学习在入侵检测场景中的核心价值联邦学习的思路最早来自Google的移动端输入法优化方案核心就是“数据不动模型动”。每一方在本地用自己的数据训练模型只上传模型权重或梯度中心服务器把这些参数聚合起来更新全局模型再下发到各方迭代。整个过程中原始数据从未离开本地既保留了多方联合建模的能力又避开了数据集中的隐私风险。放到入侵检测场景里这个机制的价值就很直接不同机构的网络环境、业务类型、攻击特征差异很大联合训练能够让模型看到更多样化的攻击模式提升泛化能力。而安全行业本身对数据敏感度极高联邦学习几乎是为这个场景量身定做的。项目里用NSL-KDD数据集做实验本质上是在模拟“多个组织的网络流量数据各自持有协作训练一个统一入侵检测模型”的过程。1.3 为什么选NSL-KDD而不是CICIDS2017或UNSW-NB15目前公开的网络入侵检测数据集有好几个NSL-KDD、CICIDS2017、UNSW-NB15等。这个项目选了NSL-KDD原因很实际规模适中NSL-KDD的训练集约12.5万条、测试集约2.2万条单机跑联邦学习模拟完全没压力不用上GPUCPU也能在合理时间内跑完一轮实验。去冗余设计NSL-KDD是KDDCUP99的改进版剔除了大量重复记录训练集和测试集的样本比例也更合理不会出现“测试集里一大半跟训练集重复”的作弊式高分。公开的Train/Test划分论文和课设里可以直接复现对比方便这是评分项目特别喜欢它的原因。41维特征覆盖面广包含了基础连接特征、内容特征和流量统计特征能逼你把特征工程做完整而不是直接丢进深度学习模型就完事。五分类标签Normal、DoS、Probe、R2L、U2R类别的长尾分布很典型能让你在课程项目中实操一把“类别不平衡处理”。当然CICIDS2017更贴近真实网络流量但数据量非常大约280万条预处理和训练成本远高于课设范畴。NSL-KDD虽然老但用来理解联邦学习和入侵检测的链路效率是最高的。2. NSL-KDD数据集别急着开跑先搞懂这41个特征2.1 NSL-KDD与KDDCUP99的差异NSL-KDD由加拿大新不伦瑞克大学的研究人员在KDDCUP99基础上重新整理而来主要做了三件事去除冗余记录、合理调整训练/测试集比例、保证各类别在训练和测试集中的分布更合理。原始KDDCUP99训练集约490万条NSL-KDD精简到约12.5万条但检测难度没有显著降低反而因为去重测试结果更能反映模型真实的泛化能力。KDDTrain.txt 和 KDDTest.txt 是标准划分另外还有一个 KDDTest-21.txt这是把测试集中“最容易被识别”的样本挑掉21%后的子集难度更高。多数课程项目用 KDDTest.txt 就够但如果想挑战更真实的评估效果可以用 KDDTest-21.txt 看模型在难样本上的表现。2.2 41维特征分三类看预处理就清晰了NSL-KDD每条记录有41维特征加1个标签标签分5类Normal、DoS、Probe、R2L、U2R。这41维特征粗分为三组类别维度示例说明基础连接特征duration、protocol_type、service、flag、src_bytes、dst_bytes单个TCP/UDP连接的属性内容特征hot、failed_logins、logged_in、num_compromised、root_shell与连接内容相关的域通常需要领域知识提取流量统计特征count、srv_count、serror_rate、same_srv_rate、dst_host_count等基于时间窗口统计的连接行为特征其中 protocol_type、service、flag 是类别型离散特征protocol_type 有3个取值tcp、udp、icmpservice 有70个取值flag 有11个取值。这三列必须做编码变换其余绝大多数是数值型连续特征需要做标准化。预处理就是围绕“类别特征编码数值特征标准化”展开。2.3 预处理三步走缺失值、编码、标准化第一步是缺失值。NSL-KDD原始文件里一般没有缺省值但为了稳妥还是应该检查一下读入DataFrame后用df.isna().sum()扫一遍有缺失的直接填充0或删除该行项目代码里建议用dropna()保留完整样本。第二步是类别特征编码。这一步有个很关键的细节直接在原始列上做pd.get_dummies()是最省事的方式代价是输出的特征维度和类别出现顺序绑定。联邦学习场景下不同客户端拿到的数据子集里某些类别可能压根没出现如果各自做one-hot编码特征维度会对不上聚合直接崩溃。所以项目采用的是“先整体确定类别全集再统一编码映射”的方式后面第4章会给出具体实现。第三步是数值特征标准化。推荐用StandardScaler()把所有数值特征缩放到均值0、方差1附近这对神经网络的收敛速度影响非常大。但注意联邦场景下“标准化”本身也有讲究如果所有客户端共享同一个Scaler就相当于把全局数据统计信息传给了各方在严格隐私设定下这不太“联邦”。课程项目一般可以简化处理先在训练集上fit好Scaler再下发给各客户端用如果要写进项目报告建议说明这个假设。3. 联邦框架设计客户端-服务端架构与FedAvg聚合逻辑3.1 整体架构中心化服务的星型拓扑这套项目的架构是一个非常标准的中心化联邦学习拓扑一个服务端Server、多个客户端Client。服务端维护全局模型客户端持有各自的本地数据子集。每轮全局通信的过程如下服务端把当前全局模型参数下发到所有参与客户端各客户端在本地数据上独立训练若干epoch训练完成后客户端只上传更新后的模型参数不发送任何原始数据服务端收集所有客户端的参数按权重执行FedAvg聚合聚合后的全局模型进入下一轮迭代。在单机模拟环境下所有客户端和服务端其实是跑在同一个Python进程里的“下发”和“上传”都只是参数对象的内存复制。这么做的好处是逻辑清晰、便于调试也不影响理解联邦学习的真实通信模式。如果要做成真正的分布式系统只需要把参数发送替换成Socket或gRPC通信即可。3.2 FedAvg聚合算法按样本量加权平均FedAvgFederated Averaging是联邦学习最经典的聚合算法。它的核心逻辑很简单全局模型参数 每个客户端参数的加权平均权重就是该客户端的本地样本量占所有参与客户端总样本量的比例。假设有K个客户端第k个客户端样本量为n_k本地训练后模型参数为w_k全局参数更新为w_global Σ(n_k / n_total) * w_k其中 n_total Σ n_k这样样本量大的客户端在聚合中贡献更大逻辑合理。实现上只需要在服务端遍历一次各客户端上传的参数按样本比例做加权求和def fed_average(client_params, client_sizes): total_size sum(client_sizes) global_params {} for key in client_params[0].keys(): global_params[key] sum( (client_params[i][key] * client_sizes[i]) / total_size for i in range(len(client_params)) ) return global_params这里有个容易踩的坑PyTorch模型的参数是Tensor直接乘浮点权重没问题但最后要把结果重新包装成模型可加载的OrderedDict状态字典否则model.load_state_dict()会报类型错误。项目中我们在得到加权求和结果后用{k: v.clone() for k, v in global_params.items()}做一个拷贝确保后续模型更新不会影响聚合结果。3.3 单机模拟多客户端数据切片与Non-IID设置单机模拟联邦学习最关键的一步就是把完整数据集合理地分给多个客户端。最简单的分法是IID独立同分布切分把所有数据随机打乱后按比例分成K份每个客户端拿一份。这种分法模拟的是“所有参与方数据分布相似”的理想情况。更接近真实的是Non-IID切分模拟“不同参与方所处网络环境不同、遭遇攻击类型也不同”的实际情况。比如可以按标签类别进行偏斜分配客户端A的数据里80%是DoS攻击样本客户端B的数据里80%是Probe探测样本客户端C的数据里80%是正常流量。我在项目代码里同时提供了两种切分方式默认用IID随机切分保证基础结果稳定调试通过后可以切到Non-IID观察联邦学习在数据异构条件下的性能变化。4. 核心Python代码拆解从数据加载到联邦训练主流程4.1 数据加载与统一编码解决各客户端维度不一致问题数据加载这部分项目里分两个函数load_raw_data()负责读取原始TXT文件build_feature_pipeline()负责生成统一的编码映射。关键代码结构如下def load_raw_data(train_path, test_path): columns [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label ] train_df pd.read_csv(train_path, headerNone, namescolumns) test_df pd.read_csv(test_path, headerNone, namescolumns) return train_df, test_df统一编码阶段先遍历全部数据确定类别特征的categories再交给LabelEncoder或者直接构造映射字典。这样每个客户端做one-hot时都使用同一个“字典”维度一定一致。核心逻辑categorical_cols [protocol_type, service, flag] def fit_category_mapping(dfs): # dfs是一个DataFrame列表项目里传的是[训练集, 测试集] mapping {} for col in categorical_cols: unique_vals set() for df in dfs: unique_vals | set(df[col].unique()) mapping[col] {val: idx for idx, val in enumerate(sorted(unique_vals))} return mapping def encode_and_scale(df, category_map, scalerNone): df df.copy() for col in categorical_cols: df[col _code] df[col].map(category_map[col]) df pd.get_dummies(df, columnscategorical_cols, prefixcategorical_cols, drop_firstFalse) # 然后对数值列做标准化 return df这里的重点是训练集和测试集必须用同一个category_map否则测试集里如果出现训练集没见过的service类别map()会返回NaN你的输入特征维度就乱了。4.2 MLP本地模型定义项目里的本地模型是一个三层的多层感知机MLP输入维度根据预处理后的特征数动态计算隐藏层设为128和64输出维度按分类任务设定二分类为2五分类为5中间用ReLU激活函数和Dropout做正则化import torch import torch.nn as nn class MLP(nn.Module): def __init__(self, input_dim, hidden_dim128, num_classes5, dropout0.3): super(MLP, self).__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden_dim, hidden_dim // 2), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden_dim // 2, num_classes) ) def forward(self, x): return self.net(x)为什么不选CNN或更复杂的网络NSL-KDD本质上是表格数据没有时空结构MLP在参数效率上反而更高。联邦学习每轮要传输全部模型参数MLP体量小通信开销低迭代速度快。做课程项目时完全不用追求大模型先把链路跑通更重要。4.3 客户端本地训练逻辑每个客户端本质上就是一个普通的PyTorch训练器。区别在于它的初始权重来自服务端下发的全局模型本地训练只更新自己的部分训练完把参数返回给服务端。核心逻辑def client_train(global_params, train_loader, local_epochs, lr, device): model MLP(input_dimfeature_dim, num_classesnum_classes).to(device) model.load_state_dict(global_params) optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.CrossEntropyLoss() model.train() for epoch in range(local_epochs): for batch_x, batch_y in train_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) optimizer.zero_grad() outputs model(batch_x) loss loss_fn(outputs, batch_y) loss.backward() optimizer.step() return {k: v.cpu().clone() for k, v in model.state_dict().items()}local_epochs一般设置在3~5之间。如果本地训练轮数太大客户端会各自收敛到局部最优聚合出来的全局模型反而变差。这也是联邦学习和传统分布式训练的一个明显差别本地更新太狠会对全局聚合产生负面影响。4.4 服务端聚合与主流程主流程把前面所有的模块串起来。项目里的run_federated_learning()函数大致结构如下def run_federated_learning(...): global_model MLP(input_dimfeature_dim, num_classesnum_classes) global_params global_model.state_dict() for round_idx in range(num_rounds): print(fGlobal Round {round_idx 1}/{num_rounds}) client_params [] client_sizes [] for client_id in range(num_clients): # 从每个客户端获取本地训练后的参数 params, size clients[client_id].local_train(global_params) client_params.append(params) client_sizes.append(size) # FedAvg聚合 global_params fed_average(client_params, client_sizes) global_model.load_state_dict(global_params) # 每轮结束后在测试集上评估一次 if (round_idx 1) % eval_interval 0: metrics evaluate(global_model, test_loader) print(metrics) return global_model每轮评估一次可以看到准确率和F1分数随全局轮次的变化曲线。课程项目报告里展示这条曲线比只贴一个最终数字有说服力得多。5. 完整运行指南从环境准备到出结果5.1 环境与依赖安装我建议直接用Anaconda创建独立的虚拟环境避免把系统Python搞乱。Python版本3.8~3.10都行核心依赖如下# 创建并激活虚拟环境 conda create -n fed-nsl python3.9 -y conda activate fed-nsl # 安装依赖包 pip install torch pandas numpy scikit-learn matplotlib这里说明一下几个包的作用torch负责模型构建和训练pandas负责读取CSV/TXT数据集numpy做数组操作scikit-learn提供评估指标accuracy、precision、recall、f1_scorematplotlib用于绘制训练曲线。如果没有GPU用CPU版本PyTorch就够了pip install torch --index-url https://download.pytorch.org/whl/cpu可以显著减小安装体积。5.2 项目目录结构与运行命令解压zip后推荐的项目结构如下federated-nslkdd/ ├── data/ # 存放 NSL-KDD 原始 txt 文件 │ ├── KDDTrain.txt │ └── KDDTest.txt ├── src/ │ ├── data_loader.py # 数据读取与预处理 │ ├── model.py # MLP模型定义 │ ├── client.py # 客户端逻辑 │ ├── server.py # 服务端聚合逻辑 │ └── main.py # 主入口脚本 ├── output/ │ ├── metrics.json # 每轮评估结果 │ └── training_curve.png # 训练曲线 └── requirements.txt运行方式非常简单python src/main.py如果代码里把配置项集中在main.py顶部的Config类你要做的就是打开main.py修改几个关键参数class Config: num_clients 3 # 模拟客户端数量 num_rounds 20 # 全局联邦通信轮数 local_epochs 5 # 每轮本地训练epoch数 batch_size 128 # 本地训练batch大小 lr 0.001 # 学习率 num_classes 5 # 五分类Normal/DoS/Probe/R2L/U2R non_iid False # 是否启用Non-IID数据切分默认参数下CPU单机跑20轮、3个客户端、每轮5个epoch大概需要几分钟到十几分钟取决于机器配置。对比RNN类模型动辄几十分钟的训练时间这个项目的可调试性要好很多。5.3 结果输出与评估指标解读运行结束后output/目录下会生成两个主要文件。metrics.json里记录了每轮全局模型在测试集上的整体指标和每个类别的precision、recall、F1-scoretraining_curve.png则是准确率和损失值随轮次变化的曲线图。评估指标需要重点看三个Accuracy整体准确率、Macro-F1所有类别的F1平均值对类别不平衡不敏感、以及每类的Recall召回率。NSL-KDD测试集里R2L和U2R样本非常少如果模型把所有样本都预测成Normal或者DoS整体Accuracy也能到70%左右看起来很“正常”但R2L的Recall可能直接是0。所以报告里至少要同时提供Accuracy和Macro-F1再配合每个类别的混淆矩阵才能说明模型真实可用。6. 实测踩坑与调优记录6.1 One-Hot编码维度不一致联邦场景特有的崩溃点我第一次跑通流程时图省事在每个客户端内部直接用pd.get_dummies()处理类别特征结果在服务端聚合时直接报错。原因很简单随机切分数据后客户端A的service列可能只有40个不同值客户端B有52个各自one-hot之后的特征维度分别是41和53模型参数对不上聚合代码直接崩溃。这也是我在第4章强调“统一编码映射”的原因。这类错误只在联邦学习里会碰到单机集中训练完全不会暴露项目报告里如果能写清楚这个坑是非常加分的。6.2 Non-IID数据切分下FedAvg收敛变慢甚至震荡默认IID切分时20轮内准确率就能稳定收敛到比较高的水平。但切到Non-IID后模型在前10轮经常出现“上一轮准确率很高、下一轮突然掉下去”的震荡现象。我查了资料结合实测总结出三个有效缓解手段调大全局通信轮数从20轮增加到50轮给聚合过程更多时间让参数互相“磨合”。降低本地epoch从5降到2减少客户端向自己局部最优方向跑太远。提高客户端参与比例每轮不是只选部分客户端而是让所有客户端都参与聚合减少高方差更新。如果想在项目报告中体现进阶能力可以把FedAvg换成FedProx在本地损失函数里加一个近端正则项强制客户端参数不要偏离全局参数太远对Non-IID效果提升很明显实现成本也不高。6.3 R2L和U2R类别严重不平衡整体指标好看实际不可用NSL-KDD里DoS样本数量非常多R2L和U2R只有几百条甚至几十条。直接训练出来的模型对DoS的识别效果很好但对R2L和U2R几乎完全失效。这是网络安全领域的老问题处理方式通常是两种一种是使用类别权重损失nn.CrossEntropyLoss(weightclass_weights)把少数类样本的loss放大另一种是对R2L/U2R做上采样最简单的就是用SMOTE但在高维表格数据上要小心过拟合。我用类别权重方式处理后R2L的Recall从不到5%提升到接近50%效果非常明显。输出Final模型的评估报告时这里一定要注明“使用加权交叉熵处理类别不平衡”。6.4 代码选型的内存与调试细节项目规模不大但有几个细节容易让人卡壳PyTorch默认在GPU上训练时模型状态字典里的Tensor都在显卡显存里。服务端聚合时如果GPU显存不够同时装下多个客户端的参数可以考虑把客户端上传的参数先.cpu()拷贝到内存再聚合。代码里client_train的返回语句我特意写了.cpu().clone()就是为了避免这个坑。如果本地跑的时候内存占用飙升注意DataLoader的num_workers参数Windows系统下建议设为0否则多进程读取可能报错。数据加载别用pd.read_csv的默认参数NSL-KDD原始TXT文件没有表头需要手动指定headerNone和namescolumns否则第一行会被当成列名。6.5 扩展方向从模拟联邦到真实分布式如果学有余力这套项目可以往两个方向扩展。第一个方向是把单机模拟改成真正的分布式训练用torch.distributed或者gRPC框架实现服务端与客户端的网络通信这样就不是“模拟联邦”而是“真实联邦”了。第二个方向是把NSL-KDD换成真实网络流量数据集比如CICIDS2017并引入更贴近实际的Non-IID分布模拟比如按业务类型或地理位置切分数据。这两个方向随便做一个都能让项目深度在一众课程设计里脱颖而出。我在实际跑这个项目的过程中最大的体会是联邦学习的门槛其实不在算法本身而在于“分布式场景下数据的组织方式”。你处理好了数据切分、编码对齐、参数聚合这些工程细节理解FedAvg就只是时间问题。NSL-KDD虽然是个老数据集但它结构简单、标注清晰、生态成熟非常适合作为理解联邦学习在安全领域落地的第一块试验田。本文还有配套的精品资源点击获取