近期，信息學院青年教師范新在認知通信和網絡領域TOP期刊《IEEE Transactions on Cognitive Communications and Networking》以第一作者發表學術論文“CB-DSL: Communication-efficient and Byzantine-robust Distributed Swarm Learning on Non-i.i.d. Data”，北京林業大學為第一完成單位。該期刊簡稱為“IEEE TCCN”，中科院SCI期刊分區表大類和小類均為一區，2023年影響因子為8.6。
物聯網設備收集的豐富數據和機器學習（Machine Learning，ML）的復興，引發了人工智能（Artificial Intelligence，AI）的最新趨勢。然而，傳統的機器學習和最近的聯邦學習（Federated Learning，FL）還面臨著重大挑戰，包括通信瓶頸、數據異構和邊緣物聯網的安全問題等。同時，大規模物聯網系統的群體性特征被大多數現有研究忽視。為解決上述挑戰和問題，需要對分布式學習算法進行新的設計，范新在論文提出了一種高效魯棒的分布式學習方法CB-DSL。
圖1：本文提出的CB-DSL模型圖
在自然界中，生物有機體的個體能力往往顯得微不足道。然而，通過集結成群的方式，它們在信息整合、環境適應以及決策制定等方面卻能展現出驚人的實力。這不僅揭示了生物群體行為的復雜性和智慧，也突顯了群體力量在應對環境挑戰中的重要性。受生物智能（Biological Intelligence，BI）的啟發，文章提出了一種新的群體物聯網邊緣學習方法。通過AI隨機梯度下降和BI粒子群優化的有機集成，該方法可以有效提升分布式學習性能。為了應對non-i.i.d.數據問題和拜占庭攻擊，文章在CB-DSL中引入少量全局數據樣本，并在物聯網設備之間共享，有效緩解了局部數據的異構性，使群體智能的探索利用機制得以充分發揮。文章以收斂性分析的角度從理論上證明了CB-DSL優于標準FL，具有更好的收斂性；同時，通過推導其上界來評估CB-DSL的模型散度性能，該上界衡量了引入全局共享數據集的有效性。
據悉，這是首次嘗試利用AI和BI的各自的算法優勢，來提高分布式學習系統性能并給出理論分析的研究工作，為分布式學習在大規模智慧物聯網場景下的應用提供了潛在的解決方案，推動了邊緣AI的進一步發展。
論文鏈接：https://ieeexplore.ieee.org/abstract/document/10242235/
