From 2d91d01bc053add1a92bb5c7083df9223b218761 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E4=B9=85=E7=9D=A1=E6=88=90=E7=98=BE?= <2823203541@qq.com> Date: Fri, 24 Jan 2025 08:40:43 +0000 Subject: [PATCH 1/3] =?UTF-8?q?=E9=87=8D=E5=91=BD=E5=90=8D=20LYH.tex=20?= =?UTF-8?q?=E4=B8=BA=20WL.tex?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- LYH.tex => WL.tex | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename LYH.tex => WL.tex (100%) diff --git a/LYH.tex b/WL.tex similarity index 100% rename from LYH.tex rename to WL.tex -- Gitee From a1f1a1a0ffd28aee0691bb2766f34b82c9aaeb20 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E4=B9=85=E7=9D=A1=E6=88=90=E7=98=BE?= <2823203541@qq.com> Date: Fri, 24 Jan 2025 08:42:15 +0000 Subject: [PATCH 2/3] update MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 久睡成瘾 <2823203541@qq.com> --- references.bib | 326 +++++++++++++++++++++++++++++++++---------------- 1 file changed, 224 insertions(+), 102 deletions(-) diff --git a/references.bib b/references.bib index 0faf4c3..d81bd51 100644 --- a/references.bib +++ b/references.bib @@ -1,105 +1,227 @@ -@inproceedings{cho2022dkm, - author={Minsik Cho and Keivan Alizadeh-Vahid and Saurabh Adya and Mohammad Rastegari}, - title={{DKM}: Differentiable k-Means Clustering Layer for Neural Network Compression}, - booktitle={International Conference on Learning Representations}, - year = {2022}, -} -@inproceedings{chen2024MoteNN, - author = {Chen, Renze and Ding, Zijian and Zheng, Size and Li, Meng and Liang, Yun}, - title = {MoteNN: Memory Optimization via Fine-grained Scheduling for Deep Neural Networks on Tiny Devices}, - year = {2024}, - booktitle = {Proceedings of the 61st ACM/IEEE Design Automation Conference}, -} -@inproceedings{kang2024RT-MDM, - author = {Kang, Sukmin and Lee, Seongtae and Koo, Hyunwoo and Chwa, Hoon Sung and Lee, Jinkyu}, - title = {RT-MDM: Real-Time Scheduling Framework for Multi-DNN on MCU Using External Memory}, - year = {2024}, - booktitle = {Proceedings of the 61st ACM/IEEE Design Automation Conference}, -} -@INPROCEEDINGS{Zhongzhi2023NetBosster, - author={Yu, Zhongzhi and Fu, Yonggan and Yuan, Jiayi and You, Haoran and Lin, Yingyan Celine}, - title={NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders of Deep Giants}, - booktitle={2023 60th ACM/IEEE Design Automation Conference (DAC)}, - year={2023}, - pages={1-6}, - } -@InProceedings{pmlr-v162-patil22b, - title = {{POET}: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging}, - author = {Patil, Shishir G. and Jain, Paras and Dutta, Prabal and Stoica, Ion and Gonzalez, Joseph}, - booktitle = {Proceedings of the 39th International Conference on Machine Learning}, - pages = {17573--17583}, - year = {2022}, -} -@inproceedings{kwon2024tinytrain, - title={TinyTrain: Resource-Aware Task-Adaptive Sparse Training of {DNN}s at the Data-Scarce Edge}, - author={Young D. Kwon and Rui Li and Stylianos Venieris and Jagmohan Chauhan and Nicholas Donald Lane and Cecilia Mascolo}, - booktitle={Forty-first International Conference on Machine Learning}, + +@inproceedings{10.1145/3489517.3530394, +author = {Chandrasekaran, Rishikanth and Ergun, Kazim and Lee, Jihyun and Nanjunda, Dhanush and Kang, Jaeyoung and Rosing, Tajana}, +title = {FHDnn: communication efficient and robust federated learning for AIoT networks}, +year = {2022}, +isbn = {9781450391429}, +publisher = {Association for Computing Machinery}, +address = {New York, NY, USA}, +url = {https://doi.org/10.1145/3489517.3530394}, +doi = {10.1145/3489517.3530394}, +abstract = {The advent of IoT and advances in edge computing inspired federated learning, a distributed algorithm to enable on device learning. Transmission costs, unreliable networks and limited compute power all of which are typical characteristics of IoT networks pose a severe bottleneck for federated learning. In this work we propose FHDnn, a synergetic federated learning framework that combines the salient aspects of CNNs and Hyperdimensional Computing. FHDnn performs hyperdimensional learning on features extracted from a self-supervised contrastive learning framework to accelerate training, lower communication costs, and increase robustness to network errors by avoiding the transmission of the CNN and training only the hyperdimensional component. Compared to CNNs, we show through experiments that FHDnn reduces communication costs by 66X, local client compute and energy consumption by 1.5 - 6X, while being highly robust to network errors with minimal loss in accuracy.}, +booktitle = {Proceedings of the 59th ACM/IEEE Design Automation Conference}, +pages = {37–42}, +numpages = {6}, +keywords = {federated learning, hyperdimensional computing}, +location = {San Francisco, California}, +series = {DAC '22} +} + +@inproceedings{10.1145/3649329.3655917, +author = {Jia, Chentao and Hu, Ming and Chen, Zekai and Yang, Yanxin and Xie, Xiaofei and Liu, Yang and Chen, Mingsong}, +title = {AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems}, +year = {2024}, +isbn = {9798400706011}, +publisher = {Association for Computing Machinery}, +address = {New York, NY, USA}, +url = {https://doi.org/10.1145/3649329.3655917}, +doi = {10.1145/3649329.3655917}, +abstract = {Although Federated Learning (FL) is promising to enable collaborative learning among Artificial Intelligence of Things (AIoT) devices, it suffers from the problem of low classification performance due to various heterogeneity factors (e.g., computing capacity, memory size) of devices and uncertain operating environments. To address these issues, this paper introduces an effective FL approach named AdaptiveFL based on a novel fine-grained width-wise model pruning mechanism, which can generate various heterogeneous local models for heterogeneous AIoT devices. By using our proposed reinforcement learning-based device selection strategy, AdaptiveFL can adaptively dispatch suitable heterogeneous models to corresponding AIoT devices based on their available resources for local training. Experimental results show that, compared to state-of-the-art methods, AdaptiveFL can achieve up to 8.94\% inference improvements for both IID and non-IID scenarios.}, +booktitle = {Proceedings of the 61st ACM/IEEE Design Automation Conference}, +articleno = {84}, +numpages = {6}, +location = {San Francisco, CA, USA}, +series = {DAC '24} +} + +@inproceedings{10.1145/3649329.3655934, +author = {Xiao, Xiong and Duan, Mingxing and Song, Yingjie and Tang, Zhuo and Yang, Wenjing}, +title = {Fake Node-Based Perception Poisoning Attacks against Federated Object Detection Learning in Mobile Computing Networks}, +year = {2024}, +isbn = {9798400706011}, +publisher = {Association for Computing Machinery}, +address = {New York, NY, USA}, +url = {https://doi.org/10.1145/3649329.3655934}, +doi = {10.1145/3649329.3655934}, +abstract = {Federated learning (FL) supports massive edge devices to collaboratively train object detection models in mobile computing scenarios. However, the distributed nature of FL exposes significant security vulnerabilities. Existing attack methods either require considerable costs to compromise the majority of participants, or suffer from poor attack success rates. Inspired by this, we devise an efficient fake node-based perception poisoning attacks strategy (FNPPA) to target such weaknesses. In particular, FNPPA poisons local data and injects multiple fake nodes to participate in aggregation, aiming to make the local poisoning model more likely to overwrite clean updates. Moreover, it can achieve greater malicious influence on target objects at a lower cost without affecting the normal detection of other objects. We demonstrate through exhaustive experiments that FNPPA exhibits superior attack impact than the state-of-the-art in terms of average precision and aggregation effect.}, +booktitle = {Proceedings of the 61st ACM/IEEE Design Automation Conference}, +articleno = {165}, +numpages = {6}, +keywords = {federated learning, object detection, mobile computing, perception poisoning attacks}, +location = {San Francisco, CA, USA}, +series = {DAC '24} +} + +@INPROCEEDINGS{10631004, + author={Qi, Senmao and Ma, Hao and Zou, Yifei and Yuan, Yuan and Li, Peng and Yu, Dongxiao}, + booktitle={2024 IEEE 44th International Conference on Distributed Computing Systems (ICDCS)}, + title={Fed-MS: Fault Tolerant Federated Edge Learning with Multiple Byzantine Servers}, year={2024}, -} -@inproceedings{shala2023transfer, - title={Transfer {NAS} with Meta-learned Bayesian Surrogates}, - author={Gresa Shala and Thomas Elsken and Frank Hutter and Josif Grabocka}, - booktitle={The Eleventh International Conference on Learning Representations }, - year={2023}, -} -@inproceedings{mehta2022mobilevit, - title={MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer}, - author={Sachin Mehta and Mohammad Rastegari}, - booktitle={International Conference on Learning Representations}, - year={2022}, -} -@inproceedings{sheng2022FaHa, - author = {Sheng, Yi and Yang, Junhuan and Wu, Yawen and Mao, Kevin and Shi, Yiyu and Hu, Jingtong and Jiang, Weiwen and Yang, Lei}, - title = {The larger the fairer? small neural networks can achieve fairness for edge devices}, - year = {2022}, - booktitle = {Proceedings of the 59th ACM/IEEE Design Automation Conference}, - pages = {163–168}, -} -@inproceedings{cai2022network, - title={Network Augmentation for Tiny Deep Learning}, - author={Han Cai and Chuang Gan and Ji Lin and Song Han}, - booktitle={International Conference on Learning Representations}, - year={2022}, -} -@inproceedings{lou2022dictformer, - title={DictFormer: Tiny Transformer with Shared Dictionary}, - author={Qian Lou and Ting Hua and Yen-Chang Hsu and Yilin Shen and Hongxia Jin}, - booktitle={International Conference on Learning Representations}, - year={2022}, -} -@inproceedings{li2024Spark, - author = {Li, Mingxuan and Zhi, Qinzhe and Dong, Yanchi and Ye, Le and Jia, Tianyu}, - title = {SPARK: An Efficient Hybrid Acceleration Architecture with Run-Time Sparsity-Aware Scheduling for TinyML Learning}, - year = {2024}, - booktitle = {Proceedings of the 61st ACM/IEEE Design Automation Conference}, -} -@INPROCEEDINGS{Harald2024TinyBFT, - author={Böhm, Harald and Distler, Tobias and Wägemann, Peter}, - booktitle={2024 IEEE 30th Real-Time and Embedded Technology and Applications Symposium (RTAS)}, - title={TinyBFT: Byzantine Fault-Tolerant Replication for Highly Resource-Constrained Embedded Systems}, + volume={}, + number={}, + pages={982-992}, + keywords={Training;Fault tolerance;Federated learning;Fault tolerant systems;Filtering algorithms;Fasteners;Numerical models;Federated Learning;Edge Networks;Byzantine Fault Tolerance}, + doi={10.1109/ICDCS60910.2024.00095}} + + +@INPROCEEDINGS{10631028, + author={Chen, Tianxiang and Wang, Feng and Qiu, Wangjie and Zhang, Qinnan and Xiong, Zehui and Zheng, Zhiming}, + booktitle={2024 IEEE 44th International Conference on Distributed Computing Systems (ICDCS)}, + title={Toward Free-Riding Attack on Cross-Silo Federated Learning Through Evolutionary Game}, year={2024}, -} -@inproceedings{luan2024using, - title={Using spiking neural networks to assist fine art and philology study:{\textbackslash}{\textbackslash}to classify styles of Chinese calligraphy with minimal computing power}, - author={Zheng Luan and Xiangqi Kong and Shuimu Zeng and 姚羽珂 and Yaxuan Zhang and Xuerui Qiu}, - booktitle={The Second Tiny Papers Track at ICLR 2024}, + volume={}, + number={}, + pages={869-880}, + keywords={Training;Economics;Federated learning;Prevention and mitigation;Computational modeling;Ecosystems;Process control;Cross-silo F1;free-riding attacks;incentive mechanism;evolutionary game theory;public goods}, + doi={10.1109/ICDCS60910.2024.00085}} + + +@INPROCEEDINGS{10630980, + author={Zhang, Lan and Tang, Chen and Liu, Huiqi and Yu, Haikuo and Zhuang, Xirong and Zhao, Qi and Wang, Lei and Fang, Wenjing and Li, Xiang-Yang}, + booktitle={2024 IEEE 44th International Conference on Distributed Computing Systems (ICDCS)}, + title={FedMark: Large-Capacity and Robust Watermarking in Federated Learning}, year={2024}, -} -@inproceedings{Mendis2024DR, - author = {Mendis, Hashan Roshantha and Kang, Chih-Kai and Lin, Chun-Han and Chen, Ming-Syan and Hsiu, Pi-Cheng}, - title = {Deep Reorganization: Retaining Residuals in TinyML}, - year = {2024}, - booktitle = {Proceedings of the 61st ACM/IEEE Design Automation Conference}, -} -@INPROCEEDINGS{wang2023IP, - author={Wang, Jinwen and Wu, Yuhao and Liu, Han and Yuan, Bo and Chamberlain, Roger and Zhang, Ning}, - booktitle={2023 60th ACM/IEEE Design Automation Conference (DAC)}, - title={IP Protection in TinyML}, - year={2023}, -} -@inproceedings{chan2022FHDDnn, - author = {Chandrasekaran, Rishikanth and Ergun, Kazim and Lee, Jihyun and Nanjunda, Dhanush and Kang, Jaeyoung and Rosing, Tajana}, - title = {FHDnn: communication efficient and robust federated learning for AIoT networks}, - year = {2022}, - booktitle = {Proceedings of the 59th ACM/IEEE Design Automation Conference}, -} + volume={}, + number={}, + pages={821-832}, + keywords={Training;Accuracy;Federated learning;Computational modeling;Distributed databases;Watermarking;Intellectual property;federated learning;watermarking;bloom filter}, + doi={10.1109/ICDCS60910.2024.00081}} + + +@INPROCEEDINGS{10631003, + author={Jeter, Tre' R. and Nguyen, Truc and Alharbi, Raed and Thai, My T.}, + booktitle={2024 IEEE 44th International Conference on Distributed Computing Systems (ICDCS)}, + title={OASIS: Offsetting Active Reconstruction Attacks in Federated Learning}, + year={2024}, + volume={}, + number={}, + pages={1004-1015}, + keywords={Training;Threat modeling;Privacy;Protocols;Federated learning;Medical services;Rendering (computer graphics);Federated Learning;Privacy;Deep Neural Networks;Reconstruction Attack;Dishonest Servers}, + doi={10.1109/ICDCS60910.2024.00097}} + + +@INPROCEEDINGS{10631001, + author={Lewis, Cody and Varadharajan, Vijay and Noman, Nasimul and Tupakula, Uday and Li, Nan}, + booktitle={2024 IEEE 44th International Conference on Distributed Computing Systems (ICDCS)}, + title={Mitigation of Gradient Inversion Attacks in Federated Learning with Private Adaptive Optimization}, + year={2024}, + volume={}, + number={}, + pages={833-845}, + keywords={Training;Data privacy;Privacy;Interpolation;Federated learning;Prevention and mitigation;Neural networks;federated learning;privacy;adaptive optimization;secure aggregation}, + doi={10.1109/ICDCS60910.2024.00082}} + + +@inproceedings{10.1145/3627703.3650082, +author = {Cheng, Pau-Chen and Eykholt, Kevin and Gu, Zhongshu and Jamjoom, Hani and Jayaram, K. R. and Valdez, Enriquillo and Verma, Ashish}, +title = {DeTA: Minimizing Data Leaks in Federated Learning via Decentralized and Trustworthy Aggregation}, +year = {2024}, +isbn = {9798400704376}, +publisher = {Association for Computing Machinery}, +address = {New York, NY, USA}, +url = {https://doi.org/10.1145/3627703.3650082}, +doi = {10.1145/3627703.3650082}, +abstract = {Federated learning (FL) relies on a central authority to oversee and aggregate model updates contributed by multiple participating parties in the training process. This centralization of sensitive model updates naturally raises concerns about the trustworthiness of the central aggregation server, as well as the potential risks associated with server failures or breaches, which could result in loss and leaks of model updates. Moreover, recent attacks have demonstrated that, by obtaining the leaked model updates, malicious actors can even reconstruct substantial amounts of private data belonging to training participants. This underscores the critical necessity to rethink the existing FL system architecture to mitigate emerging attacks in the evolving threat landscape. One straightforward approach is to fortify the central aggregator with confidential computing (CC), which offers hardware-assisted protection for runtime computation and can be remotely verified for execution integrity. However, a growing number of security vulnerabilities have surfaced in tandem with the adoption of CC, indicating that depending solely on this singular defense may not provide the requisite resilience to thwart data leaks.To address the security challenges inherent in the centralized aggregation paradigm and enhance system resilience, we introduce DeTA, an FL system architecture that employs a decentralized and trustworthy aggregation strategy with a defense-in-depth design. In DeTA, FL parties locally divide and shuffle their model updates at the parameter level, creating random partitions designated for multiple aggregators, all of which are shielded within CC execution environments. Moreover, to accommodate the multi-aggregator FL ecosystem, we have implemented a two-phase authentication protocol that enables new parties to verify all CC-protected aggregators and establish secure channels to upstream their model updates. With DeTA, model aggregation algorithms can function without any alterations. However, each aggregator is now oblivious to model architectures, possessing only a fragmented and shuffled view of each model update. This approach effectively mitigates attacks aimed at tampering with the aggregation process or exploiting leaked model updates, while also preserving training accuracy and minimizing performance overheads.}, +booktitle = {Proceedings of the Nineteenth European Conference on Computer Systems}, +pages = {219–235}, +numpages = {17}, +keywords = {Decentralized Aggregation, Federated Learning, Parameter Shuffling, Trusted Aggregation}, +location = {Athens, Greece}, +series = {EuroSys '24} +} + +@inproceedings{10.1145/3627703.3629575, +author = {Ching, Cheng-Wei and Chen, Xin and Kim, Taehwan and Ji, Bo and Wang, Qingyang and Da Silva, Dilma and Hu, Liting}, +title = {Totoro: A Scalable Federated Learning Engine for the Edge}, +year = {2024}, +isbn = {9798400704376}, +publisher = {Association for Computing Machinery}, +address = {New York, NY, USA}, +url = {https://doi.org/10.1145/3627703.3629575}, +doi = {10.1145/3627703.3629575}, +abstract = {Federated Learning (FL) is an emerging distributed machine learning (ML) technique that enables in-situ model training and inference on decentralized edge devices. We propose Totoro, a novel scalable FL engine, that enables massive FL applications to run simultaneously on edge networks. The key insight is to explore a distributed hash table (DHT)-based peer-to-peer (P2P) model to re-architect the centralized FL system design into a fully decentralized one. In contrast to previous studies where many FL applications shared one centralized parameter server, Totoro assigns a dedicated parameter server to each individual application. Any edge node can act as any application's coordinator, aggregator, client selector, worker (participant device), or any combination of the above, thereby radically improving scalability and adaptivity. Totoro introduces three innovations to realize its design: a locality-aware P2P multi-ring structure, a publish/subscribe-based forest abstraction, and a bandit-based exploitation-exploration path planning model. Real-world experiments on 500 Amazon EC2 servers show that Totoro scales gracefully with the number of FL applications and N edge nodes, speeds up the total training time by 1.2 \texttimes{} -14.0\texttimes{}, achieves O (logN) hops for model dissemination and gradient aggregation with millions of nodes, and efficiently adapts to the practical edge networks and churns.}, +booktitle = {Proceedings of the Nineteenth European Conference on Computer Systems}, +pages = {182–199}, +numpages = {18}, +keywords = {Distributed and parallel systems for machine learning, edge computing, federated learning}, +location = {Athens, Greece}, +series = {EuroSys '24} +} + +@inproceedings{10.1145/3627703.3650081, +author = {Khan, Ahmad Faraz and Khan, Azal Ahmad and Abdelmoniem, Ahmed M. and Fountain, Samuel and Butt, Ali R. and Anwar, Ali}, +title = {FLOAT: Federated Learning Optimizations with Automated Tuning}, +year = {2024}, +isbn = {9798400704376}, +publisher = {Association for Computing Machinery}, +address = {New York, NY, USA}, +url = {https://doi.org/10.1145/3627703.3650081}, +doi = {10.1145/3627703.3650081}, +abstract = {Federated Learning (FL) has emerged as a powerful approach that enables collaborative distributed model training without the need for data sharing. However, FL grapples with inherent heterogeneity challenges leading to issues such as stragglers, dropouts, and performance variations. Selection of clients to run an FL instance is crucial, but existing strategies introduce biases and participation issues and do not consider resource efficiency. Communication and training acceleration solutions proposed to increase client participation also fall short due to the dynamic nature of system resources. We address these challenges in this paper by designing FLOAT, a novel framework designed to boost FL client resource awareness. FLOAT optimizes resource utilization dynamically for meeting training deadlines, and mitigates stragglers and dropouts through various optimization techniques; leading to enhanced model convergence and improved performance. FLOAT leverages multi-objective Reinforcement Learning with Human Feedback (RLHF) to automate the selection of the optimization techniques and their configurations, tailoring them to individual client resource conditions. Moreover, FLOAT seamlessly integrates into existing FL systems, maintaining non-intrusiveness and versatility for both asynchronous and synchronous FL settings. As per our evaluations, FLOAT increases accuracy by up to 53\%, reduces client dropouts by up to 78\texttimes{}, and improves communication, computation, and memory utilization by up to 81\texttimes{}, 44\texttimes{}, and 20\texttimes{} respectively.}, +booktitle = {Proceedings of the Nineteenth European Conference on Computer Systems}, +pages = {200–218}, +numpages = {19}, +keywords = {Federated Learning, Machine Learning Systems, Resource Management}, +location = {Athens, Greece}, +series = {EuroSys '24} +} + +@inproceedings{10.1145/3627703.3629559, +author = {Jiang, Zhifeng and Wang, Wei and Chen, Ruichuan}, +title = {Dordis: Efficient Federated Learning with Dropout-Resilient Differential Privacy}, +year = {2024}, +isbn = {9798400704376}, +publisher = {Association for Computing Machinery}, +address = {New York, NY, USA}, +url = {https://doi.org/10.1145/3627703.3629559}, +doi = {10.1145/3627703.3629559}, +abstract = {Federated learning (FL) is increasingly deployed among multiple clients to train a shared model over decentralized data. To address privacy concerns, FL systems need to safeguard the clients' data from disclosure during training and control data leakage through trained models when exposed to untrusted domains. Distributed differential privacy (DP) offers an appealing solution in this regard as it achieves a balanced tradeoff between privacy and utility without a trusted server. However, existing distributed DP mechanisms are impractical in the presence of client dropout, resulting in poor privacy guarantees or degraded training accuracy. In addition, these mechanisms suffer from severe efficiency issues.We present Dordis, a distributed differentially private FL framework that is highly efficient and resilient to client dropout. Specifically, we develop a novel 'add-then-remove' scheme that enforces a required noise level precisely in each training round, even if some sampled clients drop out. This ensures that the privacy budget is utilized prudently, despite unpredictable client dynamics. To boost performance, Dordis operates as a distributed parallel architecture via encapsulating the communication and computation operations into stages. It automatically divides the global model aggregation into several chunk-aggregation tasks and pipelines them for optimal speedup. Large-scale deployment evaluations demonstrate that Dordis efficiently handles client dropout in various realistic FL scenarios, achieving the optimal privacy-utility tradeoff and accelerating training by up to 2.4\texttimes{} compared to existing solutions.}, +booktitle = {Proceedings of the Nineteenth European Conference on Computer Systems}, +pages = {472–488}, +numpages = {17}, +keywords = {Client Dropout, Distributed Differential Privacy, Federated Learning, Pipeline, Secure Aggregation}, +location = {Athens, Greece}, +series = {EuroSys '24} +} + +@inproceedings{10.1145/3552326.3567485, +author = {Abdelmoniem, Ahmed M. and Sahu, Atal Narayan and Canini, Marco and Fahmy, Suhaib A.}, +title = {REFL: Resource-Efficient Federated Learning}, +year = {2023}, +isbn = {9781450394871}, +publisher = {Association for Computing Machinery}, +address = {New York, NY, USA}, +url = {https://doi.org/10.1145/3552326.3567485}, +doi = {10.1145/3552326.3567485}, +abstract = {Federated Learning (FL) enables distributed training by learners using local data, thereby enhancing privacy and reducing communication. However, it presents numerous challenges relating to the heterogeneity of the data distribution, device capabilities, and participant availability as deployments scale, which can impact both model convergence and bias. Existing FL schemes use random participant selection to improve the fairness of the selection process; however, this can result in inefficient use of resources and lower quality training. In this work, we systematically address the question of resource efficiency in FL, showing the benefits of intelligent participant selection, and incorporation of updates from straggling participants. We demonstrate how these factors enable resource efficiency while also improving trained model quality.}, +booktitle = {Proceedings of the Eighteenth European Conference on Computer Systems}, +pages = {215–232}, +numpages = {18}, +location = {Rome, Italy}, +series = {EuroSys '23} +} + +@INPROCEEDINGS{10046104, + author={Yu, Sixing and Nguyen, Phuong and Abebe, Waqwoya and Qian, Wei and Anwar, Ali and Jannesari, Ali}, + booktitle={SC22: International Conference for High Performance Computing, Networking, Storage and Analysis}, + title={SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Federated Learning}, + year={2022}, + volume={}, + number={}, + pages={1-14}, + keywords={Training;Data privacy;Costs;Federated learning;High performance computing;Transfer learning;Process control;Federated Learning;Heterogeneous System;Machine Learning;ML;FL}, + doi={10.1109/SC41404.2022.00041}} + + +@INPROCEEDINGS{9923843, + author={Tian, Chunlin and Li, Li and Shi, Zhan and Wang, Jun and Xu, ChengZhong}, + booktitle={2022 55th IEEE/ACM International Symposium on Microarchitecture (MICRO)}, + title={HARMONY: Heterogeneity-Aware Hierarchical Management for Federated Learning System}, + year={2022}, + volume={}, + number={}, + pages={631-645}, + keywords={Training;Performance evaluation;Runtime;Microarchitecture;Federated learning;Estimation;Training data;Federated learning;heterogeneous systems;mobile device}, + doi={10.1109/MICRO56248.2022.00049}} + + -- Gitee From 117aafdeb49af3397158075cc32c3315e924a388 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E4=B9=85=E7=9D=A1=E6=88=90=E7=98=BE?= <2823203541@qq.com> Date: Fri, 24 Jan 2025 08:44:30 +0000 Subject: [PATCH 3/3] update WL.tex. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 久睡成瘾 <2823203541@qq.com> --- WL.tex | 463 +++++++++++++++++++++++++++------------------------------ 1 file changed, 221 insertions(+), 242 deletions(-) diff --git a/WL.tex b/WL.tex index 1134668..c951e1f 100644 --- a/WL.tex +++ b/WL.tex @@ -8,9 +8,14 @@ \usepackage{hyperref} \usepackage{enumitem} \usepackage{longtable} +\usepackage{algorithm} +\usepackage{algorithmic} +\usepackage{amsmath} +\usepackage{amssymb} -\title{分布式计算论文综述：混合会议综述模板} -\author{廖雨航 241607010036 电子信息} + +\title{分布式计算论文综述：混合会议综述} +\author{姓名：魏来\ 学号：241607010057\ 专业：电子信息} \date{\today} \begin{document} @@ -18,15 +23,11 @@ \maketitle \section*{摘要} -本文综述了 RTAS、ICML、ICLR 和 DAC 四个国际会议近三年关于在资源受限型移动设备上进行神经网络训练与推理的研究进展。本文从并行算法、编程模型与框架、硬件优化与协同设计、分布式系统四个主题出发，系统总结和比较了各会议的研究重点与贡献。研究表明，当前的研究主要集中在如何提高深度神经网络在受限资源环境下的计算效率、降低功耗、优化存储使用以及提升模型的泛化能力。本文进一步探讨了不同会议之间的交叉研究点、研究趋势与领域挑战，并提出了未来可能的研究方向。 \section{引言} \subsection{会议背景与意义} -本综述覆盖以下会议： \textit{RTAS}（IEEE 实时与嵌入式技术及应用研讨会）、\textit{ICML}（国际机器学习大会）、\textit{ICLR}（国际深度学习研究会议）、\textit{DAC}（设计自动化会议）。这些会议在移动设备等资源受限型部署神经网络进行训练推理相关研究方向上存在诸多交叉点，但各自研究重点有所不同，分别是： -\\ \textit{RTAS}专注于实时与嵌入式技术及应用，在移动设备等资源受限环境下，重点研究如何将神经网络的训练推理与实时系统的严格时间约束、嵌入式设备的有限资源相结合。 -\\ \textit{ICML}作为机器学习领域的重要会议，聚焦于机器学习算法的创新与发展，着重研究适用于此类设备的新型神经网络训练算法，如如何改进优化算法以减少训练时间和内存消耗，以及如何利用迁移学习、元学习等技术，在少量数据的情况下实现高效的模型训练，提升模型在移动设备上的泛化能力和性能表现。 -\\ \textit{ICLR}主要关注学习表示的理论和实践，重点在于探索更高效的神经网络架构和表示学习方法，以降低模型复杂度，减少计算资源需求，同时保持甚至提升模型的准确性。 -\\ \textit{DAC}围绕设计自动化展开研究，侧重于从硬件设计和系统层面进行优化，包括设计专门针对神经网络计算的低功耗硬件架构、开发高效的硬件加速模块，以及优化硬件与软件之间的协同设计，提高移动设备在运行神经网络训练推理任务时的整体性能和能效比。 +本综述覆盖以下会议:\textit{DAC}（设计自动化）、\textit{ICDCS}（国际分布式计算系统）、\textit{EuroSys}（欧洲计算机系统会议）、\textit{SC}（超级计算大会）、\textit{MICRO}（国际微架构研讨会）。这些会议在并行编程、硬件优化、分布式系统等方向上有较多交叉点，但研究重点各有侧重，DAC是电子设计自动化领域的顶级会议，重点关注如何利用计算机辅助设计工具和方法来提高电子系统和集成电路的设计效率和质量。ICDCS是分布式计算领域的顶级会议，专注于研究分布式计算系统的设计、分析、实现及其应用。EuroSys 是计算机系统领域的重要学术会议，关注计算机系统的设计、实现、性能和优化。 + \subsection{综述目标} 本综述的目标是： \begin{itemize} @@ -36,7 +37,7 @@ \end{itemize} \subsection{综述范围} -本文涵盖例如\textit{RTAS}、\textit{ICML}、\textit{ICLR}和\textit{DAC}在近三年的研究论文，按主题统一分类，共分析\textit{17}篇论文。 +本文涵盖例如\textit{DAC}、\textit{ICDCS}和\textit{EuroSys}在近三年的研究论文，按主题统一分类，共分析\textit{[15]}篇论文。 \section{研究主题分类与分类分析} \subsection{主题分类} @@ -49,30 +50,27 @@ \end{enumerate} \subsection{论文总览与分类表} -用表格汇总论文信息，包括论文标题、作者、主题分类、核心技术和主要贡献等，方便快速查看。 \begin{table}[h!] \centering \resizebox{\textwidth}{!}{ \begin{tabular}{|l|l|l|l|l|l|} \hline \textbf{编号} & \textbf{主题} & \textbf{会议} & \textbf{标题} & \textbf{核心技术} & \textbf{主要贡献} \\ \hline - 1 & 分布式系统 & RTAS & TinyBFT: Byzantine Fault-Tolerant Replication for Highly Resource-Constrained Embedded Systems & PBFT协议优化和静态内存分配技术 & 提出了TINYBFT库,用于资源受限设备的BFT状态机复制 \\ \hline - 2 & 编程模型与框架 & ICML & POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging & 联合搜索重新计算和页面调度策略，图形级编译器优化 & 开发了POET系统,优化了内存受限边缘设备上的深度神经网络训练能耗 \\ \hline - 3 & 编程模型与框架 & ICML & TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge & 离线学习和在线学习框架，稀疏更新策略 & 提出了TinyTrain框架,提升数据稀缺环境下的深度学习模型性能 \\ \hline - 4 & 分布式系统 & ICLR & Using spiking neural networks to assist fine art and philology study: to classify styles of Chinese calligraphy with minimal computing power & 提出基于LeNet的CaStySNN对中国书法风格分类 & SNN在低计算资源下取得更好的分类效果 \\ \hline - 5 & 编程模型与框架 & ICLR & Transfer NAS with Meta-learned Bayesian Surrogates & 基于深度核高斯过程的自动机器学习框架 & 在六个计算机视觉数据集上取得最先进的性能 \\ \hline - 6 & 硬件优化与协同设计 & ICLR & Network Augmentation for Tiny Deep Learning & 增加宽度构建大模型，选择子网络辅助监督 & 减少内存占用和训练时间，适用于小型设备 \\ \hline - 7 & 硬件优化与协同设计 & ICLR & DictFormer: Tiny Transformer with Shared Dictionary & 轻量级Transformer模型压缩、共享字典和系数表示 & 压缩模型大小并减少计算量，适用于移动设备 \\ \hline - 8 & 编程模型与框架 & ICLR & MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer & 结合CNN和Transformer的轻量级网络结构设计 & 提高移动设备上的视觉识别任务效率 \\ \hline - 9 & 并行算法 & ICLR & DKM: Differentiable k-Means Clustering Layer for Neural Network Compression & 可微分的K-Means聚类算法，注意力机制 & 实现可微分的k-means聚类，优化模型压缩和准确率 \\ \hline - 10 & 分布式系统 & DAC & Deep Reorganization: Retaining Residuals in TinyML & 网络扩张和逐步线性化调整 & 提升微小神经网络在大规模数据集上的学习能力 \\ \hline - 11 & 并行算法 & DAC & MoteNN: Memory Optimization via Fine-grained Scheduling for Deep Neural Networks on Tiny Devices & STML系统，ARM TrustZone保护，内存交换策略 & 保护TinyML模型的知识产权，优化内存利用和降低延迟\\ \hline - 12 & 硬件优化与协同设计 & DAC & SPARK: An Efficient Hybrid Acceleration Architecture with Run-Time Sparsity-Aware Scheduling for TinyML Learning & DERO方法，重新组织残差连接法 & 降低微型设备中的峰值内存使用，保持模型精度\\ \hline - 13 & 并行算法 & DAC & RT-MDM: Real-Time Scheduling Framework for Multi-DNN on MCU Using External Memory & 轴连接图（ACG）表示，内存瓶颈导向的算子分区和调度 & 降低微型设备上的峰值内存使用，几乎不引入额外延迟 \\ \hline - 14 & 并行算法 & DAC & NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders of Deep Giants & 混合加速架构，稀疏感知加速调度器 & 提升TinyML学习性能，降低内存访问带来的性能损耗 \\ \hline - 15 & 分布式系统 & DAC & IP Protection in TinyML & 基于段组的内存管理策略，任务内调度器 & 提优化多DNN任务的执行，提供时间保证 \\ \hline - 16 & 编程模型与框架 & DAC & The larger the fairer?: small neural networks can achieve fairness for edge devices & FaHaNa框架，模型冻结方法 & 寻找公平且准确的神经网络架构 \\ \hline - 17 & 分布式系统 & DAC & FHDnn: communication efficient and robust federated learning for AIoT networks &融合CNNs和超维计算的协同联邦学习框架 & 提降低通信成本，提高对网络错误的鲁棒性 \\ \hline + 1 & 分布式系统 & DAC & FHDnn: Communication Efficient and Robust Federated Learning for AIoT Networks & 卷积神经网络、超维计算 & FHDnn框架能够提高通信效率同时具有高鲁棒性 \\ \hline + 2 & 分布式系统 & DAC & AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems & 模型剪枝机制、强化学习策略 & AdaptiveFL对于IID和非IID场景都能实现较好推理改进 \\ \hline + 3 & 分布式系统 & DAC & Fake Node-Based Perception Poisoning Attacks against Federated Object Detection Learning in Mobile Computing Networks & 基于假节点的感知中毒攻击策略 & 提出FNPPA，丰富了联邦学习安全攻击领域的理论研究 \\ \hline + 4 & 分布式系统 & ICDCS & Fed-MS: Fault Tolerant Federated Edge Learning with Multiple Byzantine Servers & 多服务器技术、修剪均值模型过滤器 & 解决了在拜占庭PS存在情况下的模型聚合与可靠训练问题 \\ \hline + 5 & 分布式系统 & ICDCS & Toward Free-riding Attack on Cross-Silo Federated Learning Through Evolutionary Game & 进化博弈模型、环境反馈动态框架和非线性控制方法 & 提出基于进化博弈的Fed-EPG激励模型 \\ \hline + 6 & 分布式系统 & ICDCS & FedMark: Large-Capacity and Robust Watermarking in Federated Learning & Shamir秘密共享技术、哈希矩阵计算 & 增强了水印鲁棒性，满足了现实 FL 系统的需求 \\ \hline + 7 & 分布式系统 & ICDCS & OASIS: Offsetting Active Reconstruction Attacks in Federated Learning & 图像增强技术 & 提出OASIS防御机制，有效抵御此类攻击并保持模型性能。 \\ \hline + 8 & 分布式系统 & ICDCS & Mitigation of Gradient Inversion Attacks in Federated Learning with Private Adaptive & 安全聚合算法、自适应优化 & 提出SecAdam算法，有效缓解安全攻击且提升模型性能 \\ \hline + 9 & 分布式系统 & EuroSys & DeTA: Minimizing Data Leaks in Federated Learning via Decentralized and Trustworthy Aggregation & 去中心化数据聚合、机密计算 & 有效降低联邦学习数据泄露风险 \\ \hline + 10 & 分布式系统 & EuroSys & Totoro: A Scalable Federated Learning Engine for the Edge & 分布式哈希表、P2P & 解决边缘网络联邦学习的扩展性和适应性难题 \\ \hline + 11 & 分布式系统 & EuroSys & FLOAT: Federated Learning Optimizations with Automated Tuning & 多目标强化学习 & 解决联邦学习中资源管理和模型性能优化难题 \\ \hline + 12 & 分布式系统 & EuroSys & Dordis: Efficient Federated Learning with Dropout-Resilient Differential Privacy & XNoise噪声强制方案、分布式并行架构 & 有效解决联邦学习中分布式差分隐私机制面临的客户端退出和效率问题 \\ \hline + 13 & 分布式系统 & EuroSys & REFL: Resource-Efficient Federated Learning & 智能参与者选择、陈旧感知聚合 & 有效解决联邦学习中资源浪费和数据多样性低的问题 \\ \hline + 14 & 分布式系统 & SC & SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Federated Learning & 异质知识转移学习、强化、联邦 & 有效降低联邦学习通信开销、加速模型推理、解决数据异质性问题 \\ \hline + 15 & 分布式系统 & MICRO & HARMONY: Heterogeneity-Aware Hierarchical Management for Federated Learning System & 协调器技术、聚类算法 & 有效平衡联邦学习中模型性能与训练进度 \\ \hline \end{tabular} } \caption{跨会议论文分类总览} @@ -81,299 +79,280 @@ \section{各主题详细分析} -\subsection{主题 1：并行算法} - -\subsubsection{ICLR} -\begin{itemize} - \item Minsik等\cite{cho2022dkm}提出了\textit{Differentiable K-Means Clustering Layer}，优化了\textit{深度神经网络模型压缩和准确率之间的平衡}。 -\end{itemize} -论文详细分析如下： -\begin{itemize} - \item \textbf{论文标题}：DKM: Differentiable k-Means Clustering Layer for Neural Network Compression\cite{cho2022dkm} - \item \textbf{研究问题}：在深度神经网络（DNN）模型压缩中,传统聚类方法无法通过反向传播优化权重与质心之间关系，以及权重聚类时存在的未充分优化、不可微等问题 - \item \textbf{方法与技术}：论文采用了哪些创新方法或技术？这些方法的优势是什么？提出了一种名为Differentiable K-Means Clustering Layer（DKM）的压缩算法， - 将 k -means 聚类转化为注意力问题，通过计算权重与聚类中心的距离矩阵，应用 softmax 得到注意力矩阵，实现权重与所有聚类中心的交互，进而进行可微的 k -means 聚类。 - 该过程迭代进行，直至聚类中心收敛，且整个过程可微，能根据任务损失优化权重分配，即整个过程可以被反向传播优化 - \item \textbf{主要贡献}：该文的创新点就在于提出了一个新颖的方法，即使用注意力机制来捕捉权重和簇之间的交互作用，从而实现可微分的k-means聚类， - 而且实验结果表明DKM在模型压缩和准确率之间取得了更好的平衡，超越22年以前的先进算法，也是后续研究工作的基准方法之一。 - \item \textbf{不足与未来方向}：DKM 层会增加 GPU 内存使用，尤其在更多聚类（更多比特）和更小维度的情况下。 - 此外，训练和推理时权重存在差异，导致准确率有一定下降，可以使用稀疏表示来减少 GPU 内存占用，如为每个权重保留 top-k 个聚类中心； - 将控制注意力矩阵软度的超参数 τ 设为每层可学习参数或应用调度策略，进一步提高模型准确性 -\end{itemize} +\subsection{主题 1：分布式系统} \subsubsection{DAC} \begin{itemize} - \item Renze等\cite{chen2024MoteNN}提出了\textit{轴连接图（ACG）表示方法}，优化了\textit{微型设备上深度神经网络的内存使用}。 - \item Kang等\cite{kang2024RT-MDM}提出了\textit{实时调度框架RT-MDM}，优化了\textit{多DNN任务的执行和内存管理}。 - \item zhong等\cite{Zhongzhi2023NetBosster}提出了\textit{NetBooster网络训练框架}，优化了\textit{微小神经网络在大规模数据集上的学习能力}。 -\end{itemize} -论文详细分析如下： -\begin{itemize} - \item \textbf{论文标题}：MoteNN: Memory Optimization via Fine-grained Scheduling for Deep Neural Networks on Tiny Devices - \item \textbf{研究问题}：一些库和框架已经开发出来用于在小型设备上部署DNN。但是它们很少关注中间张量的内存使用优化。TinyEngine通过手动设计的基于补丁的推理来减少内存使用，但这种方法引入了显著的延迟开销，并且仅限于简单的CNN结构，因此难以应用于更复杂的DNNs。 - 一些工作在具有复杂结构的网络中安排操作执行顺序可以有效地降低内存使用，但这些方法是粗粒度的，通过将操作符划分成较小的操作符并安排更细粒度的图，可以获得更大的内存减小（细粒度）。但网络中每个操作器都有相当多的分区方案，这些方案一起形成了一个大的组合优化空间。 - 如何搜索出满足延迟约束下的最小峰值内存的网络分区方案和对应的调度是具有挑战性的。 - \item \textbf{方法与技术}：提出一种名为轴连接图（ACG）的图表示方法，以图形层次对操作符进行分区，显著减少了优化空间。 基于ACG还提出一种算法，该算法以内存瓶颈为导向，寻找合适的算子分区和调度方案。 - 通过分析网络中各部分的内存需求和使用情况，确定内存瓶颈所在，然后根据这些信息对算子进行划分和调度，从而降低峰值内存使用。 - 为了避免重叠滑动窗口引起的大量计算开销，MoteNN通过算子分区，将复杂的神经网络计算过程进行细分，根据不同算子的特点和内存需求，制定精细的执行顺序和调度方案，最大程度减少内存的峰值占用。 - \item \textbf{主要贡献}：在实际应用中，使用各种流行网络对MoteNN进行评估，结果显示与当前最先进的方法相比，MoteNN在微型设备上可实现高达80\%的峰值内存使用降低，有效缓解了微型设备内存不足的问题。 - 而且在大幅降低内存使用的同时，几乎没有引入额外的延迟开销，使得深度神经网络在微型设备上能够快速运行，保证了系统的实时性和响应速度。 MoteNN不局限于简单的CNN，可应用于任意深度神经网络。 - \item \textbf{不足与未来方向}：未来可研究如何进一步提升MoteNN在更复杂和新型神经网络结构上的性能硬件适配策略，使其能更好地应用于各种不同架构的微型设备；还可以结合其他内存优化技术或硬件加速技术，进一步提高深度神经网络在微型设备上的整体运行效率。 -\end{itemize} - -\begin{itemize} - \item \textbf{论文标题}：RT-MDM: Real-Time Scheduling Framework for Multi-DNN on MCU Using External Memory - \item \textbf{研究问题}：随着在微控制器单元（MCUs）上执行的深度神经网络（DNNs）应用范围扩展到对时间要求严格的系统中，确保满足日益增长的DNN推理的时间要求变得至关重要。现有研究在满足这一需求方面存在不足， - 本文旨在提出一种针对在使用外部内存的MCU上执行多个DNN任务的实时调度框架，解决如何在这种资源受限的环境下，有效调度多个DNN任务，保证其执行时间要求，并合理管理内存的问题。 - \item \textbf{方法与技术}：对分段的DNN模型，分析其执行顺序依赖关系，以及在依赖条件下并行执行时的内存需求。 提出基于段组的内存管理策略，实现段组内内存的隔离使用，以及不同段组间内存的分片使用。 - 同时专门为上述内存管理策略设计了任务内调度器。该调度器根据任务依赖和内存分配情况，合理安排任务执行顺序，确保在满足时间要求的同时，充分利用系统资源。 - \item \textbf{主要贡献}：提出首个针对在使用外部内存的MCU上执行多个DNN任务的实时调度框架，填补了该领域的空白。该方法在实际系统中优化了DNN任务的执行，有效容纳更多DNN任务，并为其提供时间保证，提升了基于MCU的实时系统在多DNN任务处理方面的性能。 - \item \textbf{不足与未来方向}：RT-MDM可能在面对极其复杂的DNN模型结构或大规模多任务场景时，其调度和内存管理的效率会受到挑战；在不同类型的MCU和外部内存组合下，框架的通用性或许有待提升。 - 未来可研究如何优化RT-MDM，使其能更好地应对复杂模型和大规模多任务场景，进一步提高调度和内存管理效率；探索增强框架在不同硬件环境下的通用性，使其能适配更多类型的MCU和外部内存 -\end{itemize} - -\begin{itemize} - \item \textbf{论文标题}：NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders of Deep Giants - \item \textbf{研究问题}：在微小深度学习中，微小神经网络（TNNs）模型因容量有限导致出现欠拟合问题，如何提升其在大规模数据集上的学习能力和下游任务的准确率，同时保持其高效性。 - 同时如何采用扩展-收缩策略，并解决其中存在的问题。 - \item \textbf{方法与技术}：提出了一种名为NetBooster的网络训练框架，旨在通过扩张-收缩策略提高DNN的性能。具体来说，该框架包括两个步骤：第一步是网络扩张，通过插入多层块来增加CNN的容量，并缓解其欠拟合问题； - 第二步是逐步线性化调整（Progressive Linearization Tuning，PLT），在目标数据集上逐步去除扩张块中的非线性激活函数并将其收缩回原始CNN，以继承学到的知识而不带来额外的推理开销。 - \item \textbf{主要贡献}：首次提出通过构建深度巨网络来提升 TNNs 准确率的训练范式；NetBooster 训练框架相比现有方法， - NetBooster 能使 TNNs 的准确率提升 1.3\% - 2.5\%；在下游任务中，最高可提升 4.7\% 的准确率；此外，该文还探索了何时、何地以及如何在训练TNN时进行数据扩充 - \item \textbf{不足与未来方向}：论文未提及 NetBooster 在处理某些特定复杂任务或数据集时可能存在的局限性，也未对框架在不同硬件平台上的适应性进行深入探讨。 - 例如，如何更好地选择数据扩充的方式以及如何优化扩张-收缩策略等，未来可进一步探索。 -\end{itemize} - -\subsection{主题 2：编程模型与框架} - -\subsubsection{ICML} -\begin{itemize} - \item Patil等\cite{pmlr-v162-patil22b}提出了\textit{Private Optimal Energy Training系统}，优化了\textit{内存受限边缘设备上的深度神经网络训练能耗}。 - \item Kown等\cite{kwon2024tinytrain}提出了\textit{Tiny-Train训练框架}，优化了\textit{数据稀缺环境下的深度学习模型性能}。 + \item Chandrasekaran等\cite{10.1145/3489517.3530394}提出了\textit{FHDnn}，通过结合CNNs和超维计算，避免传输CNN而仅训练超维组件，有效降低了通信成本和设备能耗，增强了对网络错误的鲁棒性。 + \item Jia等\cite{10.1145/3649329.3655917}提出了\textit{AdaptiveFL}，通过细粒度宽度模型剪枝机制和强化学习设备选择策略，有效提升了推理性能。 + \item Xiao等\cite{10.1145/3649329.3655934}提出了\textit{FNPPA}，丰富了联邦学习安全攻击领域的理论研究，为后续研究提供了新的方向和思路。 \end{itemize} -论文详细分析如下： \begin{itemize} - \item \textbf{论文标题}：POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging - \item \textbf{研究问题}：在内存受限的边缘设备上训练深度神经网络时，如何优化能耗并保证训练速度？ - 以及如何在满足最小训练吞吐量的前提下，寻找最佳的重新计算和页面调度策略 - \item \textbf{方法与技术}：提出了名为POET（Private Optimal Energy Training）的系统，用于在内存受限的边缘设备上训练深度神经网络。 - 该系统通过联合搜索重新计算和页面调度（这是减少反向传播内存消耗的算法）来优化能耗，并确保满足最小训练吞吐量的要求 - \item \textbf{主要贡献}：POET的主要创新点在于将激活重新计算和页式存储相结合，以减少内存占用并最小化总能量消耗。 - 同时，POET使用整数线性规划（ILP）来解决边缘设备上的深度学习训练问题，并能够在十分钟内由商用求解器解决。 - 此外，POET还可以根据给定的内存预算和训练期限生成满足这些约束条件的解决方案，并能够适应不同的硬件和网络操作符。 - \item \textbf{不足与未来方向}：未来的研究方向包括整合激活压缩以及扩大POET的搜索空间以页式存储参数等。此外，POET的能量优化策略也可以应用于云计算环境下的深度学习训练。 -\end{itemize} + \item \textbf{论文标题}： + FHDnn: Communication Efficient and Robust Federated Learning for AIoT Networks + \item \textbf{研究问题}： + 针对物联网环境下联邦学习面临的传输成本高、网络不可靠和设备计算能力有限等问题提出相对应的解决方法。 + \item \textbf{方法与技术}： + 提出了FHDnn框架，通过结合CNNs和超维计算，避免传输CNN而仅训练超维组件，有效降低了通信成本和设备能耗，增强了对网络错误的鲁棒性。 + \item \textbf{主要贡献}： + 提出了一种新的联邦学习框架FHDnn，将深度学习中的卷积神经网络（CNN）和超维计算（HDC）相结合，为联邦学习在理论模型构建上提供了新的思路。证明了FHDnn 在满足L-smoothness、强凸性、有界方差和一致有界梯度等条件下，能以O(1/T)的速率收敛到学习任务的全局最优解。FHDnn将通信成本降低了66倍，本地客户端计算和能耗降低了1.5-6倍，同时对网络错误具有高度鲁棒性，且精度损失最小。 + \item \textbf{不足与未来方向}： + 论文的不足在于仅聚焦图像分类应用，对其他任务未深入探讨，极端网络错误处理有欠缺且实验数据和模型架构有限；未来工作有望拓展应用范围、提升鲁棒性及在更多样数据集和架构上实验以增强结论普适性。 +\end{itemize} \begin{itemize} - \item \textbf{论文标题}：TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge - \item \textbf{研究问题}：在数据稀缺的边缘设备上进行深度神经网络训练时所面临的挑战 - \item \textbf{方法与技术}：一种名为Tiny-Train的训练框架，该框架包括两个阶段：离线学习和在线学习。离线学习通过使用大量公共数据集进行预训练，并利用元学习技术对少量样本进行训练来提高模型的泛化能力。 - 在线学习则针对特定任务，在有限的数据集上进行微调以进一步提高模型性能。此外，该框架还采用了稀疏更新策略，通过对模型中重要的层和通道进行选择性的更新，减少了计算和内存开销。 - \item \textbf{主要贡献}：与传统的整个网络微调相比，TinyTrain在准确性方面提高了3.6-5.0\%，同时将反向传播内存和计算成本分别降低了高达1,098倍和7.68倍，TinyTrain比现有方法快9.5倍、更节能3.5倍，且内存占用量仅为SOTA方法的2.23倍，同时仍保持在MCU级平台的1MB内存限制内 - \item \textbf{不足与未来方向}：可以考虑将该方法扩展到不同的架构（如Transformer、RNN等）和应用领域（如分割、音频/生物数据），或者在边缘设备上运行大型语言模型 + \item \textbf{论文标题}： + AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems + \item \textbf{研究问题}： + 论文针对物联网（AIoT）设备在联邦学习（FL）中因硬件资源异构和环境不确定导致分类性能低的问题，提出相对应的解决方法。 + \item \textbf{方法与技术}： + 提出AdaptiveFL方法，通过细粒度宽度模型剪枝机制和强化学习设备选择策略，有效提升了推理性能。 + \item \textbf{主要贡献}： + 与最先进的方法相比，AdaptiveFL对于IID和非IID场景都能实现高达8.9\%的推理改进。 + \item \textbf{不足与未来方向}： + 论文虽提出AdaptiveFL提升了AIoT联邦学习性能，但未深入探究极端设备异构和复杂环境下的稳定性，未来可在此方面开展研究以进一步完善该方法。 \end{itemize} -\subsubsection{ICLR} \begin{itemize} - \item Shala等\cite{shala2023transfer}提出了\textit{基于深度核高斯过程的自动机器学习框架}，优化了\textit{新数据集上的最优神经网络架构发现}。 - \item mehta等\cite{mehta2022mobilevit}提出了\textit{MobileViT模型}，优化了\textit{移动视觉任务在资源受限设备上的运行需求}。 + \item \textbf{论文标题}： + Fake Node-Based Perception Poisoning Attacks against Federated Object Detection Learning in Mobile Computing Networks + \item \textbf{研究问题}： + 论文针对移动计算网络中联邦对象检测学习的安全漏洞，提出基于假节点的感知中毒攻击策略。 + \item \textbf{方法与技术}： + FNPPA通过污染本地数据和注入假节点，在不影响其他对象正常检测的情况下增强对目标对象的恶意影响，并经实验证明其攻击效果优于现有技术。 + \item \textbf{主要贡献}： + 提出了移动计算环境下基于假节点的感知中毒攻击技术（FNPPA），丰富了联邦学习安全攻击领域的理论研究，为后续研究提供了新的方向和思路。通过实施标签翻转、边界框和对象存在三种感知中毒攻击，能精准影响模型对中毒样本的检测且维持其他正常样本的检测精度；同时利用假节点帮助攻击者以更低成本和更高概率参与聚合，FNPPA 相较于现有先进技术在平均精度和聚合效果等评估维度上展现出更优的攻击效果。 + \item \textbf{不足与未来方向}： + 论文虽提出FNPPA攻击策略并验证其效果，但未深入研究应对复杂环境变化和多类型防御组合的有效性，未来可在此方面开展研究以完善对联邦学习安全的评估。 \end{itemize} -论文详细分析如下： +\subsubsection{ICDCS} \begin{itemize} - \item \textbf{论文标题}：Transfer NAS with Meta-learned Bayesian Surrogates - \item \textbf{研究问题}：传统自动机器学习框架无法快速适应新数据集 - \item \textbf{方法与技术}：提出了一种基于深度核高斯过程（Deep Kernel Gaussian Process）的自动机器学习框架，用于快速发现新数据集上的最优神经网络架构。 - 通过利用图神经网络（Graph Neural Network）获取神经网络的可学习表示，并使用嵌入式变换器（Set Transformer）获得数据集的可学习表示。 - 然后将这两个表示合并并传递给一个全连接神经网络，以产生输入到可训练核函数中的向量。最后，通过元学习（Meta-Learning）来优化这些参数，以便在新的响应曲面上快速识别最佳配置 - \item \textbf{主要贡献}：该方法在六个计算机视觉数据集上取得了最先进的性能，并且速度与单次搜索方法相当。 - \item \textbf{不足与未来方向}：该方法针对小型数据集，可以尝试应用在微小嵌入式设备的训练上，可以考虑与现有方法结合。 -\end{itemize} + \item Qi等\cite{10631004}提出了\textit{Fed-MS}，针对联邦边缘学习中参数服务器可能存在拜占庭行为的问题，提出了一种拜占庭容错算法。 + \item Chen等\cite{10631028}提出了\textit{Fed-EPG}，针对如何解决跨组织联邦学习中存在的搭便车攻击问题进行了研究。 + \item Zhang等\cite{10630980}提出了\textit{FedMark}，针对联邦学习中模型水印技术存在的容量有限、易受攻击且无法适应多所有者场景等问题进行了研究。 + \item Jeter等\cite{10631003}提出了\textit{OASIS}，基于图像增强技术有效抵御此类攻击并保持模型性能。 + \item Lewis等\cite{10631001}提出了\textit{SecAdam}，通过改变梯度更新特性并改进聚合方式，有效缓解攻击且提升模型性能。 +\end{itemize} \begin{itemize} - \item \textbf{论文标题}：MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer - \item \textbf{研究问题}：如何结合卷积神经网络（CNNs）和视觉 Transformer（ViTs）的优势，构建一个轻量级、低延迟且通用的网络，以满足移动视觉任务在资源受限设备上的运行需求。 - 该问题重要性在于，许多现实世界应用依赖移动设备进行实时视觉识别任务，但现有轻量级 CNNs 存在空间局部性问题，而 ViTs 虽然能学习全局表示，但存在模型笨重、优化困难、对数据增强敏感等问题，无法很好地适用于移动设备 - \item \textbf{方法与技术}：将 Transformer 作为卷积来学习全局表示，在一个张量中有效编码局部和全局信息。通过标准卷积层和逐点卷积层生成局部特征，再利用 Transformer 对展开的特征进行全局处理，最后通过折叠和卷积融合特征。 - \item \textbf{主要贡献}：相比于传统的卷积神经网络，MobileViT可以有效地利用空间诱导偏置，从而更好地处理图像中的局部结构。 - 可以通过使用标准卷积层和点乘卷积层来替代复杂的多头自注意力机制，从而减少计算成本并提高效率。可以在不同大小的输入上进行训练，而无需进行任何位置插值或调整。 - \item \textbf{不足与未来方向}：作为针对移动设备缺乏专门为 Transformer 优化的操作，MobileViT是各类实验的基准模型，目前已有各种先进的版本和其他方法。 - 该论文提出的模型对推动移动设备等资源受制型进行神经网络的部署和训练有重大意义. -\end{itemize} + \item \textbf{论文标题}： + Fed-MS: Fault Tolerant Federated Edge Learning with Multiple Byzantine Servers + \item \textbf{研究问题}： + 针对联邦边缘学习（FEEL）中参数服务器（PS）可能存在拜占庭行为的问题，提出了一种拜占庭容错算法。 + \item \textbf{方法与技术}： + Fed-MS算法，利用多服务器技术和修剪均值模型过滤器，解决了在拜占庭PS存在情况下的模型聚合与可靠训练问题，并通过稀疏上传策略提升通信效率，实现了与非拜占庭环境下相当的收敛速度。 + \item \textbf{主要贡献}： + 当拜占庭PS占少数时，Fed-MS实现了O(1/T)的预期收敛速度。数值结果表明，在拜占庭PS的恶意攻击下，Fed-MS可以将模型精度从10\%提高到至少76\%。 + \item \textbf{不足与未来方向}： + 论文虽提出Fed-MS算法有效应对拜占庭服务器问题，但仅考虑了部分拜占庭攻击类型和有限的数据集及模型结构，未来可拓展攻击类型、数据集与模型以增强算法普适性。 +\end{itemize} -\subsubsection{DAC} \begin{itemize} - \item Sheng等\cite{sheng2022FaHa}提出了\textit{FaHaNa框架}，优化了\textit{边缘设备上公平且准确的神经网络架构搜索}。 -\end{itemize} -论文详细分析如下： + \item \textbf{论文标题}： + Toward Free-riding Attack on Cross-Silo Federated Learning Through Evolutionary Game + \item \textbf{研究问题}： + 论文针对如何解决跨组织联邦学习（cross-silo FL）中存在的搭便车攻击问题进行了研究，并提出了相关的可行方法。 + \item \textbf{方法与技术}： + 考虑参与者的有限理性和信息不对称性，提出基于进化博弈的Fed-EPG激励模型，通过构建进化公共物品博弈模型、引入环境反馈的复制动态框架和多段非线性控制方法，有效鼓励参与者合作并提升全局模型精度。 + \item \textbf{主要贡献}： + 深入剖析跨组织联邦学习中搭便车攻击，建立进化公共物品博弈模型刻画其行为，提出Fed-EPG激励模型及多段非线性控制方法，经实验验证可有效抵御攻击、提升模型精度，为解决该问题提供新思路。 + \item \textbf{不足与未来方向}： + 模型仅考虑部分影响因素，如未充分考虑参与者数据和设备的异质性对激励效果的影响；实验设置相对局限，在参数选择和场景模拟上不够全面，可能无法完全反映实际复杂环境下的情况；控制方法的普适性有待进一步验证，对于不同类型的联邦学习任务和数据分布，其有效性可能存在差异。 +\end{itemize} + \begin{itemize} - \item \textbf{论文标题}：The larger the fairer?: small neural networks can achieve fairness for edge devices - \item \textbf{研究问题}：随着神经网络在边缘设备中的广泛应用，公平性问题逐渐凸显，如在人脸识别和移动医疗等领域。当前面临的挑战是，在满足边缘设备硬件规格要求的前提下，如何寻找具有公平性和准确性平衡的最优神经网络架构。 - \item \textbf{方法与技术}：论文提出了一种公平性和硬件感知的神经网络架构搜索框架FaHaNa，结合模型冻结方法，在搜索过程中考虑公平性、准确性和硬件约束。 - 采用特定的搜索算法，在满足硬件规格的基础上，搜索不同的神经网络架构。在搜索过程中使用模型冻结方法，固定部分网络参数，使得搜索更高效。 - \item \textbf{主要贡献}：创新性地提出FaHaNa框架，有效解决了在边缘设备上寻找公平且准确的神经网络架构的难题。而且论文实验证明了在皮肤病学数据集上， - FaHaNa能找到一系列具有更高公平性和准确性的神经网络。针对目标边缘设备，找到的神经网络架构相比MobileNetV2，准确率略高，模型大小缩小5.28倍，公平性得分提高15.14\% 。在Raspberry PI和Odroid XU-4设备上，推理速度分别提升5.75倍和5.79倍。 - \item \textbf{不足与未来方向}：公平性评估指标可能不够全面。 未来研究可考虑拓展公平性评估指标，使其更全面地反映模型公平性。同时，探索如何更好地适应不同类型的边缘设备和应用场景，推动边缘设备上公平且高效的神经网络发展 。 -\end{itemize} - -\subsection{主题 3：硬件优化与协同设计} - -\subsubsection{ICLR} -\begin{itemize} - \item cai等\cite{cai2022network}提出了\textit{NetAug方法}，优化了\textit{小型设备的小神经网络训练效果}。 - \item lou等\cite{lou2022dictformer}提出了\textit{DictFormer轻量级Transformer模型压缩方法}，优化了\textit{移动设备上的实时自然语言处理应用}。 -\end{itemize} - -论文详细分析如下： + \item \textbf{论文标题}： + FedMark: Large-Capacity and Robust Watermarking in Federated Learning + \item \textbf{研究问题}： + 针对联邦学习中模型水印技术存在的容量有限、易受攻击且无法适应多所有者场景等问题，提出 FedMark 水印机制及基于秘密共享的验证方法，实现了大容量水印嵌入，增强了水印鲁棒性，满足了现实 FL 系统的需求。 + \item \textbf{方法与技术}： + 在水印嵌入机制上，借助布隆过滤器Bloom Filter，将每个水印的哈希值嵌入到卷积层对应位置，减少单个水印占用参数数量，降低水印冲突概率，提升水印容量；同时，通过在参与者本地模型嵌入水印，构建独特映射关系，保障水印的隐蔽性。为提高水印验证的可靠性，运用基于秘密共享机制的方法，将参与者的嵌入矩阵作为秘密分享给其他参与者，利用Shamir秘密共享技术进行分发，在验证时需满足嵌入矩阵可重构且水印检测率达标的双重条件，增强了对伪造攻击的抵御能力，从而保障水印验证的准确性和安全性。 + \item \textbf{主要贡献}： + 证明了本地嵌入水印实现向联邦学习全局模型嵌入大量水印的可行性，识别出容量瓶颈，提出 FedMark 机制及基于秘密共享的验证方法，经实验验证其在水印容量、保密性和鲁棒性方面表现优异，为实际联邦学习系统提供了有效水印方案。 + \item \textbf{不足与未来方向}： + 对模型蒸馏攻击抵抗力不足、不适用于垂直联邦学习、嵌入矩阵占用内存大及未考虑恶意参与者等问题，未来可从增强抗模型蒸馏能力、拓展至垂直联邦学习、优化嵌入矩阵存储和应对恶意参与者等方向开展研究。 +\end{itemize} + \begin{itemize} - \item \textbf{论文标题}：Network Augmentation for Tiny Deep Learning - \item \textbf{研究问题}：在资源受限的环境下运行的小型设备的小神经网络的训练效果通常不如大型神经网络，表现在现有的正则化技术（如数据增强和dropout）的运行效果远远达不到拟合 - \item \textbf{方法与技术}：作者提出了NetAug方法，通过增加宽度的方式来构建大模型，然后从中选择子网络作为辅助监督来帮助小神经网络学习更有用的特征表示。 - 在训练过程中，NetAug只使用一个辅助监督网络来进行额外的前向和反向传播计算，以避免训练成本过高。 - \item \textbf{主要贡献}：NetAug只需要共享权重的大模型，因此可以大大减少内存占用和训练时间，因此可以考虑应用到小型设备， - 此外，NetAug还可以应用于已经设计好的神经网络架构上，进一步提高其性能。而且该文的实验验证了MobileNetV2-Tiny证明其能应用于微型设备 - \item \textbf{不足与未来方向}：未来研究可以进一步探索如何优化NetAug的参数设置，以获得更好的性能提升效果。此外，也可以考虑将NetAug应用于其他类型的深度学习任务，如自然语言处理等 + \item \textbf{论文标题}： + OASIS: Offsetting Active Reconstruction Attacks in Federated Learning + \item \textbf{研究问题}： + 如何解决联邦学习中不诚实服务器通过恶意修改全局模型参数、利用梯度反演进行主动重构攻击，导致用户隐私数据泄露的问题。 + \item \textbf{方法与技术}： + 提出 OASIS 防御机制，基于图像增强技术有效抵御此类攻击并保持模型性能。 + \item \textbf{主要贡献}： + 论文剖析联邦学习中主动重构攻击原理，提出 OASIS 这一基于图像增强的防御机制，经实验验证能有效抵御攻击、保持模型性能，为联邦学习隐私保护开辟新路径。 + \item \textbf{不足与未来方向}： + 提出的 OASIS 防御机制虽有效，但局限于图像领域，对表格和文本数据缺乏有效防御手段，未来将探索针对非图像数据的防御方法以拓展其适用范围。 \end{itemize} -\begin{itemize} - \item \textbf{论文标题}：DictFormer: Tiny Transformer with Shared Dictionary - \item \textbf{研究问题}：传统Transformer模型在移动设备等资源受限环境下，模型参数和计算量任务大，传统的重量共享方法和轻量化方法都没有有效的解决这个问题 - \item \textbf{方法与技术}：结合现有的重量共享方法和轻量化方法，作者提出了名为DictFormer的轻量级的Transformer模型压缩方法，将注意力和FFN中的权重分别表示为共享字典和少量非零系数的乘积形式， - 并利用这些共享字典和系数来进行矩阵乘法运算，从而实现了高效的计算。 - \item \textbf{主要贡献}：实验表明，DictFormer在多个任务上将模型大小减少了3.6倍到8.9倍，与Transformer相比 - \item \textbf{不足与未来方向}：虽然训练字典和系数并不容易的事情，但是存储和使用相较于传统的压缩方法，在保持较高准确率的同时，能够显著压缩模型大小并减少计算量， - 因此可以在移动设备和物联网设备上实现真正的实时自然语言处理应用。未来，DictFormer可以通过进一步优化字典共享和未共享线性投影系数的方法来提高性能 +\begin{itemize} + \item \textbf{论文标题}： + Mitigation of Gradient Inversion Attacks in Federated Learning with Private Adaptive + Optimization + \item \textbf{研究问题}： + 针对联邦学习中存在的梯度反演攻击威胁数据隐私的问题，提出SecAdam算法，通过改变梯度更新特性并改进聚合方式，有效缓解攻击且提升模型性能。 + \item \textbf{方法与技术}： + 采用基于客户端自适应优化器（如 Adam）和改进安全聚合算法的方法，混淆梯度反演、防止个体梯度被检索，能有效缓解梯度反演攻击，准确聚合客户端更新，在保障隐私的同时提升模型性能。 + \item \textbf{主要贡献}： + 剖析联邦学习中梯度反演攻击新趋势，提出 SecAdam 算法，通过优化器更新特性和改进聚合方式缓解攻击，经理论和实验验证其有效性。 + \item \textbf{不足与未来方向}： + 论文提出的 SecAdam 算法虽能缓解梯度反演攻击，但实验仅聚焦计算机视觉任务，未充分探索其他任务场景，未来可拓展算法在不同任务中的应用研究。 \end{itemize} -\subsubsection{DAC} +\subsubsection{EuroSys} \begin{itemize} - \item li等\cite{li2024Spark}提出了\textit{SPARK混合加速架构}，优化了\textit{TinyML学习性能和内存访问带来的性能损耗}。 + \item Cheng等\cite{10.1145/3627703.3650082}提出了\textit{DeTA}，有效降低联邦学习数据泄露风险，在不影响模型训练精度和性能的同时，增强系统安全性与可靠性。 + \item Ching等\cite{10.1145/3627703.3629575}提出了\textit{Totoro}，通过创新架构和技术，实现大规模应用的同时运行，提升训练效率并适应网络动态变化。 + \item Khan等\cite{10.1145/3627703.3650081}提出了\textit{FLOAT}，利用多目标强化学习结合人类反馈，动态优化资源利用和模型性能，提升联邦学习效果。 + \item Jiang等\cite{10.1145/3627703.3629559}提出了\textit{Dordis}，有效解决联邦学习中分布式差分隐私机制面临的客户端退出和效率问题，实现高效且抗客户端退出的分布式差分隐私联邦学习。 + \item Abdelmoniem等\cite{10.1145/3552326.3567485}提出了\textit{REFL}，有效解决联邦学习中资源浪费和数据多样性低的问题。 \end{itemize} \begin{itemize} - \item \textbf{论文标题}：SPARK: An Efficient Hybrid Acceleration Architecture with Run-Time Sparsity-Aware Scheduling for TinyML Learning - \item \textbf{研究问题}：当前大多数TinyML设备仅专注于推理，因为训练需要更多硬件资源。本文研究如何设计一种高效的TinyML学习加速架构（硬件方面），在有限硬件资源条件下支持设备端训练，同时提高硬件利用率和减少内存访问的问题。 - \item \textbf{方法与技术}：SPARK架构通过在CPU流水线中集成专门的加速单元，实现了前向和反向传播的同时处理；结合稀疏感知的动态工作负载调度器，优化了对稀疏数据的处理效率； - 并且，通过构建支持数据转置访问的统一内存系统，减少了内存访问次数和数据传输开销。 - \item \textbf{主要贡献}：相较于基线加速器，平均性能提升4.1倍，且仅增加2.27\%的面积开销。在性能方面，SPARK比现成的边缘设备高出9.4倍，效率提高446.0倍. - \item \textbf{不足与未来方向}：研究如何进一步提升架构在不同硬件环境下的可扩展性，适配更多类型的硬件资源；还可结合新兴技术，如更先进的稀疏性检测算法或新型内存管理技术，进一步提升系统整体性能。。 + \item \textbf{论文标题}： + DeTA: Minimizing Data Leaks in Federated Learning via Decentralized and Trustworthy Aggregation + \item \textbf{研究问题}： + 针对联邦学习中依赖中央聚合器导致的模型更新泄露风险，以及现有防护技术的局限性，提出 DeTA 架构，通过去中心化聚合、参数混洗和多聚合器认证等技术，在保障训练精度和性能的同时，有效降低数据泄露风险。 + \item \textbf{方法与技术}： + 提出 DeTA 架构，采用去中心化数据聚合、参数级数据混洗、基于机密计算（如 AMD SEV）的可信多聚合器认证及定制的两阶段认证协议等方法和技术来保护联邦学习中的数据安全。 + \item \textbf{主要贡献}： + 有效降低联邦学习数据泄露风险，在不影响模型训练精度和性能的同时，增强系统安全性与可靠性。 + \item \textbf{不足与未来方向}： + DeTA架构虽能有效降低联邦学习数据泄露风险，但未深入探讨应对FL参与方恶意行为的策略，未来可研究如何防范参与方恶意攻击及构建更完善的安全体系。 \end{itemize} -\subsection{主题 4：分布式系统} - -\subsubsection{RTAS} \begin{itemize} - \item harald等\cite{Harald2024TinyBFT}提出了\textit{TINYBFT库}，优化了\textit{嵌入式系统中高度资源受限设备的BFT状态机复制}。 + \item \textbf{论文标题}： + Totoro: A Scalable Federated Learning Engine for the Edge + \item \textbf{研究问题}： + 针对联邦学习在实际边缘网络应用中面临的可扩展性和适应性挑战，提出Totoro引擎，通过创新架构和技术，实现大规模应用的同时运行，提升训练效率并适应网络动态变化。 + \item \textbf{方法与技术}： + 在架构上，基于分布式哈希表（DHT）的对等（P2P）模型构建，将所有边缘节点自组织成一个可扩展的 P2P 覆盖网络，通过局部感知的 P2P 多环结构，实现边缘管理隔离和局部任务高效处理；利用发布/订阅森林抽象，为每个 FL 应用分配独立的动态数据流树，以去中心化方式管理模型广播和梯度聚合，提升系统扩展性。为应对边缘网络的动态性，引入基于强盗算法的路径规划模型，将路径规划问题转化为组合多臂强盗优化问题，在模型广播和梯度聚合时，通过探索不同路径学习链路质量，选择最优路径，适应网络变化。 + \item \textbf{主要贡献}： + Totoro 这一全新的可扩展联邦学习引擎，通过创新设计解决边缘网络联邦学习的扩展性和适应性难题，在多方面性能优于现有系统，还将开源推动领域发展。 + \item \textbf{不足与未来方向}： + 仅在500个Amazon EC2节点上进行实验评估，未充分验证大规模实际部署中的性能和稳定性，也未深入探讨复杂攻击场景下的安全性。 \end{itemize} \begin{itemize} - \item \textbf{论文标题}：TinyBFT: Byzantine Fault-Tolerant Replication for Highly Resource-Constrained Embedded Systems - \item \textbf{研究问题}：拜占庭式容错协议复制消耗了大量内存，无法适用于由高度资源受限设备组成的嵌入式系统。如何提出了通用解决方案,如何减少BFT状态机复制协议的内存占用量，如何提高协议效率 - \item \textbf{方法与技术}：进行了对不同BFT协议的设计进行的详细分析，包括选择适合嵌入式系统的PBFT协议作为基础，并对其进行了优化以减少内存消耗。 - 此外，还针对嵌入式系统的特点，如有限的内存、网络不可靠等，提出了相应的解决方案，例如使用非挥发性存储来保存部分状态信息，以及利用节点之间的通信特点来提高协议效率。 - \item \textbf{主要贡献}：主要贡献在于提出了TINYBFT库，这是一种针对嵌入式系统中高度资源受限设备的BFT状态机复制解决方案。 - 与现有的BFT协议相比，TINYBFT采用了静态分配技术来确保其内存消耗量上限，并且能够保证在具有极小内存资源的微型设备上运行 - \item \textbf{不足与未来方向}：论文需要进一步探讨在不同网络条件下（如高延迟或高丢包率）TinyBFT的表现和鲁棒性。 + \item \textbf{论文标题}： + FLOAT: Federated Learning Optimizations with Automated Tuning + \item \textbf{研究问题}： + 针对联邦学习中因系统和数据异质性引发的掉队者、客户端退出、性能差异及资源利用低效等问题，提出 FLOAT 框架，利用多目标强化学习结合人类反馈，动态优化资源利用和模型性能，提升联邦学习效果。 + \item \textbf{方法与技术}： + 提出 FLOAT 框架，采用多目标强化学习结合人类反馈（RLHF）的方法技术来优化联邦学习。通过基于 Q 学习的多目标 RL，让 RLHF 智能体以全局和客户端状态为输入，选择如压缩、量化、剪枝等优化动作及相应超参数，在满足模型性能需求的同时最大化资源效率，其奖励函数综合考虑客户端参与成功和准确率提升。为应对大规模训练时的开销问题，支持客户端数据共享时的集中训练与隐私保护场景下的本地训练，且内存和训练开销极小。针对新工作负载，可通过在聚合器端训练集体查找表或微调预训练的 RLHF 智能体来适应。此外，通过统计降维减少状态空间，调整奖励和探索策略，缓存类似客户端反馈等技术，提升框架性能、可扩展性及对复杂资源场景的适应性。 + \item \textbf{主要贡献}： + 提出FLOAT框架，利用多目标强化学习结合人类反馈，解决联邦学习中资源管理和模型性能优化难题，在提升模型准确率、减少客户端退出、提高资源利用率等方面成效显著，且可扩展、易集成。 + \item \textbf{不足与未来方向}： + 在资源丰富环境或对减少客户端退出需求不高的场景下优势减弱，且未充分探索更复杂现实场景中的应用效果。 \end{itemize} -\subsubsection{ICLR} \begin{itemize} - \item luan等\cite{luan2024using}提出了\textit{基于LeNet的SNN对中国书法风格进行分类}，优化了\textit{低计算资源情况下的图像数据处理}。 + \item \textbf{论文标题}： + Dordis: Efficient Federated Learning with Dropout-Resilient Differential Privacy + \item \textbf{研究问题}： + 为解决联邦学习中分布式差分隐私机制在实际应用时，因客户端退出导致的隐私保障失效以及安全聚合协议带来的效率低下的问题，提出 Dordis框架提升隐私-效用平衡和训练效率。 + \item \textbf{方法与技术}： + 提出Dordis框架，采用 “先加后减”的XNoise噪声强制方案和分布式并行架构来解决联邦学习问题。在XNoise方案中，客户端先添加过量噪声，服务器再依据实际客户端参与情况去除多余噪声，以确保聚合更新的噪声始终维持在最低要求水平，保障隐私预算合理使用，该过程利用噪声分解和秘密共享技术提升效率与鲁棒性，并通过安全信道建立、签名验证等方式巩固安全性。在分布式并行架构方面，Dordis将分布式DP工作流抽象为多个阶段，依据主导资源对步骤进行分组，将模型更新划分为多个块，实现流水线并行操作；通过建立性能模型并进行参数分析，确定最优的分块数量，从而加速安全聚合过程，提升训练效率。 + \item \textbf{主要贡献}： + 有效解决联邦学习中分布式差分隐私机制面临的客户端退出和效率问题，实现高效且抗客户端退出的分布式差分隐私联邦学习。 + \item \textbf{不足与未来方向}： + 仅在半诚实设置下进行评估，未充分探讨恶意场景中更复杂攻击对框架的影响，且未深入研究框架在不同数据分布和更广泛联邦学习任务中的普适性。 \end{itemize} -论文详细分析如下： \begin{itemize} - \item \textbf{论文标题}：Using spiking neural networks to assist fine art and philology study: to classify styles of Chinese calligraphy with minimal computing power - \item \textbf{研究问题}：在资源有限的情况下研究中国书法艺术，该研究对于理解人工智能与文化艺术之间的交叉领域具有重要意义 - \item \textbf{方法与技术}：使用基于LeNet的SNN（spiking neural networks）对中国书法的不同风格进行分类，并且比较了使用SNN和传统神经网络的效果 - \item \textbf{主要贡献}：相比于传统神经网络，SNN在相同的计算资源下可以取得更好的分类效果。这表明SNN可以在低计算资源的情况下对图像数据进行处理， - 这对于一些资源受限的场景非常有用，比如嵌入式设备等，还展示了SNN在跨学科研究中的潜力，可以应用于其他领域的研究，如生物医学工程、机器人学等 - \item \textbf{不足与未来方向}：将其应用在嵌入式设备上，如翻译笔，还能结合其他领域。 + \item \textbf{论文标题}： + REFL: Resource-Efficient Federated Learning + \item \textbf{研究问题}： + 针对联邦学习中因数据分布、设备能力和参与者可用性的异质性导致的资源浪费、模型收敛和偏差问题，提出REFL方案，以优化资源利用效率并提升模型质量。 + \item \textbf{方法与技术}： + 提出REFL方案，采用智能参与者选择（IPS）和陈旧感知聚合（SAA）两项关键技术来解决联邦学习中的资源利用问题。IPS 通过让学习者预测自身未来可用性，服务器据此选择最不可能在未来可用的参与者，提高资源多样性，并引入自适应参与者目标（APT）机制动态调整参与人数，减少资源浪费。SAA 允许参与者提交超过轮次截止时间的陈旧更新，通过理论分析证明了带陈旧更新的 FedAvg算法能以与传统 FedAvg相同的渐近速率收敛。为减轻陈旧更新的负面影响，SAA 提出一种结合DynSGD的基于陈旧度的衰减规则和隐私保护的提升因子的加权规则，根据陈旧更新与新鲜更新平均值的偏差来调整权重，在不影响训练时间的前提下提高资源效率。 + \item \textbf{主要贡献}： + 有效解决联邦学习中资源浪费和数据多样性低的问题，在提升模型质量的同时降低资源消耗，且对训练时间影响较小。 + \item \textbf{不足与未来方向}： + 虽提出REFL取得诸多成果，但仅在模拟环境评估，未充分验证实际大规模部署效果，且未深入探讨面对恶意攻击或复杂现实场景时的应对策略。 \end{itemize} -\subsubsection{DAC} +\subsubsection{SC} \begin{itemize} - \item Hashan等\cite{Mendis2024DR}提出了\textit{DERO方法}，优化了\textit{微型设备中深度学习模型的实用性}。 - \item Wang等\cite{wang2023IP}提出了\textit{STML系统}，优化了\textit{TinyML模型的知识产权保护和内存利用}。 - \item Chand等\cite{chan2022FHDDnn}提出了\textit{FHDnn联邦学习框架}，优化了\textit{物联网网络中的联邦学习性能}。 + \item Yu等\cite{10046104}提出了\textit{SPATL}，解决了联邦学习中数据异构、通信开销大、模型训练不稳定等问题。 \end{itemize} \begin{itemize} - \item \textbf{论文标题}：Deep Reorganization: Retaining Residuals in TinyML - \item \textbf{研究问题}：在设计内存受限的智能微型设备时，由于深度神经网络中残差连接会额外增加内存需求，这使得设计极具挑战性。 - 现有方法通过消除残差来降低峰值内存使用，但会导致显著的精度下降。如何在不显著降低精度的前提下，降低微型设备中因残差连接产生的峰值内存使用。 - \item \textbf{方法与技术}：论文提出了DERO（Deep Reorganization）方法，通过深入分析残差连接中操作的类型和相互依赖关系来重新组织残差连接,在不改变模型整体功能的前提下，减少中间数据在内存中的存储时间和存储量。 - \item \textbf{主要贡献}：与现有消除残差以降低内存使用的方法相比，DERO既保证了较低的峰值内存使用，又能使模型精度与原始有残差模型接近，提升了微型设备中深度学习模型的实用性，为智能微型设备的发展提供了有力支持。 - \item \textbf{不足与未来方向}：DERO在处理某些复杂模型结构或特定应用场景时存在局限性，其通用性有待进一步提升。文章并没有实验说明残差连接对内存需求的影响是足够大的。 + \item \textbf{论文标题}： + SPATL: Salient Parameter Aggregation and Transfer Learning for Heterogeneous Federated Learning + \item \textbf{研究问题}： + 提出SPATL方法，通过显著参数选择、知识转移学习和梯度控制联邦学习，解决了联邦学习中数据异构、通信开销大、模型训练不稳定等问题，实现了高效的分布式训练。 + \item \textbf{方法与技术}： + 提出SPATL方法,主要包含三项关键技术。一是异质知识转移学习，将深度学习模型分为共享编码器和本地预测器，通过联邦学习训练编码器，将其知识转移到本地预测器，以解决数据异质性问题，且在训练时针对参与通信和未参与通信的客户端分别采用不同优化函数。二是基于强化学习的拓扑感知显著参数选择，为降低通信开销，以拓扑感知网络剪枝任务为灵感，将神经网络建模为简化计算图，利用图神经网络（GNN）强化学习（RL）代理选择显著参数，通过定义环境状态、动作空间、奖励函数和 PPO 算法更新策略来实现，先预训练再在本地客户端微调。三是通用参数梯度控制联邦学习，为校正异质梯度，在客户端和服务器维护控制变量，只校正编码器梯度，在本地更新时通过添加估计梯度差来校正梯度漂移，并分别给出客户端和服务器控制变量的更新公式，同时按显著参数索引聚合部分参数，避免矩阵维度不匹配问题。 + \item \textbf{主要贡献}： + 提出SPATL方法，通过显著参数选择、知识转移学习和梯度控制机制，有效降低联邦学习通信开销、加速模型推理、解决数据异质性问题，提升模型性能和训练稳定性，且在实验中表现优于传统方法。 + \item \textbf{不足与未来方向}： + 虽验证了SPATL的有效性，但仅在有限规模的100个客户端及特定数据集和模型上进行，未充分测试大规模、复杂场景下的性能，且对简单模型的适用性不佳。 \end{itemize} +\subsubsection{MICRO} \begin{itemize} - \item \textbf{论文标题}：IP Protection in TinyML - \item \textbf{研究问题}：在资源受限的微控制器（MCU）上部署微小机器学习（TinyML）模型时，如何保护模型的知识产权（IP），同时优化内存利用和降低运行时延迟，确保模型的安全性和准确性 - \item \textbf{方法与技术}：提出 STML （Secure Tiny Machine Learning）系统，通过系统和算法协同设计，利用 ARM TrustZone 保护 TinyML 模型的 IP。 - 将 DL 模型执行隔离在安全世界，部分模型参数存储在外部闪存并加密，执行时加载到安全世界的 SRAM 并解密。采用逐层执行 DL 模型和内存交换策略，减少 SRAM 需求并动态分配内存。 - 通过动态规划算法，确定模型层参数在内部和外部闪存的存储策略，优化内部闪存使用，减少内存交换。采用遗传算法搜索最优的 SRAM 分配策略，同时利用算法级模型优化技术减少模型推理延迟，并通过计算和 I/O 并行性进一步降低整体延迟 - \item \textbf{主要贡献}：保护 TinyML 模型的知识产权，同时减少模型执行延迟和保持开发者指定的准确性要求。实验表明，STML 在保护模型 IP 的同时，平均减少了 40\% 的模型保护运行时开销 - \item \textbf{不足与未来方向}：该安全系统主要针对可预测工作负载的系统设计，未考虑对抗边信道攻击和冷启动攻击等其他攻击向量的防御，且未对能量效率等其他关键性能指标进行研究。 - 调整 DL 执行延迟建模，使 STML 适用于其他系统；研究提升能量效率等指标，满足不同 TinyML 应用场景需求；探索防御其他攻击向量的方法，增强模型在边缘设备上部署的安全性 + \item Tian等\cite{9923843}提出了\textit{HARMONY}，旨在解决联邦学习中因设备训练能力和数据分布的异质性导致的模型性能和训练效率受影响的问题。 \end{itemize} \begin{itemize} - \item \textbf{论文标题}：FHDnn: communication efficient and robust federated learning for AIoT networks - \item \textbf{研究问题}：物联网和边缘计算的发展推动了联邦学习的应用，但物联网网络存在传输成本高、网络不可靠和计算能力有限等问题，严重制约了联邦学习的发展。如何克服这些瓶颈，实现高效、稳健的联邦学习，是当前面临的关键问题。 - \item \textbf{方法与技术}：提出FHDnn，一种融合卷积神经网络（CNNs）和超维计算优势的协同联邦学习框架。通过自监督对比学习框架提取特征，再进行超维学习，避免传输CNN，仅训练超维部分，以此加速训练过程、降低通信成本并增强对网络错误的鲁棒性。 - \item \textbf{主要贡献}：创新性地将CNNs和超维计算结合，提出FHDnn联邦学习框架，实验表明，与传统CNNs相比，FHDnn能将通信成本降低66倍，本地客户端计算和能耗降低1.5 - 6倍，同时在保证准确率仅有微小损失的情况下，对网络错误具有高度鲁棒性。 - \item \textbf{不足与未来方向}：在处理某些特定复杂任务或不同数据分布时，性能表现会受到一定限制，且超维计算部分可能在模型可解释性方面存在欠缺。，未来可进一步优化FHDnn框架，提升其在复杂任务和不同数据分布场景下的性能；探索提高超维计算模型可解释性的方法，使模型的工作机制更加透明 + \item \textbf{论文标题}： + HARMONY: Heterogeneity-Aware Hierarchical Management for Federated Learning System + \item \textbf{研究问题}： + 提出Harmony框架，旨在解决联邦学习中因设备训练能力和数据分布的异质性导致的模型性能和训练效率受影响的问题，实现高效的联邦学习训练过程。 + \item \textbf{方法与技术}： + 提出Harmony框架，通过设计全局和本地协调器，采用系统和数据模型及效用函数，结合多种技术应对联邦学习中的异质性。全局协调器中，训练能力预测器用GRU模型预测设备训练能力，分布估计器基于模型梯度估计数据分布，效用优化器分解为设备选择器和数据整形器，前者用多臂老虎机-置信上限（MAB-UCB）模型选择设备，后者借鉴税收公平机制（TFM）调整数据分布。本地协调器负责运行时训练能力估计和数据分布监测，前者通过监测本地训练和系统进程的IPS来评估训练能力，后者利用K-means聚类算法和Frechet Inception Distance监测数据分布变化并触发重新协调。 + \item \textbf{主要贡献}： + 通过创新的异构感知分层管理方法，有效平衡联邦学习中模型性能与训练进度，在提升模型精度、加速训练过程和节省能源等方面成效显著。 + \item \textbf{不足与未来方向}： + 仅在模拟场景及有限的真实设备上进行实验，未充分考虑复杂多变的实际大规模部署环境，且对硬件相关优化建议缺乏实际验证。 \end{itemize} \section{会议比较与总结} \subsection{交叉研究点} -通过对 RTAS、ICML、ICLR 和 DAC 的研究成果分析，我们可以发现以下交叉研究点： \begin{itemize} - \item 软硬件协同优化：\textit{RTAS}关注嵌入式系统中的实时约束，\textit{DAC}提供了高效的硬件架构优化方案，二者在如何设计兼顾软硬件的高效计算框架方面存在交叉。 - \item 高效模型训练：\textit{ICML} 和 \textit{ICLR} 共同致力于优化深度学习模型的训练效率，\textit{ICML} 关注算法的创新，\textit{ICLR} 则从表示学习的角度出发，二者在提升模型性能与能效方面具有共通之处。 - \item 分布式学习:\textit{ICLR}和 \textit{DAC}在联邦学习、分布式计算架构方面提出了一系列优化策略，以应对资源受限环境下的通信开销和计算挑战。 + \item 硬件支持的分布式计算：\textit{DAC}的硬件设计与\textit{ICDCS}的分布式计算系统的性能结合。DAC 研究的硬件设计可以直接影响分布式计算的效率。例如，针对分布式系统中计算密集型任务，DAC 领域的硬件加速和优化技术能够提升 ICDCS 研究中的分布式计算系统的性能。 + \item 高性能计算与分布式存储：\textit{EuroSys}关注存储系统的优化，尤其是在操作系统和文件系统层面，\textit{ICDCS}则关注分布式存储系统如何保证一致性、高可用性和低延迟，两者在如何提升分布式系统的性能和可靠性问题上相互支持。 \end{itemize} \subsection{差异总结} -尽管这些会议存在交叉研究点，但各自研究重点有所不同： \begin{itemize} - \item \textit{RTAS}专注于实时与嵌入式技术及应用，强调在资源受限环境下的神经网络训练推理与实时系统的结合,例如 \textit{TinyBFT} 研究\cite{Harald2024TinyBFT}。 - \item \textit{ICML}聚焦于机器学习算法的创新与发展，着重研究适用于此类设备的新型神经网络训练算法,例如 \textit{POET} 训练系统\cite{pmlr-v162-patil22b}。 - \item \textit{ICLR}关注学习表示的理论和实践，探索更高效的神经网络架构和表示学习方法，以降低模型复杂度,例如 \textit{MobileViT} 轻量级视觉 Transformer\cite{mehta2022mobilevit}。 - \item \textit{DAC}围绕设计自动化展开研究，侧重于从硬件设计和系统层面进行优化，提高移动设备在运行神经网络任务时的整体性能和能效比,例如 \textit{SPARK}混合加速架构\cite{li2024Spark}。 + \item \textit{DAC}DAC注重硬件设计，并且聚焦于电路等布局优化上。 + \item \textit{ICDCS}更侧重于软件和系统层，包括如何在多个计算节点上运行算法、管理资源和保障系统的可靠性与可扩展性。 + \item \textit{EuroSys}强调操作系统和架构优化，如操作系统内核、文件系统、并行计算、虚拟化等。 \end{itemize} \section{研究趋势与挑战} \subsection{研究趋势} \begin{itemize} - \item 趋势1：软硬件协同优化的深化 - \\未来的研究将更加注重算法与硬件的协同设计，例如结合自适应编程框架与专用硬件加速器，如 \textit{TinyTrain }框架\cite{kwon2024tinytrain}。 - \item 趋势2：分布式计算架构的优化 - \\随着边缘计算和 AIoT 设备的普及，研究正致力于优化分布式模型的通信效率与鲁棒性，例如 \textit{FHDnn} 联邦学习框架\cite{chan2022FHDDnn}。 - \item 趋势3：轻量级模型的广泛应用 - \\研究正在探索如何在保证精度的前提下，进一步减少模型的计算和存储开销，以适应资源受限环境，例如 \textit{DictFormer} 轻量级 Transformer\cite{lou2022dictformer}。 + \item 趋势1：追求高效通信与计算。 + FHDnn结合深度学习和超维计算，避免传输CNN，仅训练超维组件，以加速训练、降低通信成本和本地计算能耗，提升通信效率和计算效率成为重要趋势。AdaptiveFL通过细粒度宽度模型剪枝机制和基于强化学习的设备选择策略，实现对模型的自适应分配，减少通信浪费，提高计算资源利用效率，也体现了这一趋势。 + \item 趋势2：强化安全与鲁棒性。 + DeTA采用去中心化和可信聚合的策略，通过将中央聚合器分解为多个去中心化实例，每个实例只拥有模型更新的部分信息，从而打破了数据集中的信息优势，降低了数据泄露的风险。OASIS机制通过对图像数据进行增强处理来抵消攻击,在提高模型安全性的同时，对模型性能的影响较小，能够在保证数据安全的前提下，实现模型的高效训练和推理。 \end{itemize} \subsection{领域挑战} \begin{itemize} - \item 挑战1：异构硬件环境的统一编程模型。由于移动设备架构的多样性，如何设计通用的编程框架仍然是挑战。 - \item 挑战2：分布式训练的通信开销。在资源受限设备间进行高效的模型同步仍需进一步研究。 - \item 挑战3：实时性与能效的平衡。在嵌入式和边缘设备上，如何平衡性能和能耗仍然是一个关键问题。 + \item 挑战1：模型性能和效率优化,重点体现在模型收敛性的问题。 + \item 挑战2：系统的稳定性，主要体现在系统能否拥有一个容错性较高的机制。 + \item 挑战3：数据和模型隐私保护，在FL中数据存在泄露风险，同时容易受到模型反向攻击。 \end{itemize} \section{总结与展望} \subsection{总结} -本文综述了\textit{RTAS}、\textit{ICML}、\textit{ICLR}和\textit{DAC}在移动设备上进行神经网络训练与推理的研究进展，归纳了各会议的研究重点、交叉点及差异，分析了研究趋势和挑战。 +本文综述了\textit{DAC}、\textit{ICDCS}、\textit{EuroSys}和\textit{SC}等的研究贡献，总结了跨会议的研究动态。 \subsection{未来展望} -未来的研究可以关注以下方向： \begin{itemize} - \item 提升软硬件协同优化能力，设计更加适配资源受限环境的计算框架。 - \item 发展适用于分布式系统的高效训练方案， 以适应 AIoT 设备的快速发展。 - \item 探索新型神经网络架构， 以进一步提高模型在嵌入式设备上的表现。 + \item 跨领域融合与创新 + \\未来的研究可以进一步探索联邦学习与其他领域的融合，如区块链、物联网、人工智能等，开拓新的应用场景和研究方向。 + \item 模型安全性和鲁棒性增强 + \\随着联邦学习的应用范围不断扩大，模型的安全性和鲁棒性将成为越来越重要的研究方向。未来的研究需要进一步加强对模型安全性的研究，包括对抗攻击、数据隐私保护、模型验证等方面，提高模型的可靠性和安全性。 \end{itemize} \bibliographystyle{IEEEtran} -- Gitee