论文阅读：On Dynamic Resource Allocation for Blockchain Assisted Federated Learning over Wireless Channel

Abstract

区块链辅助联邦学习(BFL)作为一种很有前途的分布式网络边缘数据处理技术已被广泛研究。在本文中，我们关注在无线中具有不同的信道和客户能量收集的环境下的BFL。我们感兴趣的是提出动态资源分配（即传输功率、模型训练的计算频率和每个客户端的块挖掘）和客户端调度(DRACS)，以在LTA能耗约束的情况下最大化长期时间平均(LTA)训练数据的大小。具体来说，我们首先通过将LTA的能量消耗转换为队列稳定性约束来定义李亚普诺夫漂移。然后，我们构造了一个李雅普诺夫漂移加惩罚比函数，将原始随机问题解耦为沿时间线的多个确定性优化。我们的建设能够处理不平衡的通信回合的持续时间。为了使组合分数形式的一次性确定性优化问题易于处理，我们用丁克尔巴赫方法将分数问题转换为减形式问题，得到迭代的渐近最优解。此外，在每次迭代中都获得了具有低复杂度的最优资源分配和客户端调度的封闭形式。此外，我们对所提出的算法进行了性能分析，发现LTA训练数据的大小和能量消耗服从[O(1/?)、O(√?)]的权衡。实验结果表明，基于MNIST和Fashion-MNIST数据集，该算法在有限的时间和能耗的情况下，可以提供更高的学习精度和更快的收敛速度。

I. INTRODUCTION

随着物联网（物联网）的快速发展和智能手机、平板电脑和可穿戴设备的激增，大量的数据生成终端设备的计算和传感能力，这是激励人工智能（人工智能）的发展及其在工业和日常生活[1]的应用。传统的机器学习(ML)已被广泛用于应对物联网应用程序的数据爆炸式，其中分布式移动设备将其本地数据上传到远程云进行全球模型训练。然而，一个集中式的学习范式面临着许多挑战。例如，这种集中的培训方法是侵犯隐私的，特别是当数据是由移动设备收集的，并包含所有者的敏感信息时。[2]，[3]。此外，由于通信资源的限制，从移动设备上传所有本地数据集是不切实际的。为了解决这些问题，联邦学习(FL)被提出作为一种新兴技术，以分布式的方式在网络边缘处理数据，其中ML模型通过本地数据集在多个分布式移动设备上进行训练，然后在集中服务器上聚合。这使得移动设备能够在没有原始数据传输的情况下协作构建一个共享模型，从而通过保持本地数据和远离直接访问来帮助保护隐私。此外，由于通信资源的限制，从移动设备上传所有本地数据集是不切实际的。为了解决这些问题，联邦学习(FL)被提出作为一种新兴技术，以分布式的方式在网络边缘处理数据，其中ML模型通过本地数据集在多个分布式移动设备上进行训练，然后在集中服务器上聚合。这使得移动设备能够在没有原始数据传输的情况下协作构建一个共享模型，从而通过保持本地数据和远离直接访问来帮助保护隐私。但是，由于模型的集中聚合，标准FL容易受到服务器故障和外部攻击，导致不准确的模型更新，甚至训练失败[5]。

为了解决单点故障问题，区块链被提议作为一种新兴的技术，在不安全的环境[6]中取代容易受到攻击的中央服务器。由于具有防篡改、匿名性和可追溯性等关键特征，可以创建ML模型的不可变审计跟踪，从而在跟踪来源[7]时实现更大的可信度。最近的工作研究了基于区块链的去中心化FL框架的安全和隐私问题，即将存储ML模型的责任委托给FL网络上的客户机，而不是集中式服务器[8]-[10]。尽管研究的重点是通过设计区块链架构来解决安全和隐私问题，但进一步研究如何降低延迟和提高计算效率是一个重要的研究方向。在这个大数据的时代，随着焦点从数据收集转移到实时数据处理，通信成本不断增加。在这种情况下，由于时变的数据流量[11]，对实时通信的需求很高。此外，由于区块链中的挖掘过程，区块链共识算法带来了较高的计算和能源成本，并且训练延迟显著增加。对于资源有限的移动设备，能量和计算约束可能会降低训练任务[12]的效率，这成为BFL的另一个瓶颈。为此，BFL系统中的联合通信、计算和能源资源配置有待进一步研究。

对于资源有限的移动设备，能量和计算约束可能会降低训练任务[12]的效率，这成为BFL的另一个瓶颈。为此，BFL系统中的联合通信、计算和能源资源配置有待进一步研究。对于计算有限和能量有限的BFL网络，我们制定了一个随机优化问题，通过优化通信、计算和能源分配以及时变通道状态的客户端调度来优化长期平均(LTA)训练数据大小，以加快BFL过程，提高BFL性能。我们的贡献总结如下：

1)通过将区块链与FL集成，我们提出了一种BFL网络，用PoW区块链替换集中式服务器，实现去中心化隐私保护，防止物联网场景中的单点故障。
2)我们开发了一种基于李亚普诺夫优化的动态资源分配和客户端调度(DRACS)算法，在时间转移信道状态和有限的能量采集下，最大限度地提高LTA训练数据的大小。由于通信周期持续时间不均匀，我们构造了李亚普诺夫漂移加惩罚比函数，并在李亚普诺夫框架的帮助下将长期随机问题解耦为确定性问题。然后，用丁克尔巴赫法将组合分数形式的一次性优化问题转换为减法形式的序列，从而迭代得到渐近最优解。基于块坐标体面方法，在每次迭代中以封闭形式得到最优资源分配和客户端调度，从而在低复杂度下快速接近最优解。
3)对该算法进行了性能分析，验证了其渐近最优性。我们还描述了LTA训练数据大小和[O(1/?)、O(√?)]与能量消耗之间的权衡。这种权衡表明，随着 LTA 能量消耗的增加，LTA 训练数据大小可以任意接近最佳值。
4)实验结果验证了分析结果，并表明DRACS可以最优地分配可用的通信（客户端调度）、计算（局部模型训练和块挖掘的计算频率）和能量（传输功率）资源，以最大限度地提高LTA训练数据的大小。此外，实验结果表明，在LTA能耗约束和不同的局部数据集大小的情况下，局部模型训练和块挖掘之间优化了资源分配。基于MNIST和Fashion-MNIST数据集，结果表明DRACS可以加快BFL过程，这与分析结果一致。

本文的其余部分组织如下。在第二节中，我们回顾了相关的工作。第三节首先介绍了BFL网络的系统模型，然后提出了随机优化问题。第四节提出了DRACS算法，第五节提出了问题的解决方案。第六节分析了训练数据规模与能耗之间的权衡。然后，实验结果见第七节。第八节总结了本文。

II. RELATED WORKS

A. Energy and Communication-efficient FL

为了实现节能或通信节能，早期工作研究了节能网络中的能源和通信资源分配。对于高效的FL系统，[13]的研究工作在整个FL过程中尽量降低了延迟约束下计算和通信的总能耗。对于低延迟FL系统，[14]的研究工作联合优化计算、无线资源分配和用户选择，以优化FL收敛时间，同时优化FL性能。

虽然[13]，[14]已经研究了长期的资源配置和客户端调度来实现一个节能或低延迟的FL系统，但该工作忽略了现实世界中的时变信道状态，并消耗了在整个FL过程中信道增益是恒定的状态。[15]-[17]最近的研究研究了时变信道状态的延迟或能量消耗约束下的客户端调度或资源分配。[15]提出了一种联合设备调度和资源分配策略，以在给定的延迟约束无线FL的总训练时间预算内最大化模型的精度。[16]设计了基于深度强化学习的算法，以优化客户的计算频率，使训练时间和能耗的加权和最小化。随后，[17]通过获取尽可能多的当前信道状态信息来量化网络上未探索的信道状态，并转换客户端调度和资源块分配问题，以减少通信约束下FL精度的损失。

B. Blockchain Assisted FL

为了解决FL[18]的单点故障问题，最近的工作利用区块链使矿工能够以分散的方式实现模型聚合。例如，[8]完全分散FL的研究工作，利用区块链技术作为PoW共识算法的底层架构，用于工业4.0网络中的大数据驱动认知计算。去中心化能够防止中毒攻击，提供激励措施，并通过所提议的聚合器（临时中央服务器）选择机制提供额外的准确性保证。后来，[9]的研究工作提出了一个分散的区块链支持FL模型，以确保可信度和遵守延迟要求车辆在车辆网络系统，和实际的拜占庭容错(PBFT)协议采用雾为关键车辆保证共识，即使一些设备不响应或响应错误的信息。

尽管这些工作集中于区块链架构的设计，以避免集中式结构的隐私和故障风险，但进一步研究如何实现低延迟和计算效率高的BFL系统也是一个重要的研究方向。例如，[19]的研究工作提出了区块链FL架构，分析了端到端延迟模型，并进一步研究了通过优化块生成率的FL最小延迟。在[11]中，研究工作提出了一个支持区块链的FL模型，该模型具有专门设计的分散隐私协议，能够在隐私保护、效率和抵抗中毒攻击方面具有优越的性能，并通过考虑通信、共识延迟和计算成本进一步导出了最优块生成率。然而，在这些工作中，通常没有考虑到通信、计算和能源资源的分配。随后，在[20]中提出了一种异步FL方案，以最小化执行时间，最大化聚合模型的精度，但本文没有考虑计算和能源资源分配。此外，[12] 中的研究工作调查了训练数据大小的优化、局部模型训练的能耗、以及块生成率，以最小化系统延迟、能量消耗和激励成本，同时实现模型的目标精度。然而，在本工作中忽略了通信资源的分配。

III. SYSTEM MODEL

即客户端通过无线链路将本地模型和新生成的块发送给AP，由AP负责将本地模型和新生成的块转发给网络中的每个客户端。以下是每一轮通信中BFL操作的详细步骤:
1)当地培训。选择几个客户进行本地培训，每个选定的客户在每一轮交流开始时进行本地模式培训。
2)Cross-verification.。每个选定的客户端使用自己的私钥创建一个与本地模型和公钥相连的数字签名，并将签名后的本地模型传输给AP。AP接收到本地模型后，将签名后的本地模型转发给网络中N个客户端。同时，N中的所有客户端对连接到每个本地模型的数字签名的真实性进行验证，并将验证后的本地模型记录在本地。
3)全局聚合。N中的所有客户端将本地模型聚合，生成全局模型，将全局模型参数添加到新块中。
4)块的生成。N中的所有客户端都开始挖掘，同时使用自己的能量和CPU资源作为PoW来解决一个密码谜题。第一个找到解决方案的客户机是挖掘赢家，并被授权生成一个新块。
5)达成一致协议。挖掘赢家将新块传播给其他客户端。在接收到新的块从矿业的赢家,N的所有客户验证新的块的全局模型通过比较新的块局部聚合全局模型,然后将块添加到当地区块链,以更新本地模型与这个全球模型在接下来的沟通。

A. Local Training Model
ML模型包括一个关于一组参数w的损失函数，它们是基于训练数据集中的样本点学习的。损失函数捕获模型在样本点上的误差，模型学习过程是最小化损失函数。对于第?个客户端的第?个样本点，损失函数可以定义为?(w,x_?,?,?_?,?)。