联邦学习

✍ dations ◷ 2025-08-19 01:22:53 #联邦学习

联邦学习是一种机器学习技术,具体来说就是人们在多个拥有本地数据样本的分布式边缘设备或服务器上训练算法。这种方法与传统的集中式机器学习技术有显著不同,传统的集中式机器学习技术将所有的本地数据集上传到一个服务器上,而更经典的分布式方法则通常假设本地数据样本都是相同分布的。

联合平均(FedAvg)是 FedSGD 的泛化,允许本地节点对本地数据进行多次批量更新,并交换更新的权重而不是梯度。此外,对来自相同初始化的调整权重进行平均并不一定会损害所得平均模型的性能。尽管它很简单,但它在现实环境中缺乏理论保证。

传统的联邦学习是基于每个worker设备(节点)的梯度下降:在每一轮中,每个worker通过其本地数据集在本地多次更新其梯度下降权重,然后中央节点聚合器对权重进行平均所有工人,并再次分配给工人。对多轮重复上述过程。这种方法的主要缺点是效率低。众所周知,由于频繁的梯度传输导致的高通信开销会减慢 FL。为了减轻通信开销,已经研究了两种主要技术:(i)表征通信和计算之间权衡的权重的本地更新和(ii)表征通信和精度之间权衡的梯度压缩。.


联合学习使多个参与者能够在不共享数据的情况下创建一个共同的、强大的机器学习模型,从而可以解决数据隐私、数据安全、数据访问权限和异构数据访问等关键问题。

相关

  • 国王湖国王湖(德语:Königssee),位于德国巴伐利亚州的东南端,比邻德国和奥地利的边境小镇贝希特斯加登(Berchtesgaden),在奥地利城市萨尔兹堡以南的德国阿尔卑斯山区内。国王湖的湖水呈现
  • 安息香安息香(benzoin)是一种名贵香料,即安息香科安息香属植物安息香树和越南安息香的树脂,也可入药。今日所谓安息香是安息香属植物的树脂,在古代称为金颜香、金银香(马来语:kemenyan)。
  • 夏修恕夏修恕(?年-1840年),字浑初,又字浑夫,号森圃。江西省南昌府新建县(今属南昌市)人,清朝政治人物。嘉庆三年(1798年)壬戌科江西乡试第一百十六名举人。嘉庆七年(1802年)壬戌科第三甲第一百五
  • 古希腊天文学古希腊天文学是指古典时期用希腊语记录的天文学,涵盖古典希腊时期、希腊化时期、希腊罗马时期、古典时代晚期等时期的天文学。它不局限于地理上的希腊或种族上的希腊人,因为在
  • 加拿大同性婚姻2005年7月20日,加拿大国会通过性别中立的《民事婚姻法案》,自此加拿大从联邦层面将同性婚姻合法化,这使得加拿大成为全球第四个在全国范围内给予同性伴侣注册结婚的国家,亦成为
  • 夏洛特·卡塔克利夏洛特·卡塔克利(シャーロット・カタクリ,夏洛特·卡塔库栗)是日本动漫作品《ONE PIECE》中的人物。为BIG MOM海贼团“甜点三将星”之首、四皇“BIG MOM”夏洛特·玲玲的次子
  • 冰山上的来客《冰山上的来客》是1963年上映的中国剧情片,由长春电影制片厂出品,赵心水执导,白辛编剧,张翚摄影,雷振邦作曲,梁音、阿不都力密提等主演。其主题曲《怀念战友》、《花儿为什么这样
  • 朱长虹朱长虹(1970年-)男,中华人民共和国安徽省庐江县人,毕业于庐江中学、中国科技大学、芝加哥大学,中华人民共和国投资人。1989年,朱长虹毕业于中国科技大学,获物理学学士学位,同时获中国
  • 保罗·艾波朗保罗·艾波朗 (西班牙语:Pablo Alborán,1989年5月31日-)全名Pablo Moreno de Alborán Ferrándiz,是一名西班牙男歌手。保罗·艾波朗的父亲是马拉加著名建筑师Salvador Moreno
  • 2021年佛得角总统选举2021年佛得角总统选举于2021年10月17日(星期日)举行,选出新一届佛得角总统,共有7名候选人角逐。总统选举采取两轮选举制。候选人需年满35岁,不得持有其它国家的国籍,及在成为候选人之时已在佛得角居住满3年。申请成为候选人需要至少1,000名选民签名支持,及获得宪法法院批准。