首次发现!数据异构影响联邦学习模型,关键在於表徵维度坍缩

施宇钧NUS 投稿
量子位 | 公众号 QbitAI

随着深度学习大获成功,保护用户数据隐私变得越来越重要。

联邦学习(Federated Learning)应运而生,这是一种基於隐私保护的分散式机器学习框架。

它可以让原始数据保留在本地,让多方联合共享模型训练。

但它有一个问题——数据的异质化(data heterogeneity),即不同的参与方的本地数据来自不同的分布,这将严重影响全局模型的最终性能,背後原因也十分复杂。

位元组跳动、新加坡国立大学及中科院自动化所的学者们首次发现了关键影响因素。

即:数据异质化导致了表徵的维度坍缩(dimensional collapse),由此大大限制了模型的表达能力,影响了最终全局模型的性能。

为了缓解这一问题,研究人员提出了一个新联邦学习正则项:FedDecorr。

结果表明,使用该方法後,数据异质化带来的维度坍缩问题被有效缓解,显着提升模型在该场景下的性能。

同时这一方法实现简单,几乎不会带来额外计算负担,可以很容易地加入到多种联邦学习演算法上。

如何影响?观察一:更严重的数据异质化会为全局模型(global model)带来更严重的维度坍缩

首先,为了更好地理解数据异质化是如何影响全局模型输出表徵的,研究人员探索了随着数据异质化越来越严重,全局模型输出表徵是如何而变化的。

基於模型输出的表徵,估计其表徵分布的协方差矩阵(covariance matrix),并且按照从大到小的顺序可视化了该协方差矩阵的特徵值。结果如下图所示。α越小,异质化程度越高,α为正无穷时为同质化场景。k为特徵值的index。

对於该曲线,如果特徵值大部分相对较大,即意味着表徵能够更加均匀地分布在不同的特徵方向上。而如果该曲线只有前面少数特徵值较大,而後面大部分特徵值都很小,就意味着表徵分布被压缩在少数特徵方向上,即维度坍缩现象。

因此,从图中可以看到,随着数据异质化程度越来越高(α越来越小),维度坍缩的现象就越来越严重。

观察二:全局模型的维度坍缩来自联邦参与各方的局部模型的维度坍缩

由於全局模型是联邦参与各方的局部模型融合的结果,因此作者推断:全局模型的维度坍缩来源於联邦参与各方的局部模型的维度坍缩。

为了进一步验证该推断,作者使用与观察1类似的方法,针对不同程度数据异质化场景下得到的局部模型进行了可视化。结果如下图所示。

从图中可以看到,对於局部模型,随着数据异质化程度的提升,维度坍缩的现象也越来越严重。因此得出结论,全局模型的维度坍缩来源於联邦参与各方的局部模型的维度坍缩。

怎麽解决?

受到以上两个观察的启发,由於全局模型的维度坍缩来源於本地局部模型的维度坍缩,研究人员提出在本地训练阶段来解决联邦学习中的表徵维度坍缩问题。

首先,一个最直观的可用的正则项为以下形式:

其中

为第

个特徵值。该正则项将约束特徵值之间的方差变小,从而使得较小的特徵值不会偏向於0,由此缓解维度坍缩。

然而,直接计算特徵值往往会带来数值不稳定,计算时间较长等问题。因此藉助以下proposition来改进方法。

为了方便处理,需要对表征向量做z-score归一化。这将使得协方差矩阵变成相关系数矩阵(对角线元素都是1)。

基於这个背景,可以得到以下proposition:

这一proposition意味着,原本较为复杂的基於特徵值的正则化项,可以被转化为以下易於实现且计算方便的目标:

该正则项即是简单的约束表徵的相关系数矩阵的Frobenius …

华硕ROG Swift OLED PG27AQDM显示器上架:27英寸[email protected],售价8299元

华硕在今年的CES 2023展会上,推出了ROG Swift OLED PG27AQDM电竞显示器,这也是华硕首款27英寸、1440P解析度及240Hz刷新率集於一身的OLED显示器。目前ROG Swift OLED PG27AQDM已在京东上架,显示价格为8299元。

ROG Swift OLED PG27AQDM电竞显示器,京东地址:点此前往>>>

ROG Swift OLED PG27AQDM采用了27英寸的OLED面板,解析度为2560 x 1440,刷新率为240Hz,DCI-P3色域为99%,色准Delta E小於2,拥有0.03毫秒的超快响应时间,屏幕的峰值亮度可达1000尼特。此外,ROG Swift OLED PG27AQDM采用了防眩光微纹理涂层,可以用於减少周围灯光带来的反射,在不同的灯光环境下也能带有不错的视觉体验。

华硕表示热量是有机发光二极体显示器老化的主要原因之一,为了延长ROG Swift OLED PG27AQDM的使用寿命,专门设计了一个新的散热解决方案,在其内部安置了一个定制散热模块,并对内部的组件进行了重新布局,结合显示器顶部的通风孔,从而让显示器背部形成均匀的散热效果。官方称,与其他27英寸OLED游戏显示器相比,ROG Swift OLED PG27AQDM的平均温度可以降低5%。

此外,华硕还与面板制造商的合作,为ROG Swift OLED PG27AQDM增加了智能电压优化。通过智能演算法,根据系统温度优化施加於每个像素的电压,从而确保整个面板的亮度保持一致,即使打开多个窗口,亮度也会更加均匀。华硕还推出了新版本的DisplayWidget Center软体,允许用户通过滑鼠更方便直观改变显示器设置。…

Meta举办Quest Pro MR开发黑客松,优秀团队可获5万美元奖金

(映维网Nweon 2023年03月02日)Meta在2021年的Connect大会亮相了Presence Platform。这个拥有大量机器感知和人工智慧功能的工具集旨在帮助你构建逼真的混合现实、交互和语音体验,从而在用户的物理世界中无缝融合虚拟内容。

现在,这家公司正在广发英雄帖,邀请全球开发者利用Meta Quest Pro和Presence Platform构建Meta Reality体验。其中,名为Presence Platform Hackathonn的黑客松赛事将於2023年4月18日至20日在美国加州柏林盖姆和英国伦敦的Meta园区举行,而每个地点的参赛团队都有望赢得5万美元的奖金。

对於本次活动,参赛者将能够与Meta产品和营销专家以及其他创新者建立联系。同时,Meta届时会向你介绍Presence Platform中的3个核心支柱功能:

然後,参赛者将分成3至5人的团队,并构建旨在展示所述支柱能力的体验。最後,评委将根据相关标准评选优胜队伍,并提供高达5万美元的奖金。

请注意,Meta将在合理范围内支付机票和酒店费用,但参赛者需要自行准备签证和差旅。更多信息和报名参加请访问这个页面。…

Getty Images在美国起诉人工智慧插图生成器Stable Diffusion侵犯版权

盖蒂图片社(Getty Images)在美国对开源AI艺术生成器Stable Diffusion的创建者Stability AI提起了诉讼,使其对该公司的法律斗争进一步升级。这家摄影公司指责Stability AI”公然侵犯了盖蒂图片社的知识产权,规模惊人”。它声称,稳定性AI”未经许可……或补偿……从其资料库中采集了1200多万张图片,作为其建立竞争性业务的努力的一部分”,而且这家初创公司侵犯了该公司的版权和商标保护权。

该诉讼是人工智慧艺术生成器的创造者与权利人之间持续的法律斗争中的最新一个案例。人工智慧艺术工具需要插图、艺术作品和照片作为训练数据,并且经常在未经创作者同意的情况下从网上采集。

盖蒂公司上个月宣布,它已经”在伦敦高等法院启动了针对稳定性AI的法律程序”。然而,该索赔尚未送达,该公司当时没有说它是否也打算在美国采取法律行动。在美国,Stability AI与另一家人工智慧艺术初创公司Midjourney也被三位艺术家起诉,他们正在寻求集体诉讼。

“我们可以确认,周五盖蒂图片社在特拉华州的美国地方法院对Stability AI公司提出了起诉,”盖蒂图片社的传播副总裁安妮-弗拉纳根表示。”Getty Images还向高等法院提交了一份索赔,目前尚未送达。按照英国的惯例,1月16日,Getty Images在惯例的时间范围内向Stability AI Limited发送并要求其对行动前的信件做出回应。Stability AI Limited已确认收到此信”。

法律专家说,盖蒂图片社的案件比艺术家主导的诉讼有更强的基础,但警告说,在这种未知的法律领域不可能预测任何结果。

专门研究人工智慧和版权法的英国学者Andres Guadamaz在Twitter上说,盖蒂的投诉”非常有力”。”瓜达马兹说:”从技术上讲,该诉讼比集体诉讼更准确。该案可能会以[版权]侵权索赔为基础,而被告可能会以合理使用为理由。可能会有两种结果。”

Greenberg Glusker的版权律师和Copyright Lately博客的出版人Aaron Moss在Twitter上说。”盖蒂公司的新诉状重点非常清晰:AI的输入阶段摄取受版权保护的图像来训练数据。这将是一场精彩的公平使用之战”。

Moss指出,可能的集体诉讼”更侧重於人工智慧工具的扩散对工作的艺术家造成的职业伤害”,而盖蒂的诉讼集中在”它没有为使用其图像而获得报酬”。值得注意的是,盖蒂公司已将其图像和元数据授权给其他人工智慧艺术生成器,强调了Stability AI未经许可故意采集其图像的事实。这种合理使用案件还需要法官和陪审团的意见。陪审团决定任何有争议的事实问题,但最终的法律问题应该由法官来决定。

诉讼中的版权侵权论点将取决於对美国公平使用原则的解释,该原则在某些情况下保护对版权作品的无偿使用。转变性使用”的概念也可能是一个重要因素。稳定扩散”的输出与它的训练数据有足够的不同吗?最近的研究发现,该软体能记住一些训练图像,并能几乎完全复制它们,尽管这只发生在极少数情况下。

Getty Images提出的另一个论点与它的商标有关。Stable Diffusion因在一些图片中重现该公司的水印而闻名,Getty认为,这种水印出现在该模型经常”怪异或怪诞的图片上,通过模糊或玷污稀释了Getty Images商标的质量。

一张人工智慧生成的图像,似乎是两个女足球运动员。但她们的四肢和脸部都离奇地扭曲了,有多余的手指和不清晰的面部特徵。右下角有Getty Images的水印再现。…

Meta 证实下代 Quest 将於 2023 年登场

定位生产力工具的 Meta Quest Pro 才推出不久,官方又开始为相对更便消费市场的产品线预热了。在最新的财报会议中,CFO Dave Whener 证实「下一代 Quest 消费机种」会在「明年晚些时候正式亮相」。在谈到这款新机时,公司老大 Mark Zuckerberg 也是以跟 Whener 一样的用词来指代,但不出意外的话它应该就是此前已被多次提及的「Quest 3」了。

本月早些时候,Zuckerberg 就告诉过分析师 Ben Thompson 他们已经在筹备「Quest 3」。据称其价格可能会落在 US$300 到 US$500 之间,而且会以眼部和面部追踪技术为「核心卖点」。除此之外,也有流言称它会搭载类似 Pro 型号的 Pancake 镜片。至於发表时间还没什麽消息,但按照惯例来看 Meta 大概率也会选择秋季的年度发表会吧。…

人工智能生成文章威胁学界 OpenAI 推出免费工具分辨 AI 生成文章

由 OpenAI 开发的交谈形人工智能文章生成系统 ChatGPT 为人物提供写作的灵感,不过也同时为学界带来冲击,担心有人用 AI 来做功课写论文。OpenAI 刚刚就推出一个免费的分辨工具,尝试帮人分辨那篇文章是否由 AI 生成。

这个名为「AI Text Classifier」的工具用法很简单,只要将文章贴到网页的输入栏按一下「Submit」掣,几秒钟就能给出分析结果,但文章必须至少 1,000 字节(约 150-250 个英文词语)。分析结果分为「very unlikely(很不可能)」、「unlikely(不太可能)」、「unclear if it is(不明了)」、「possibly(可能)」和「likely(很可能)」 5 级。与 ChatGPT 一样,这个分辨器也是需要有 OpenAI 帐户,也需要以 VPN 到外国才能登入使用。

AI Text Classifier:按此

《PCM》编辑部就尝试用 ChatGPT 生成一篇有关分辨 AI 生成文章的论文,交回分辨器去辨识,得出「possibly」的结果。而另一篇从网上拷贝下来的新闻报道就被判断为「unlikely」,可见有一定准确度。而 AI 生成的中文文章,由於生成出来的字数都很少,通常都无法达到分辨的要求。

不过 …

如何在Android TV VPN设定应用程式|详细图文教学

Android TV或 Kodi 机顶盒这两种都是连接到您的电视,并在 Android 软件上运行的小硬件,有了这样一个盒子,你就可以在电视屏幕上观看网络上的各种内容,而且因为它基於安卓操作系统,所以很容易添加新的应用程序来扩展你的盒子的功能,这些盒子是在电视上观看内容的一种简单、相对便宜的方式,您可以调整它们以实现各种功能。

您最近可能听说过英国和其他国家/地区打击Android TV或盒子的消息,尽管 Kodi 软件本身,以及安装它的硬件是完全合法的,但这些盒子的某些版本包含预装软件,允许您非法访问受版权保护的内容,正是这些非法预装的盒子引起了争议。

那麽继续使用安卓盒子或者Kodi盒子有风险吗?不一定,但这取决於您的盒子预装了哪些附加组件,为了完全安全,最好在您的盒子上使用Android TV VPN设定,下面我们将讨论您为什麽需要Android TV VPN设定,然後我们将分享有关如何在您的 Android 电视盒安装 VPN 的简单分步说明。

NordVPN 是一项非常棒的服务,可以在您的Android TV VPN设定使用,您可以使用 NordVPN 应用程序,或使用 OpenVPN 连接协议在您的 Android TV 上下载并设置它,NordVPN 自称是世界上最可靠的 VPN 之一,它为用户提供 5200 多台服务器、超级用户友好的应用程序、优先的隐私和安全性以及实惠的价格。

我的意思是,谁不想尝试这个具有所有这些优势的 VPN?如果您拥有一台 Android TV,并且无法访问来自世界各地的许多节目和电影,那麽您就错过了,如果您想知道如何做到这一点,那麽您可以在 Android …

东南亚市场1行业爆发性成长!2023年行销趋势关键大公开

image source:pixabay

文/TenMax

2023 年全球进入後疫情时代,各产业发展逐渐复苏,而东南亚市场经济自 2021 年开始即不断成长,2022 年商品总值达约 2000 亿美元,在全球经济区域发展中名列前茅。尽管如此,新的一年东南亚市场仍须面对全球通货膨胀、能源与食品成本上涨等挑战。

为掌握关注东南亚市场动态,Google 与贝恩顾问公司(Bain & Company)合作推出 2022 年东南亚数位经济市场报告,针对越南、印尼、马来西亚、菲律宾、泰国与新加坡等东南亚六国,从众多产业调查中,总结出三大经济成长模式与获取受众策略。TenMax 已为你整理 2023 年最新东南亚发展策略,往下阅读,获得关键洞察!

东南亚产业发展的 3 大经济成长模式

2022 年东南亚数位经济同比增长达 20%,整体规模年年扩大,更显现出东南亚市场发展潜力。然而在不同产业间,经济成长情况不统一,下方为大家整理出三种产业类型,在疫情间对应到的成长模式:

1、电商、数位金融行业:受益於疫情而有爆发性增长,S 型增长稳定发展

电商与数位金融产业,在疫情期间产业获得爆发性成长,且在疫情趋缓後,仍能维持稳定发展,成长曲线呈现 S 型。这是由於消费者在疫情间消费行为产生改变,生活重心逐渐转往线上购物,使电子商务与数位支付、金融服务,更容易受到新兴网民的关注;而在疫情消退後,仍有三分之二东南亚消费者维持网购习惯,使 S 型增长模式的产业,能保持稳定的发展脚步。

建议电商产业,能以特殊销售企划作为发展策略,把握每年大型购物季节的促销机会,创造业绩高峰点;同时,电商与数位金融产业,都应优化线上销售的服务与附加价值,提供环保选择升级品牌形象,并透过与消费者高度互动创造紧密关系,更有助於提升客户价值,为企业加固客户关系、增加销售潜力。

2、美食外送、网路媒体行业:疫情间经济发展势旺,疫情消退後则平缓回归常态

疫情间由於民众居家时间变长,对於美食外送服务、网路媒体等产业有更多需求,发展规模向上成长;而在疫情减缓後,由於民众外出到餐厅消费、和人事物有面对面的互动,减少在家外送需求与线上社交、看影片、听音乐与玩游戏的比例,产业规模回归疫情前常态。此种钟形发展模式,由於受益於疫情带来消费者的大量需求,使产业经济短时间内大量成长,而在疫情消退後需求回归常态水平(Return to trendline)。

後疫情时代东南亚民众,大多有实体互动与外出活动,建议有意进军南向的企业与品牌,应注重手机等行动装置的行销策略,发展不限时间、地点,都能引起消费者关注的品牌活动。例如:越南游戏公司 Game Studio …

Okeezy 支援PHP静态网站空间,并连接git存储库自动部署网站

  先前梅干曾分享过许多静态的网页空间,但大部分的静态网页空间服务,都只支援HTML、CSS、JS….等档案,甚至有些还支援CICD,并与git同步後,就会自动部署网站,相当的方便。

而最近梅干又发现另一个免费的静态网页空间的服务,不但与git存储库连接外,甚至还支援PHP因此当要串接API时,也可轻松使用,所以当需要php的静态网空间Okeezy 这个服务不妨可试看看罗!


Okeezy连结网址:https://okeezy.com


Step1
当进入後,点一下「Sign up now」钮。


Step2
接着选择Github或是BitBucket服务。


Step3
而这边梅干是以Github,再连接完毕後,再点选github中的专案。


Step4
在点选完毕并部署完毕後,右上角随即就会出现部署好的网站连结。


Step5
点一下连结,随即就会开启刚所部署好的网站内容。


Step6
甚至也可执行PHP,但目前支援PHP的版本为7.4.33版,而免费版无法绑定自己的域名,但支援PHP因此下回当要串接一些API时,不妨可试试Okeezy罗!

更具亲和力更易使用 桌面版维基百科逾十年设计大翻新(中文未变)

由一众志愿人士维护的 Wikipedia 维基百科更新了使用超过十年的桌面版介面设计,非牟利组织维基媒体基金会表示新设计将更具亲和力,更容易为所有人使用,不过撰文时中文版维基百科网页仍然未更新设计。

新设计其实早在个多月前已经在部分语言版本上使用,今次维基媒体基金会只是趁英文版维基百科 22 岁生日(1 月 15 日)正式宣布。新旧设计最大的差异,是将原本放在长文章引言以下的文章目录,钉到画面左边栏一直保持显示,令阅览长篇文章更方便。而原本左边大部分选项就收纳在左上角的「≡」选单中,并将语言选择放在文章的右上角,维基媒体基金会认为这是更显着的设计。

新设计亦同时改良了搜寻介面,在即时弹出的搜寻结果中显示相关内容的图片,令用户能更直观地找到想要看的内容。维基媒体基金会表示据测试,在新设计下用户搜寻量增加了 30%。

新设计已经在英语版维基百科正式推出,并且已在 318 种活跃语言当中 94% 上推出。不过撰文时中文版无论是香港繁体、台湾正体或大陆简体版本都未有跟随更新。…

« Older posts

© 2023 surfshark

Theme by Anders NorenUp ↑