我们周围的电子设备不断地了解着我们的生活。智能手表可以通过我们的生命体征来追踪我们的健康状况。家庭扬声器通过听我们的对话来识别我们的声音。智能手机就像语法老师,看着我们写的东西,纠正我们独特的错别字。我们很感激这些便利,但我们与电子设备分享的信息并不总是只有我们和我们的电子监护人知道。机器学习可能需要强大的硬件,因此像手机这样的“边缘”设备经常将原始数据发送到中央服务器,然后由中央服务器返回经过训练的算法。有些人希望培训在当地进行。一个新的人工智能训练方法扩展小型设备的训练能力,可能有助于保护隐私。

最强大的机器学习系统使用神经网络和充满可调参数的复杂函数。在训练过程中,网络接收一个输入(如一组像素),生成一个输出(如标签“cat”),将其输出与正确答案进行比较,并调整其参数,以便下次做得更好。为了知道如何调整这些内部旋钮,网络需要记住每个旋钮的效果,但它们通常以数百万甚至数十亿计。这需要很大的内存。训练一个神经网络可能需要数百倍于仅使用一个(也称为“推断”)的记忆。在后一种情况下,一旦将信息传递给下一层,内存就可以忘记网络的每一层所做的事情。


为了减少训练阶段对记忆的需求,研究人员采用了一些技巧。其中一种叫做分页或卸载,机器将这些激活从短期存储器转移到较慢但更丰富的存储器类型,如闪存或SD卡,然后在需要时将其恢复。在另一种被称为重物化的方法中,机器删除激活,然后再次计算它们。以前,内存减少系统使用的是这两种技巧之一Shishir帕蒂尔他是麻省理工大学的计算机科学家加州大学伯克利分校他们是用“次优”的“启发式”结合在一起的,通常需要大量的精力。Patil和他的合作者报告的创新将寻呼和重物化正式结合起来。

“利用这两种技术,将它们很好地结合到这个优化问题中,然后解决它——这真的很好,”他说Jiasi陈他是麻省理工大学的计算机科学家加州大学河滨分校他从事边缘计算工作,但没有参与这项工作。

今年7月,帕蒂尔在美国科学院科学院(mit)上展示了他的系统,名为POET(私人最佳能量训练)机器学习国际会议在巴尔的摩。他首先向POET提供了一个设备的技术细节和关于他想要训练的神经网络架构的信息。他指定了内存预算和时间预算。然后,他要求它创建一个训练过程,最大限度地减少能源消耗。进程可能会决定对某些重新计算效率不高的激活分页,而重新实现其他容易重做但需要大量内存存储的激活。

这一突破的关键之一是将问题定义为混合整数线性规划(MILP)难题,即变量之间的约束和关系的集合。对于每个设备和网络架构,POET将其变量插入Patil手工制作的MILP程序,然后找到最优解决方案。Chen说:“一个主要的挑战实际上是将问题以一种良好的方式表述出来,这样你就可以把它输入到求解器中。”“所以,你可以捕捉到所有真实的系统动态,比如能量、延迟和内存。”

该团队在四种不同的处理器上测试了POET,这些处理器的RAM从32 KB到8 GB不等。在每个平台上,研究人员训练了三种不同的神经网络架构:图像识别中流行的两种类型(VGG16和ResNet-18),以及流行的语言处理网络(BERT)。在许多测试中,该系统可以减少大约80%的内存使用,而不会大幅增加能源使用。可比的方法不能同时做到这两点。根据帕蒂尔的说法,这项研究表明BERT现在可以在最小的设备上进行训练,这在以前是不可能的。

帕蒂尔说:“刚开始的时候,POET只是个可爱的想法。现在,有几家公司已经开始尝试使用它,至少有一家大公司已经尝试在其智能音箱中使用它。帕蒂尔说,他们喜欢的一点是POET没有通过“量化”或缩写激活来降低网络精度,以节省内存。因此,设计网络的团队不必为了在精确度和内存之间进行权衡而与实现网络的团队进行协调。

帕蒂尔提到了使用POET的其他原因,除了隐私方面的考虑。一些设备需要在本地训练网络,因为它们很少或没有互联网连接。这些设备包括用于农场、潜艇或太空的设备。其他设置也可以从这项创新中受益,因为数据传输需要太多的能量。POET还可以使大型设备(internet服务器)的内存效率更高能源效率.但关于保护数据隐私,帕蒂尔说:“我想这是非常及时的,对吧?”

对话(1)
smithlogan洛根 2022年9月27日
INDV

我很欣赏这是一篇令人惊讶的文章,所有的学术学生都可以从他们的作业中受益匪浅,而在你的在线课程中,他们必须在所有的位置提供必要的服务。

人工智能会窃取潜艇的隐身能力吗?

更好的探测将使海洋变得透明——也许还会导致相互毁灭

11分钟读取
一张潜艇在水中的照片,在部分多云的天空下。

弗吉尼亚级快速攻击潜艇维吉尼亚州将于2010年穿越地中海。当时,只要潜水,它就能消失。

美国海军

潜艇的价值主要是因为他们隐藏的能力。核战争中,核潜艇能够在第一次导弹袭击中存活下来,从而能够在第二次打击中发射导弹作为回应,这是所谓“相互保证毁灭”威慑战略的关键。因此,任何可能使海洋变得有效透明的新技术,都可能破坏世界和平,使潜伏的潜艇变得微不足道。近一个世纪以来,海军工程师们一直在努力研发速度更快、噪音更小的潜艇。但他们也同样努力推进一系列雷达、声纳和其他旨在探测、瞄准和消灭敌方潜艇的技术。

随着20世纪60年代早期核动力潜艇的出现,这种平衡似乎发生了转变。在2015年战略与预算评估中心的一项研究中,布莱恩·克拉克哈德逊研究所的一位海军专家指出,这些船只长时间保持在水下的能力使它们“雷达和主动声纳几乎不可能发现“但即使是这些隐形的潜艇也会产生细微的、非常低频的噪音,从很远的地方就能被探测到声水听器阵列网络安装在海底的。

继续阅读↓ 显示更少
{“imageShortcodeIds”(“30133857”):}
Baidu