推动现代人工智能革命的深度学习软件大多运行在相当标准的计算机硬件上。网上亚博Ayabo2016谷歌和英特尔(Intel)等一些科技巨头已经将其可观的资源集中在为深度学习设计更专业的计算机芯片上。但IBM采取了一种更不寻常的方法:它正在测试其受大脑启发的TrueNorth计算机芯片,将其作为深度学习的硬件平台。

深度学习的强大功能依赖于一种名为卷积神经网络的算法,这种算法由节点层(也称为神经元)组成。这种神经网络可以通过其“深层”层过滤大量数据,从而更好地自动识别单个人脸或理解不同的语言。这些类型的功能已经为谷歌、Facebook、亚马逊和微软等公司提供的在线服务提供了支持。

在最近的研究中,IBM已经表明,这种深度学习算法可以运行brain-inspired硬件这通常支持一种非常不同类型的神经网络。

IBM在2016年9月9日的杂志上发表了一篇关于其工作的论文美国国家科学院院刊这项研究是由略低于100万美元来自美国国防高级研究计划局(DARPA)。这些资金是DARPA的一部分皮质处理器程序旨在开发能够识别复杂模式并适应不断变化的环境的人工智能。

“新的里程碑提供了一个明显的概念证明,大脑启发计算的效率可以与深度学习的有效性相结合,为新一代芯片和算法铺平了道路,效率和有效性更高,”Dharmendra Modha说。IBM阿尔马登研究院大脑启发计算的首席科学家在加州圣何塞。

IBM在2011年首次制定了TrueNorth的规格和原型芯片。因此,TrueNorth早于2012年开始的基于卷积神经网络的深度学习革命,因此从未专门设计用于利用。相反,TrueNorth通常支持峰值神经网络,这种网络更接近于模拟生物大脑中真实神经元的工作方式。

而不是每循环发射一次,t尖峰神经网络中的神经元在发射之前必须逐渐建立起它们的潜能.为了在深度学习任务中实现精度,spike神经网络通常必须经过多个周期才能看到结果的平均值。这有效地降低了图像识别或语言处理等任务的整体计算速度。

深度学习专家普遍认为,就深度学习而言,峰值神经网络效率低下——至少与卷积神经网络相比是如此。脸书人工智能研究总监、深度学习的先驱扬·勒丘恩先前的评论IBM的TrueNorth芯片,因为它主要支持神经网络。(见亚博真人yabo.at之前的面试与LeCun进行深度学习。)

IBM TrueNorth的设计可能会更好地支持神经形态计算的目标,这种计算专注于密切模仿和理解生物大脑,斯坦福大学的深度学习研究员扎卡里·蔡斯·利普顿说yabo2016网上亚博A加州大学圣地亚哥分校人工智能小组.相比之下,深度学习研究人员更感兴趣的是为人工智能驱动的服务和产品取得实际成果。他解释其区别如下:

为了唤起关于鸟类和飞机的陈词滥调的比喻,你可能会说计算神经科学/神经形态界更关心研究鸟类,而机器学习界更感兴趣的是理解空气动力学,无论是否有生物学的帮助。深度学习社区普遍看好专用硬件的好处。[因此]神经形态芯片并没有引起那么多的兴奋,因为它们所关注的峰值神经网络在深度学习中并不那么受欢迎。

为了使TrueNorth芯片非常适合深度学习,IBM必须开发一种新的算法,使卷积神经网络能够在其神经形态计算硬件上良好运行。这种组合方法在涉及视觉和语音挑战的8个数据集上实现了IBM所描述的“接近最先进”的分类精度。在最好的情况下,他们的准确率在65%到97%之间。

当只使用一个TrueNorth芯片时,它就超过了八组数据中只有一组具有最先进的准确性.但IBM的研究人员通过使用多达8个芯片,能够提高硬件在深度学习挑战中的准确性。这使得TrueNorth在三个数据集上的精度达到或超过了最先进的水平。

TrueNorth测试还成功地处理了between每秒1200和2600个视频帧。莫德哈说,这意味着一个TrueNorth芯片可以同时从多达100个摄像头之间实时检测模式。这假设每个摄像机使用1024个彩色像素(32 x 32),并以每秒24帧的标准电视速率传输信息。

对于TrueNorth首次进军深度学习测试来说,这样的结果可能令人印象深刻,但利普顿表示,我们应该对此持保留态度。他指出,视觉数据集涉及32 x 32像素图像的非常小的问题。

不过,IBM的莫德哈似乎对继续测试TrueNorth进行深度学习充满热情。他和他的同事希望在所谓的无约束深度学习上测试芯片,这涉及到在神经网络训练过程中逐渐引入硬件约束,而不是从一开始就限制它们。

莫德哈还指出,TrueNorth的总体设计比那些专门用于运行卷积神经网络的深度学习硬件更有优势。它可能允许在同一芯片上运行多种类型的人工智能网络。

Modha说:“TrueNorth不仅能够实现这些卷积网络,而且它还支持各种连接模式(反馈和横向以及前馈),并且可以同时实现各种其他算法。”

利普顿说,只有当这种受生物学启发的芯片表现出优于其他深度学习硬件方法时,它们才可能流行起来。但他建议IBM可以利用其硬件专业知识,加入谷歌和英特尔的行列,开发专门为深度学习设计的新型专用芯片。

利普顿说:“我想,一些神经形态芯片制造商将利用他们在硬件加速方面的专业知识,开发更专注于实际深度学习应用、而不太关注生物模拟的芯片。”

对话(0)

为什么函数式编程应该是软件开发的未来

这很难学习,但是您的代码将产生更少令人讨厌的意外

11分钟读取
垂直
一盘用代码做成的意大利面
Shira Inbar
DarkBlue1

你期望人生中最长、最昂贵的阶段一个软件产品的周期是系统的初始开发,当所有这些伟大的功能都是第一次想象,然后创建。事实上,最难的部分出现在后面的维护阶段。这时程序员就会为他们在开发过程中走的捷径付出代价。

那么,他们为什么要走捷径呢?也许他们没有意识到自己在偷工减料。只有当他们的代码被大量用户部署和使用时,隐藏的缺陷才会暴露出来。也许开发人员太匆忙了。推向市场的时间压力几乎保证了他们的软件会包含更多的bug。

继续阅读↓ 显示更少
{“imageShortcodeIds”(“31996907”):}
Baidu