基于光的神经网络优于数字计算机

我们现在如此频繁地使用数字电子计算机进行数学计算，如此轻松，以至于很容易忘记曾经有任何其他方法来计算事物。然而，在早期，工程师们必须设计聪明的策略，用各种模拟计算机计算出他们所需的解决方案。

这些早期的计算机中有一些是电子的，但许多是机械的齿轮，球和盘，液压泵和储层，或类似的。对于某些应用程序，比如合成孔径雷达数据处理在20世纪60年代，模拟计算是用光学方法完成的。随着电子技术的进步，这种方法让位于数字计算。

然而，奇怪的是，一些研究人员正在再次探索使用模拟光学计算机来应对现代计算挑战:神经网络计算。

神经网络的核心计算(矩阵乘法)在概念上很简单——比处理合成孔径雷达数据所需的傅里叶变换简单得多。对于不熟悉矩阵乘法的读者，让我试着揭开它的神秘面纱。

矩阵是，嗯，一个数的矩阵，排列成行和列。当你把两个矩阵相乘时，结果是另一个矩阵，它的元素是由不同的数字对(从你开始的两个矩阵中抽取)相乘和结果相加决定的。也就是说，矩阵相乘就是大量的乘法和加法。

但是神经网络可以是巨大的、多层的事务，这意味着运行它们所需的算术操作是如此之多，以至于它们可以对可用的硬件(或能量预算)征税。通常，图形处理单元(gpu)被用来帮助处理所有的数字。电气工程师们也一直在忙着设计各种特殊用途的芯片，作为神经网络加速器，谷歌张量处理单元可能是最有名的。现在光加速器即将问世。

麻省理工学院的两个衍生产品Lightelligence而且Lightmatter-特别值得注意。这些创业公司都是在麻省理工学院研究人员为神经网络计算开发的光计算芯片的基础上发展起来的2017年出版．

最近，麻省理工学院的另一组研究人员(包括两位为2017年的论文做出贡献的人)开发了另一种光学进行神经网络计算的方法。尽管距离商业应用还有几年的时间，但它巧妙地说明了光学(或者更准确地说是光学和电子的结合)如何用于执行必要的计算。

一种新的光子芯片设计极大地降低了光计算所需的能量。模拟表明，它运行光神经网络的效率比电子神经网络高出1000万倍。说明:麻省理工学院

在这一点上，新策略完全是理论的，但主要作者瑞安·哈默利这篇论文最近发表了关于这种新方法的文章，他说:“我们正在建立一个演示实验。”虽然可能需要很多这样的实验和几年的芯片开发才能真正知道它是否有效，但根据哈默利的说法，他们的方法“有望比目前的电子产品好得多”。

那么新策略是如何运作的呢?我不确定我能解释所有的细节，即使我有空间，但让我试着给你一个感觉。

必要的矩阵乘法可以用三种简单的组件来完成:分光器、光电二极管和电容器。这听起来很了不起，但请记住矩阵乘法实际上只是一堆乘法和加法。因此，我们真正需要的是一个模拟装置，可以将两个值相乘，另一个模拟装置，可以将结果相加。

事实证明，你可以用一个分束器和一个光电二极管来构建一个模拟倍增器。分束器是一种接受两个光输入并提供两个光输出的光学器件。如果它以某种方式配置，它在一侧输出的光的振幅将是它的两个输入的振幅的和;它的另一个输出的振幅将是两个输入的差。光电二极管输出的电子信号与入射光的强度成正比。

这里需要意识到的重要一点是，光的强度(它所携带的功率的测量)与它的振幅的平方成正比。这很关键，因为如果你把两个光信号的和平方(让我们把它表示为一个+B)，你会得到一个²+ 2AB+B²．如果你把这两个光信号的差平方(一个- - - - - -B)，你会得到一个²- - - - - -2AB+B²．后者与前者相减等于4AB，你会发现它与两个输入的乘积成正比，一个而且B．

[shortcode ieee-pullquote quote="这可能是光学的时候了。"" Float ="left" expand=1 "

因此，通过适当缩放模拟信号，分束器和光电二极管的组合可以作为模拟倍增器。更重要的是，只需将适当的光信号一个接一个地呈现给这种乘数，就可以进行一系列的乘法运算。将乘法器的一系列电子输出输入电容器，您将把每次相乘的结果相加，形成您需要在乘积矩阵中定义一个元素的结果。冲洗和重复足够多的时间，你刚刚乘了两个矩阵!

还有一些其他的数学操作，你需要运行一个神经网络;特别地，你必须对每个神经元应用非线性激活函数。但这可以通过电子方式轻松完成。问题是，一个真正的设备在进行所有这些操作时能保持什么样的信噪比，这将控制它所执行的计算的分辨率。这个分辨率可能不会很高。“这是任何模拟系统的缺点，”Hamerly说。令人高兴的是，至少对于推理计算(在此期间，一个已经被训练的神经网络完成了它的工作)，相对低的分辨率通常是好的。

Hamerly解释说，很难知道沿着这些路线设计的光电加速器芯片的计算速度有多快，因为通常用来判断这种性能的指标取决于吞吐量和芯片面积，他还没有准备好估计他设想的芯片需要什么样的面积。但他乐观地认为，这种方法可以大幅削减计算所需的能量。

事实上，Hamerly和他的同事们认为，他们的方法可以使用更少的能量，甚至比同等精度的基于门的数字设备的理论最小值还要少——这个值被称为兰道尔极限。(如果不借助某种形式的方法，就不可能将计算能量降低到这个极限以下可逆计算)。如果这是真的，对于这个或任何其他在绘图板上的光学加速器，许多神经网络计算无疑将使用光，而不仅仅是电子。

随着电子计算机在过去50年里取得的显著进步，光学计算从未真正受到关注，但也许神经网络最终将为它提供杀手级应用程序。正如哈默利的同事兼合著者莉安·伯恩斯坦所指出的:“这可能是光学的时代。”