医学成像人工智能软件容易受到隐蔽攻击

yabo2016网上亚博A一项新的研究警告说，用于分析医学图像的人工智能系统很容易受到攻击，这些攻击旨在以人类无法察觉的方式欺骗它们。

实施这样的袭击可能有巨大的动机研究人员说，这是为了医疗欺诈和其他邪恶的目的。

该研究的主要作者说:“作为一名研究人员，对我来说，最令人震惊的事情可能是它们很容易实施。撒母耳Finlayson他是波士顿哈佛医学院的计算机科学家和生物医学信息学家。“实际上，这是一个相对简单的过程，很容易实现自动化。”

该研究的合著者说:“除了它们很容易实施之外，我还惊讶于医学界对这些弱点的相对未知程度。安德鲁·梁他是波士顿哈佛医学院的计算机科学家和生物医学信息学家。“关于深度学习在医学成像中的准确性有很多报道，但对潜在的弱点和安全问题却缺乏了解。”

被称为深度学习神经网络的人工智能系统正在越来越多地帮助分析医学图像。例如，上周，一群德国科学家和他们的同事展示了这些系统比有经验的皮肤科医生更好检测皮肤癌．

在4月11日美国食品和药物管理局(fda)宣布批准了首个无需人类临床医生输入即可用于医疗诊断的AI系统。Finlayson、Beam和他们的同事说，考虑到美国医疗保健的成本，人们可能会想象，人工智能可以帮助降低医疗成像的成本，让人类退出这个循环这项研究．

Finlayson说:“我们整个社会都将从机器学习在医疗保健领域的刻意应用中获得巨大利益。”“然而，当我们将这些令人难以置信的工具整合到医疗保健系统中时，我们也需要敏锐地意识到它们潜在的缺点。”

在这些例子中，列出的百分比代表了模型所说的每个图像显示疾病证据的概率。绿色标记表示模型在分析中是正确的，红色标记表示模型是不正确的。图片来源:哈佛医学院/MIT/arXiv

研究人员研究了欺骗医学图像分析软件的难度。计算机科学家经常用所谓的“对抗性例子”来测试深度学习系统，这些例子是为了让人工智能对它们进行错误分类，以找出当前深度学习方法的可能局限性。

科学家们指出，攻击医学图像分析软件可能有主要动机。医疗保健经济规模巨大，2016年，仅美国在医疗保健上的支出就约为3.3万亿美元，占GDP的17.8%，医疗欺诈已经是家常便饭2014年的研究据估计，2011年医疗欺诈造成的损失高达2720亿美元。

在这项新研究中，研究人员用对抗性的例子测试了深度学习系统三种流行的医学影像任务——分类糖尿病性视网膜病变从视网膜图像来看，气胸胸部x光片，还有黑素瘤从皮肤照片。在这种攻击中，图像中的像素被修改，对人类来说可能是最小的噪音，但可能会诱使这些系统错误地对这些图像进行分类。

科学家们指出，他们的攻击可能会使深度学习系统在100%的时间内对图像进行错误分类，而且人眼无法察觉经过修改的图像与真实图像的区别。他们补充说，这种攻击可以对任何图像起作用，甚至可以直接纳入图像捕获过程。

“我们收到的一个批评是，如果有人可以访问底层数据，那么他们就可以实施许多不同类型的欺诈，而不仅仅是使用对抗性攻击，”Beam说。“这是事实，但我们认为对抗性攻击尤其有害和微妙，因为很难检测到攻击已经发生。”

“作为一名策划这些攻击的研究人员，对我来说最令人震惊的事情可能是它们是多么容易实施。”" Float ="left" expand=1 "

研究人员说，深度学习系统可能会因为医疗欺诈而受到攻击，原因有很多。他们指出，对于眼部图像，保险公司可能希望降低他们必须支付的手术费用。对于胸部x光片，他们指出，考虑到这一点，进行临床试验的公司可能希望得到他们想要的结果2017年的研究据估计，在获批4年后，单个抗癌药物的收入中位数高达16.7亿美元。通过皮肤照片，研究人员指出，美国的皮肤科在一种模式下运作，医生或诊所根据他们所做的手术获得报酬，这导致一些皮肤科医生进行大量不必要的手术来增加收入。

这种攻击也可能是为了破坏患者的检测结果，使他们得不到所需的治疗。Finlayson说:“然而，医疗欺诈比医疗破坏更普遍，我们预计即使技术进步，这种情况也可能会继续存在。”“深度学习可能是一项新技术，但无论是好是坏，使用它的人类都受到与我们一直以来相同的动机的驱使，可悲的是，贪婪是一种相当普遍的恶习。”

Finlayson指出:“计算机科学家正在努力构建不容易受到对抗性攻击的机器学习模型。这是一个有前途的研究领域，但还没有提供黄金子弹——我们还没有看到一个既高度准确又高度抗攻击的模型。”

另一种防御这类攻击的方法是加强医疗基础设施。Finlayson说:“我们可以致力于建立医疗IT系统，仔细跟踪医疗图像，并确保它们没有被篡改。”“即使是实施这些基础设施防御的基本措施，也可以在很大程度上防止对抗性攻击，但我认为在这方面也没有简单的黄金子弹，因为每天都有新的对抗性攻击被发现。”

Finlayson说:“在我看来，最大的悲剧是，如果有人把对抗性例子的存在作为机器学习不应该被开发或用于医疗保健的证据。”“我们所有人都非常看好医疗保健领域的深度学习。我们只是认为，重要的是要意识到这些系统如何被滥用，并提前防范这种滥用。”