美国陆军如何将机器人转变为团队合作者

“我应该不要站得这么近，”我心想，这时机器人慢慢地靠近我面前地板上的一根大树枝。让我紧张的不是树枝的大小，而是机器人是自主操作的，虽然我知道它是什么应该我不完全确定要做什么将做的。如果一切都像机器人专家那样美国陆军研究实验室在马里兰州阿德尔菲，机器人将识别树枝，抓住它，并把它拖开。这些人知道他们在做什么，但我和机器人相处的时间已经够长了，所以我还是退了一小步。

这个机器人名叫RoMan的意思是机械手它的大小和一台大型割草机差不多，带有履带底座，可以帮助它适应大多数地形。在前部，它有一个矮胖的躯干，配备了摄像头和深度传感器，以及一对从一种动物身上采集来的手臂亚博排列五投注网站灾难响应机器人原型最初是美国宇航局喷气推进实验室为DARPA机器人竞赛开发的。罗曼今天的工作是清理道路，这是一个多步骤的任务，ARL希望机器人尽可能自主地完成。操作员并没有指示机器人以特定的方式抓住特定的物体，并将它们移动到特定的地方，而是告诉RoMan“让出一条路”。然后由机器人做出所有必要的决定来实现这个目标。

---

自主决策的能力不仅使机器人有用，而且使机器人成为机器人机器人．我们重视机器人，因为它们有能力感知周围发生的事情，根据这些信息做出决定，然后在没有我们输入的情况下采取有用的行动。在过去，机器人的决策遵循高度结构化的规则——如果你感觉到这个，就去做那个。在像工厂这样的结构化环境中，这已经足够好了。但在混乱、陌生或定义不明确的环境中，对规则的依赖使机器人在处理任何无法精确预测和提前计划的事情时表现得非常糟糕。

罗曼，还有很多其他的机器人包括家用真空吸尘器通过人工神经网络(一种松散地模仿生物大脑神经元结构的计算方法)来应对半结构化环境的挑战。大约十年前，人工神经网络开始被应用于各种各样的半结构化数据，这些数据以前对于运行基于规则的编程的计算机(通常被称为符号推理)来说是很难解释的。人工神经网络不是识别特定的数据结构，而是能够识别数据模式，识别与网络之前遇到的数据相似(但不完全相同)的新数据。的确，人工神经网络的部分吸引力在于，它们通过实例进行训练，让网络摄取带注释的数据，并学习自己的模式识别系统。对于具有多层抽象的神经网络，这种技术被称为深度学习。

即使人类通常参与训练过程，即使人工神经网络受到人类大脑神经网络的启发，深度学习系统所做的模式识别与人类看待世界的方式有着本质上的不同。通常几乎不可能理解输入系统的数据与系统输出的数据的解释之间的关系。这种差异——深度学习的“黑箱”不透明性——给像罗曼这样的机器人和陆军研究实验室带来了潜在的问题。

在混乱、陌生或定义不清的环境中，对规则的依赖使机器人在处理任何无法精确预测和提前计划的事情时表现得非常糟糕。

这种不透明意味着依赖深度学习的机器人必须谨慎使用。深度学习系统擅长识别模式，但缺乏人类通常用来做决定的世界理解，这就是为什么当应用程序定义良好且范围狭窄时，这类系统表现最好。“当你有结构良好的输入和输出时，你可以将你的问题封装在这种关系中，我认为深度学习做得非常好，”他说汤姆霍华德罗彻斯特大学机器人和人工智能实验室的负责人，为罗曼和其他地面机器人开发了自然语言交互算法。网上亚博Ayabo2016“在为智能机器人编程时，问题是，这些深度学习构建模块的实际规模有多大?”Howard解释说，当你将深度学习应用于更高层次的问题时，可能的输入数量会变得非常大，解决这种规模的问题可能具有挑战性。当一个170公斤重的双臂军用机器人表现出意外或无法解释的行为时，潜在的后果会更加显著。

几次之后几分钟后，罗曼没有动——它仍然坐在那里，思考着树枝，双臂摆得像一只螳螂。在过去十年里，陆军研究实验室机器人协同技术联盟(RCTA)已经与机器人专家合作来自卡内基梅隆大学、佛罗里达州立大学、通用动力陆地系统、喷气推进实验室、麻省理工学院、QinetiQ北美、中佛罗里达大学、宾夕法尼亚大学和其他顶级研究机构的项目，以开发未来地面战斗车辆使用的机器人自主性。罗曼是这个过程的一部分。

罗曼正在慢慢思考的“清理出一条路”任务对机器人来说很困难，因为这项任务太抽象了。RoMan需要识别可能阻碍路径的物体，推理这些物体的物理属性，找出如何抓住它们以及应用哪种操作技术是最好的(比如推、拉或举起)，然后实现它。对于一个对世界理解有限的机器人来说，这是很多步骤和很多未知数。

这种有限的理解是ARL机器人开始区别于其他依赖深度学习的机器人的地方，ARL机动和移动人工智能项目的首席科学家Ethan Stump说。他说:“陆军基本上可以在世界任何地方执行任务。我们没有一种机制来收集我们可能操作的所有不同领域的数据。我们可能会被部署到世界另一端的某个未知森林，但我们的表现会像在自己的后院一样好。”大多数深度学习系统只能在它们训练过的领域和环境中可靠地运行。即使域是像“旧金山每条可行驶的道路”这样的东西，机器人也会做得很好，因为这是一个已经收集到的数据集。但是斯汤普说，这不是军方的选择。如果陆军深度学习系统表现不佳，他们不能简单地通过收集更多数据来解决问题。

ARL的机器人还需要对自己在做什么有广泛的意识。“在一项任务的标准行动命令中，你有目标、约束条件、指挥官意图的一段话——基本上是对任务目的的叙述——它提供了人类可以解释的上下文信息，并为他们何时需要做出决定和何时需要即兴发挥提供了结构，”Stump解释道。换句话说，RoMan可能需要快速清理道路，也可能需要悄悄清理道路，这取决于任务的更广泛目标。即使对最先进的机器人来说，这也是一个很大的要求。斯汤普说:“我想不出有什么深度学习方法可以处理这类信息。”

在我看着的时候，RoMan被重置了第二次尝试移除分支。ARL实现自主的方法是模块化的，其中深度学习与其他技术相结合，机器人正在帮助ARL找出哪些任务适合哪些技术。目前，RoMan正在测试两种不同的方法来从3D传感器数据中识别物体:UPenn的方法是基于深度学习的，而卡内基梅隆大学使用的是一种名为“通过搜索感知”的方法，这种方法依赖于更传统的3D模型数据库。通过搜索的感知只有在你事先确切地知道你要寻找的对象时才有效，但是训练速度要快得多，因为每个对象只需要一个模型。当物体难以感知时——例如，如果物体部分隐藏或倒置，它也能更准确。ARL正在测试这些策略，以确定哪种是最通用和最有效的，让它们同时运行并相互竞争。

感知是其中之一深度学习擅长的事情。“计算机视觉社区在这方面使用深度学习已经取得了疯狂的进展，”他说玛吉Wigness他是美国研究实验室的计算机科学家。“我们已经在一些在一个环境中训练的模型上取得了很好的成功，这些模型可以推广到一个新的环境中，我们打算继续使用深度学习来完成这类任务，因为这是最先进的技术。”

ARL的模块化方法可能将几种技术结合起来，以利用它们的特殊优势。例如，使用基于深度学习的视觉对地形进行分类的感知系统可以与基于逆强化学习方法的自动驾驶系统一起工作，在这种方法中，模型可以通过人类士兵的观察快速创建或完善。传统的强化学习基于已建立的奖励函数优化解决方案，通常在你不确定最佳行为是什么时候应用。这对军队来说不太重要，因为他们通常认为训练有素的人会在附近向机器人展示正确的做事方式。“当我们部署这些机器人时，情况会很快发生变化，”威格尼斯说。“所以我们想要一种技术，我们可以让一名士兵进行干预，只要从战场上的用户那里得到几个例子，如果我们需要新的行为，我们就可以更新系统。”她说，深度学习技术需要“更多的数据和时间”。

深度学习面临的不仅仅是数据稀疏问题和快速适应问题。还有关于健壮性、可解释性和安全性的问题。斯顿普说:“这些问题并不是军方独有的，但当我们谈论可能包含杀伤力的系统时，这些问题尤其重要。”需要明确的是，ARL目前并没有从事致命自主武器系统的研究，但该实验室正在帮助美国军队更广泛地为自主系统奠定基础，这意味着考虑这种系统在未来可能使用的方式。

深度网络的要求在很大程度上与陆军任务的要求不一致，这是一个问题。

斯汤普表示，安全显然是优先考虑的问题，但目前还没有明确的方法可以让深度学习系统具有可验证的安全性。“在安全约束下进行深度学习是一项重要的研究工作。很难将这些约束添加到系统中，因为您不知道系统中已经存在的约束是从哪里来的。所以当任务发生变化，或者环境发生变化时，很难应对。这甚至不是一个数据问题;这是一个建筑问题。”ARL的模块化架构，无论是使用深度学习的感知模块，还是使用逆强化学习或其他东西的自动驾驶模块，都可以构成更广泛的自动系统的一部分，其中包含了军方所需的各种安全性和适应性。系统中的其他模块可以在更高的级别上运行，使用更可验证或可解释的不同技术，并可以介入以保护整个系统免受不利的不可预测行为的影响。斯汤普说:“如果有其他信息进来，改变了我们需要做的事情，那么这里就有一个层次。”“这一切都以一种理性的方式发生。”

尼古拉斯•罗伊，他领导麻省理工学院的鲁棒机器人小组他称自己“有点像个煽动者”，因为他对一些关于深度学习力量的说法持怀疑态度。他同意ARL机器人专家的观点，认为深度学习方法通常无法应对陆军必须准备的各种挑战。“军队总是在进入新的环境，而对手总是试图改变环境，这样机器人所经历的训练过程就不会与他们所看到的相匹配，”罗伊说。“因此，深度网络的要求在很大程度上与陆军任务的要求不一致，这是一个问题。”

作为RCTA的一部分，Roy一直致力于地面机器人的抽象推理，他强调，当应用于具有明确功能关系的问题时，深度学习是一项有用的技术，但当你开始研究抽象概念时，并不清楚深度学习是否是一种可行的方法。罗伊说:“我对如何将神经网络和深度学习结合起来，以支持更高层次的推理非常感兴趣。”“我认为这可以归结为结合多个低层次神经网络来表达更高层次概念的概念，我不相信我们知道如何做到这一点。”Roy给出了使用两个独立的神经网络的例子，一个用于检测汽车的物体，另一个用于检测红色的物体。相比使用基于具有逻辑关系的结构化规则的符号推理系统，将这两个网络组合成一个更大的网络来检测红色汽车要困难得多。“很多人都在研究这个问题，但我还没有看到一个真正成功的例子来推动这种抽象推理。”

在可预见的情况下未来，ARL将确保其自主系统的安全性和健壮性，让人类在旁边进行更高层次的推理，偶尔提供低层次的建议。人类可能不会一直直接参与其中，但这个想法是，人类和机器人作为一个团队一起工作时更有效。当机器人协作技术联盟(Robotics Collaborative Technology Alliance)项目的最新阶段于2009年开始时，斯汤普说:“我们已经在伊拉克和阿富汗待了很多年，在那里机器人经常被用作工具。我们一直在试图弄清楚我们能做些什么，让机器人从工具转变为团队中的队友。”

罗曼得到了一点帮助，当一个人类主管指出树枝上一个区域，在那里抓取可能最有效。机器人没有任何关于树枝到底是什么的基本知识，而这种对世界知识(我们认为是常识)的缺乏是各种自主系统的一个基本问题。让一个人把我们丰富的经验转化为少量的指导可以让RoMan的工作更容易。的确，这次罗曼成功地抓住了树枝，并大声地拖着它穿过了房间。

把一个机器人变成一个好的队友是很困难的，因为找到合适的自主权是很棘手的。如果太少，则需要一个人的大部分或全部精力来管理一个机器人，这可能适用于爆炸物处理等特殊情况，但在其他情况下效率不高。自主权太大，你就会开始在信任、安全和可解释性方面出现问题。

斯汤普解释说:“我认为我们在这里寻找的水平是让机器人在工作犬的水平上工作。”“他们清楚地知道在有限的情况下我们需要他们做什么，如果他们面临新的环境，他们有少量的灵活性和创造力，但我们不期望他们创造性地解决问题。如果他们需要帮助，他们就会求助于我们。”

罗曼不太可能很快就能在野外执行任务，即使是作为人类团队的一员。它很大程度上是一个研究平台。但是为罗曼和ARL的其他机器人开发的软件叫做自适应规划参数学习(APPL)它可能首先用于自动驾驶，然后用于更复杂的机器人系统，包括像RoMan这样的移动机械手。APPL结合了不同的机器学习技术(包括反向强化学习和深度学习)，在经典的自主导航系统下分层排列。这允许在较低级别的编程之上应用高级别的目标和约束。人类可以使用远程操作演示、纠正性干预和评估反馈来帮助机器人适应新环境，而机器人可以使用无监督强化学习来动态调整其行为参数。其结果是一个自主系统，可以享受机器学习的许多好处，同时还提供了陆军需要的那种安全性和可解释性。有了APPL，像RoMan这样的基于学习的系统即使在不确定的情况下也可以以可预测的方式运行，如果它最终处于与它所训练的环境相差太大的环境中，就会依靠人类调整或人类演示。

人们很容易看到商业和工业自动系统的快速发展(自动驾驶汽车只是一个例子)，并想知道为什么陆军似乎有点落后于最先进的状态。但斯顿普发现自己不得不向陆军将领解释，当涉及到自主系统时，“有很多困难的问题，但工业的困难问题与陆军的困难问题不同。”陆军并没有在结构化的环境中使用大量数据的奢侈操作机器人，这就是为什么ARL在APPL上投入了如此多的精力，并为人类保留了一个地方。展望未来，人类很可能仍然是ARL正在开发的自动框架的关键部分。斯汤普说:“这就是我们试图用机器人系统构建的东西。”“这就是我们的保险杠贴纸:‘从工具到队友。’”

本文发表在2021年10月的印刷版上，题为“深度学习进入训练营”．"