当Yann勒存做演讲，他倾向于包括一个幻灯片展示了法国大革命时期的一幅著名画作。在战斗场景中，有这样一句话:“革命将不受监督。”
Meta(前Facebook)副总裁兼首席人工智能科学家LeCun认为，当人工智能系统不再需要人工智能时，下一次人工智能革命将会到来监督式学习．他们将不再依赖于精心标记的数据集，这些数据集提供了基本真相，以便他们了解世界并执行分配的任务。LeCun表示，人工智能系统需要能够在最少的人类帮助下向世界学习。在电子邮件问答中亚博真人yabo.at，他谈到了自我监督学习如何创建更强大的、充满常识的人工智能系统。
他将在明天的虚拟会议上探讨这个主题元的人工智能活动标题实验室内部:用人工智能构建元宇宙．该活动将由马克·扎克伯格(Mark Zuckerberg)、Meta的几位人工智能科学家进行演讲，以及LeCun和微软之间的讨论Yoshua Bengio人类水平的人工智能之路
Yann勒存Yann LeCun提供
你曾经说过，监督学习的局限性有时被错误地视为内在的深度学习的局限性．自我监督学习可以克服哪些限制?
:雅安·勒存监督学习在相对限定良好的领域中工作得很好，您可以收集大量标记数据，并且在部署期间看到的输入类型与在训练期间使用的输入类型没有太大区别。很难收集大量没有某种偏见的标记数据。我说的不一定是社会偏见，而是系统不应该使用的数据中的相关性。一个著名的例子是，当你训练一个系统来识别奶牛，所有的例子都是草地上的奶牛。该系统将使用草作为奶牛存在的上下文线索。但如果你现在在海滩上展示一头奶牛，它可能很难认出这是一头奶牛。
自监督学习(SSL)允许我们训练一个系统以一种任务无关的方式学习输入的良好表示。由于SSL训练使用无标记数据，我们可以使用非常大的训练集，并使系统学习输入的更健壮和更完整的表示。然后，它需要少量的标记数据来在任何监督任务中获得良好的性能。这大大减少了纯监督学习所必需的标记数据量，并使系统更健壮，更能处理与标记训练样本不同的输入。它有时也会降低系统对数据偏差的敏感性——关于这方面的改进，我们将在未来几周分享更多的研究见解，并将公之于众。
现在在实际的人工智能系统中发生的事情是，我们正在走向更大的架构，这些架构在大量未标记的数据上使用SSL进行预训练。这些可以用于各种各样的任务。例如，Meta AI现在拥有可以处理几百种语言的语言翻译系统。这是一个单一的神经网络!我们也有多语言语音识别系统。这些系统可以处理数据非常少的语言，更不用说带注释的数据了。
其他领军人物表示，人工智能的前进方向是通过更好的数据标签来改进监督学习。Andrew Ng最近跟我说以数据为中心的人工智能以及英伟达的牧师Lebaredian跟我说过合成数据所有的标签都是这样的。在未来的道路上是否存在分歧?
勒存:我不认为存在哲学上的分歧。SSL预训练在NLP[自然语言处理]中是非常标准的实践。它在语音识别方面表现出了出色的性能改进，在视觉方面也开始变得越来越有用。然而，“经典”监督学习仍有许多未开发的应用，因此只要有可能，就应该使用监督学习的合成数据。也就是说，英伟达正在积极研究SSL。
早在2000年代中期杰夫·辛顿，约书亚·本吉奥，还有我我们相信，我们能够训练非常大、非常深的神经网络的唯一方法是通过自我监督(或无监督)学习。这是吴恩达开始对深度学习感兴趣的时候。他当时的工作也集中在我们现在称之为自我监督的方法上。
自我监督学习如何导致具有常识的人工智能系统?常识能让我们在多大程度上达到人类的智能水平?
勒存:我认为，一旦我们弄清楚如何让机器像人类和动物一样学习世界是如何运作的，人工智能就会取得重大进展:主要是通过观察，还有一点是通过在其中行动。我们了解这个世界是如何运作的，因为我们已经了解了这个世界的内部模型，这个模型让我们能够填补缺失的信息，预测将要发生的事情，并预测我们的行为的效果。我们的世界模式使我们能够感知、解释、推理、提前计划和行动。机器如何学习世界模型?
这可以归结为两个问题:我们应该使用什么样的学习范式来训练世界模型?世界模型应该使用什么体系结构?对于第一个问题，我的答案是SSL。一个例子就是让机器看视频，停止视频，然后让机器学习视频中接下来会发生什么。通过这样做，机器可能会学习大量关于世界如何运作的背景知识，也许类似于人类和动物婴儿在生命最初几周和几个月的学习方式。
对于第二个问题，我的答案是一种新型的深度宏观架构，我称之为分层联合嵌入预测架构(H-JEPA)。在这里详细解释有点太长了，但我们只能说，JEPA不是预测视频剪辑的未来帧，而是学习视频剪辑的抽象表示和剪辑的未来，以便根据对前者的理解轻松预测后者。这可以通过使用非对比SSL方法的一些最新发展来实现，特别是我和同事最近提出的一种方法VICReg(方差，不变性，协方差正则化)。
几周前，你回复了一条微博来自OpenAI的Ilya Sutskever，他在其中推测，今天的大型神经网络可能具有轻微的意识。你的响应是一个响亮的“不”。在你看来，怎样才能建立一个具有意识的神经网络呢?这个系统会是什么样子呢?
勒存:首先，意识是一个非常不明确的概念。一些哲学家、神经科学家和认知科学家认为这仅仅是一种幻觉，我非常接近这种观点。
但我有一个关于意识幻觉的原因的推测。我的假设是，我们的前额叶皮层中有一个单一的世界模型“引擎”。该世界模型可以根据当前的情况进行配置。我们是一艘帆船的掌舵人;我们的世界模型模拟了船周围的空气和水的流动。我们做了一张木桌;我们的世界模型想象了切割和组装木块的结果，等等。我们的大脑中需要有一个模块，我称之为配置器，它为我们设定目标和子目标，配置我们的世界模型来模拟手头的情况，并启动我们的感知系统来提取相关信息，丢弃其他信息。监督配置器的存在可能会给我们一种意识的错觉。但有趣的是:我们需要这个配置器，因为我们只有一个世界模型引擎。 If our brains were large enough to contain many world models, we wouldn’t need consciousness. So, in that sense, consciousness is an effect of the limitation of our brain!
自我监督学习在构建元宇宙中将扮演什么角色?
勒存:深度学习在元宇宙中有许多具体的应用，其中一些是VR眼镜和AR眼镜的运动跟踪，捕捉和重新合成身体运动和面部表情等。
新的人工智能驱动的创意工具有很大的机会，让每个人都能在元宇宙和现实世界中创造新事物。但对于元世界，还有一个“完整的人工智能”应用:虚拟人工智能助手。我们应该有虚拟的人工智能助手，可以在日常生活中帮助我们，回答我们的任何问题，并帮助我们处理每天轰炸我们的信息洪流。为此，我们需要我们的人工智能系统对世界的运行方式(物理或虚拟)有一定的理解，有一定的推理和计划能力，以及一定程度的常识。简而言之，我们需要弄清楚如何构建能够像人类一样学习的自主AI系统。这需要时间。但Meta在这里玩的是持久战。
