EleutherAI:当OpenAI不够开放时

关于人工智能最令人不安的事情之一是，它超越了民族国家控制、遏制或监管它的权力。网上亚博Ayabo2016然而，它可能会产生可怕的结果，比如最近发现药物的人工智能拐错弯了发现可能被用作化学武器的致命毒素。

如今，没有比这更能说明人工智能不受约束的本质了EleutherAI这是一个由计算机科学家组成的松散协会，他们建立了一个巨大的人工智能系统，可以与地球上一些最强大的机器学习模型相媲美。(这个组织的名字来源于古希腊的“自由”一词，eleutheria．)

该组织创始人之一康纳•莱希(Connor Leahy)表示:“我们基本上就是一群在聊天室里玩研究的怪人。”虽然EleutherAI专注于人工智能的安全，但他表示，他们的努力清楚地表明，一小群非正统的参与者可以构建和使用具有潜在危险的人工智能。他说:“一群黑客躲在山洞里，想办法解决这个问题，绝对是可行的。”

该小组的最新成果是GPT-NeoX-20B，这是一个200亿个参数、预训练的通用自回归密集语言模型。如果你不知道这是什么，想想OpenAI的GPT-3，这个大型语言模型在近两年前震惊了世界，它的能力包括编写从计算机代码到诗歌的所有东西假新闻报道风格和语气难以区分权威来源．

“一开始这只是一个有趣的爱好项目，因为在封锁期间我们没有更好的事情可做，但它很快就获得了相当大的吸引力。”
-Connor Leahy, EleutherAI

OpenAI也建立在AI应该向所有人开放的前提下——因此得名。但是当研究实验室创建GPT-2时，这个生成式预训练变压器模型的第二次迭代，模型的强大影响了OpenAI，以至于他们推迟了它的发布。GPT-3现在只提供给特定的研究人员，并已被微软独家授权用于商业应用。

当然，OpenAI的模型比EleutherAI更大，有1750亿个参数(模型中编码信息的节点或数字)。参数越多，模型吸收的信息就越大，粒度就越大，因此，模型就越“聪明”。

但EleutherAI是世界上同类模型中最大、性能最好的，而且是免费和公开的。EleutherAI与OpenAI的唯一区别是训练海量模型所需的计算能力。

OpenAI在数量不详的英伟达V100 Tensor Core gpu上训练GPT-3，这是有史以来加速人工智能的最快芯片之一。OpenAI的合作伙伴微软已经开发了一个用于大型训练的单一系统，该系统拥有超过285,000个CPU内核，10,000个GPU，每个GPU服务器的网络连接速度为每秒400gb。

这并没有阻止伊莱瑟。他们最初建立了一个具有60亿个参数的大型语言模型，使用谷歌提供的硬件作为其TPU研究云计划的一部分。在GPT-NeoX-20B上，该小组得到了来自CoreWeave该公司是专门为基于gpu的工作负载提供云服务的提供商。

EleutherAI联盟的数学家和人工智能研究员斯特拉·比德曼(Stella Biderman)认为:“目前由科技公司开发的私人模型的主导模式是一个巨大的问题。”“如果我们不了解这项技术的基本原理，我们科学家、伦理学家、整个社会就无法就这项技术应该如何融入我们的生活进行必要的对话。”

EleutherAI于2020年7月与一群“主要是自学成才的黑客”在社交媒体平台Discord上聊天。

Leahy说:“一开始我半开玩笑地说，我们应该试着瞎搞，看看我们是否能建立自己的gpt -3一样的东西。起初这真的只是一个有趣的爱好项目，因为我们在封锁期间没有更好的事情可做，但它很快就获得了相当大的吸引力。”

EleutherAI的起源可以追溯到2020年夏天的一次Discord聊天。

Leahy与其他独立业余黑客Sid Black和Leo Gao一起，于2020年7月创建了EleutherAI Discord服务器。“我们认为自己是几十年前经典黑客文化的后代，只是在新的领域，出于好奇心和对挑战的热爱，对技术进行试验。”

Discord服务器现在有大约1万名成员，但只有大约100或200人经常活跃。一个由10到20人组成的核心小组致力于GPT-NeoX-20B等新应用程序的开发。没有正式的法律结构。

该小组的既定任务是通过以下方法进一步研究人工智能系统的安全使用使这种尺寸的模型易于使用．事实上，与GPT-3不同的是，GPT-NeoX-20B具有完整的模型权重，可以在许可的Apache 2.0许可下免费下载。

“我们希望更多的安全研究人员能够接触到这项技术，”莱希说，并补充说，令人震惊的是，研究人员对他们正在使用的算法知之甚少。他说，经过多次辩论，该小组“非常确定，这样一个模型的构建和发布对社会是完全有益的，因为它将使更多与安全相关的研究成为可能。”

事实上，EleutherAI的工作已经使大型语言模型的可解释性、安全性和伦理性研究成为可能。机器学习安全领域的重要人物Nicholas Carlini在最近的一篇论文中表示:“如果没有EleutherAI完全公开发布the Pile数据集和他们的GPT-Neo模型家族，我们的研究是不可能实现的。”Pile数据集是一个825gb的英语文本语料库，用于训练大规模语言模型。

莱希认为，人工智能最大的风险不是有人利用它做坏事，而是建立一个无人知道如何控制的非常强大的人工智能系统。

他说:“我们必须把人工智能视为不像我们思考的奇怪外星人。”他补充说，人工智能擅长优化目标，但如果给它一个愚蠢的目标，结果可能是不可预测的。他担心研究人员会在创造越来越强大的人工智能的竞赛中过于自信，在这个过程中走捷径。“我们需要研究这些系统，以了解如何控制它们。”

2019年，被视为强化学习之父的理查德·萨顿(Richard Sutton)写了一篇题为《痛苦的教训》(the Bitter Lesson)的文章，文中认为“从长远来看，唯一重要的是计算的杠杆作用。”他认为，人工智能领域的真正进步，来自于应用于简单学习和搜索算法的强大计算机日益普及。

OpenAI一直在追求这一战略，击败了Dota 2的世界冠军，创造了一个灵巧到可以解决魔方的机械手控制器，最后是一系列生成式预训练模型，到目前为止在GPT-3中达到了顶峰。

大型语言模型(如GPT-3和EleutherAI的GPT-NeoX-20B)中使用的Transformer算法已被证明特别适合随着规模的增长而改进。

莱希说:“真正令人难以置信的是，让模型更大，给它更多的数据，在没有任何人为标记或教学的情况下，解锁全新的技能。”清华大学的一个研究小组已经创建了一个基于变压器的模型，该模型具有100万亿个参数——与人脑突触的数量相当——尽管他们迄今为止还没有将其训练完成。

Leahy说，任何一群志同道合的计算机科学家都可以建立一个大型语言模型，但由于所需的计算能力，它很难隐藏，而且可能非常昂贵。

他说:“实际上很难找到合适的硬件来训练大型语言模型。”他补充说，这需要非常高的资本投资，目前只有几百家公司拥有这种硬件。“现在，这不是你可以匿名做的事情。”