Meta对openai的挑战——提供一个庞大的语言模型

Meta公司的前身是Facebook，本周该公司发布了一份公告，主要内容就是要把一些家族珍宝送出去。在一个博客在元的人工智能网站上，该公司的研究人员宣布，他们已经创建了一个庞大而强大的语言人工智能系统，并将免费提供给人工智能社区的所有研究人员。Meta将这一举措描述为一种努力，使人们能够民主化地获得一种强大的人工智能——但一些人认为，并不是很多研究人员能够真正从这种慷慨中受益。即使这些模型对研究人员来说越来越容易使用，但关于商业用途的道路仍然存在许多问题。

大型语言模型是目前人工智能领域最热门的东西之一。模型OpenAI的GPT-3他们可以写出几乎任何格式或风格的流畅连贯的文本:他们可以写出令人信服的新闻文章、法律摘要、诗歌和广告文案，或者像客服聊天机器人或视频游戏角色一样完成谈话。GPT-3以1750亿个参数打破了常规，只有通过OpenAI的申请和审查程序，学术和商业实体才能使用。

Meta的Open Pretrained Transformer(被称为OPT-175B)用自己的1750亿个参数匹配GPT-3。Meta不仅为研究社区提供了模型本身，还提供了它的代码库以及关于训练过程的大量笔记和日志。该模型在来自五个公开数据集的800gb数据上进行了训练，这些数据集在“数据卡”它伴随着技术论文发表在Meta研究人员的ArXiv在线预打印服务器。

Joelle Pineau梅塔人工智能研究实验室主任说亚博真人yabo.at她希望研究人员能以多种方式利用这些宝藏。她说:“我期望(研究人员)做的第一件事是用它来构建其他类型的基于语言的系统，无论是机器翻译、聊天机器人，还是完成文本的东西——所有这些都需要这种最先进的语言模型。”Pineau说，他们不需要从头开始训练自己的语言模型，而是可以构建应用程序并“在相对适度的计算预算下”运行它们。

Joelle Pineau元

皮诺说，她希望研究人员做的第二件事是“把它拆开”，检查它的缺陷和局限性。像GPT-3这样的大型语言模型是出了名的产生有害的语言充满了刻板印象和有害偏见;这种令人不安的趋势是训练数据的结果，其中包括在Reddit论坛等地方发现的仇恨语言。在他们的技术论文中，Meta的研究人员描述了他们如何在仇恨言论、刻板印象和有毒内容生成相关的基准上评估模型，但皮诺说“还有很多工作要做。”她补充说，审查应该“由社区研究人员来完成，而不是在封闭的研究实验室里”。

该论文指出，“我们仍然认为这项技术用于商业部署还为时过早”，并表示通过以非商业许可发布模型，Meta希望在“更广泛的商业部署发生之前”促进负责任地使用大型语言模型的指导方针的发展。

在Meta内部，Pineau承认人们对OPT-175B的商业应用很感兴趣。“我们有很多处理文本的小组，”她指出，他们可能想在语言模型的基础上构建一个专门的应用程序。不难想象，产品团队对这项技术垂涎不已:它可以为内容审核工具或文本翻译提供动力，可以帮助建议相关内容，或者可以为元宇宙的生物生成文本真的发生了．

也有其他的努力来建立一个开源语言模型，最著名的是从EleutherAI，该协会已发布一个200亿个参数模型2月。Connor Leahy是EleutherAI的创始人之一，也是一家名为猜想他称Meta的举动是开放科学的良好一步。他说:“特别是公布他们的航海日志(据我所知)是前所未有的，非常受欢迎。光谱在一封电子邮件中。但他指出，Meta的有条件发布，即只有在用户请求时才能使用该模型，并且使用非商业许可，“还没有达到真正的开放”。EleutherAI没有对其计划发表评论，但Leahy表示，该团队将继续研究自己的语言AI，并补充说OPT-175B将有助于他们的一些研究。他说:“开放研究在这方面具有协同作用。”

正如计算机安全领域的说法所说，通过模糊实现的安全并不是安全。研究这些模型并找到将它们的存在融入我们的世界的方法是唯一可行的前进道路。”
-Connor Leahy, EleutherAI

EleutherAI是人工智能研究中的一个异类，因为它是一个由志愿者组成的自组织小组。如今，许多尖端人工智能工作都是在Meta、谷歌、OpenAI、微软、英伟达和其他财力雄厚的公司等大公司的研发部门完成的。这是因为训练大型人工智能系统需要大量的能量和计算基础设施。

Meta声称，训练OPT-175所需的碳足迹是训练GPT-3所需的碳足迹的七分之一，但正如Meta的论文所指出的那样，这仍然是一项重大的能源消耗。这篇论文说OPT-175B是在992 80g的内存上训练的A100 gpu与GPT-3估计的500吨碳预算相比(这一数字尚未得到OpenAI的证实)，Nvidia的碳排放足迹为75吨。

Meta希望通过提供这种“地基模型“对于其他实体来说，它至少可以减少从头开始构建庞大模型的需求。Meta在其博客文章中表示，部署该模型只需要16个Nvidia 32GB V100 gpu。该公司还发布了OPT-175B的小型版本，可供不需要完整模型的研究人员或在不同规模下研究语言模型行为的人员使用。

Maarten Sap他是该研究所的一名研究员艾伦人工智能研究所网上亚博Ayabo2016(AI2)和卡内基梅隆大学(Carnegie Mellon University)的助理教授语言技术学院他研究大型语言模型，并致力于研究方法解毒他们。换句话说，他正是Meta希望吸引的那种研究人员。Sap说他“很喜欢使用OPT-175B”，但“最大的问题是，很少有研究实验室真正拥有运行这个模型的基础设施。”他说，如果它更容易运行，他会用它来研究语言模型中的有毒语言风险和社会智力。

尽管Sap对Meta向社区开放这一模式表示赞赏，但他认为Meta还可以走得更远。他说:“理想情况下，有一个系统的演示和一个比[OpenAI的GPT-3 API]拥有更多控制/访问权限的API将对实际的可访问性有很大帮助。”然而，他指出，Meta发布较小版本是一个不错的“次优选择”。

像OPT-175B这样的模型是否会像其他类型的企业软件一样安全和可访问仍然是一个悬而未决的问题，关于前进的道路有不同的想法。EleutherAI的Leahy表示，阻止这些模型的广泛商业使用并不能解决它们的问题。Leahy说:“正如计算机安全领域的说法，通过模糊实现的安全并不是安全，研究这些模型并找到将它们的存在融入我们的世界的方法是唯一可行的前进道路。”

与此同时，Sap认为人工智能监管是必要的“防止研究人员、个人或公司使用人工智能来冒充人类、制造宣传或假新闻，或造成其他危害。”但他指出，“很明显Meta反对监管在很多方面。”

Sameer辛格他是加州大学欧文分校的副教授，也是AI2研究语言模型的研究员，他赞扬Meta发布培训笔记和日志，说过程信息最终可能比模型本身对研究人员更有用。辛格说，他希望这种开放将成为常态。他还表示，他支持至少为较小的模型提供商业访问，因为这样的访问有助于了解模型的实际限制。

辛格说:“从商业角度来看，完全禁止商业访问或将其置于付费墙之后可能是证明这些公司为什么应该首先建立和发布llm的唯一方法。”“我怀疑这些限制与潜在损害的关系并不像声称的那么大。”