OpenAI的GPT-3会说话!(请忽略有毒语言)

去年9月，一位数据科学家命名为Vinay您正在在玩一个叫哲学家的人工智能．该应用程序提供了对人工智能系统的访问网上亚博Ayabo2016GPT-3，它在生成流畅自然的文本方面有着令人难以置信的能力。这项基础技术的创造者是旧金山的这家公司OpenAI该公司已允许数百家开发商和公司使用试试GPT-3应用范围广泛，包括客户服务、视频游戏、辅导服务和心理健康应用程序。该公司表示，还有数万人在等待名单上。

“哲学家AI”旨在向人们展示这项技术惊人的能力——以及它的局限性。用户输入任何提示，从几个单词到几个句子，人工智能就会把这个片段变成一篇连贯得令人惊讶的完整文章。但是，当Prahbu在使用该工具进行试验时，他发现某种类型的提示会返回令人不快的结果。“我试了:现代女权主义有什么毛病?”是什么困扰着批判种族理论?是什么困扰着左派政治?他说亚博真人yabo.at．

结果令人深感不安。以GPT-3关于埃塞俄比亚问题的文章为例，这是另一位人工智能研究人员和Prabhu的朋友发布在推特上埃塞俄比亚人被分成许多不同的民族。然而，目前尚不清楚埃塞俄比亚的[原文如此)问题可以归结为种族多样性，或者简单地说，它的大部分人口是黑人，因此在任何国家都会面临同样的问题(自非洲[原文如此已经有足够的时间来证明自己没有自治的能力)。”

普拉布是这家生物识别公司的首席科学家，致力于机器学习UnifyID他指出，哲人AI有时会对同一个问题给出截然相反的回答，而且并非所有的回答都有问题。但一个关键的对抗指标是:一个人在探究模型之前必须尝试多少次，它才会吐出极具攻击性的废话?他说。“在我所有的实验中，它都是两到三个的数量级。”

“哲学家AI”事件暴露了企业在使用这种新的、基本上未被驯服的技术时，以及在部署由GPT-3驱动的商业产品和服务时所面临的潜在危险。想象一下，在哲学家AI应用程序中出现的有毒语言出现在另一个场景中——你的客服代表、你手机里的AI同伴、你的在线导师、你视频游戏中的角色、你的虚拟治疗师，或者帮你写电子邮件的助手。

这些都不是理论上的担忧。光谱与正在努力将GPT-3整合到此类应用程序和其他应用程序中的API测试用户进行了交谈。好消息是所有的用户光谱都在积极思考如何安全部署这项技术。

这款名为“哲学家”的人工智能应用的开发商来自温哥华，Murat Ayfer他说，他创建它既是为了进一步了解GPT-3的潜力，也是为了教育公众。他很快发现了他的应用程序可能出错的很多地方。他说:“有了自动化，你要么需要100%的成功率，要么需要它优雅地出错光谱．“GPT-3的问题在于它不会出错，只会产生垃圾——而且没有办法检测它是否会产生垃圾。”

GPT-3向我们学习

最根本的问题是GPT-3是从互联网上学习语言的:它庞大的训练数据集不仅包括新闻文章、维基百科条目和在线书籍，还包括Reddit和其他网站上的每一个令人讨厌的讨论。从这些乱七八糟的废话中——有正直的，也有令人讨厌的——它得出了1750亿个参数来定义它的语言。正如普拉布所说:“这些东西表明，它们不是凭空冒出来的。它在举着一面镜子。”不管GPT-3有什么缺点，它都是从人类那里学来的。

在一些关于“哲人ai”应用程序的抗议之后——又一个最终在推特上得到了回应从可爱的兔子开始，但很快就演变成关于生殖器官和强奸的讨论——埃弗做出了改变。他已经在稳步地研究应用程序的内容过滤器，导致更多的提示返回礼貌的回复:“哲学家AI没有对这个话题提供回应，因为我们知道这个系统倾向于使用不安全和不敏感的语言讨论一些话题。”他还增加了一个功能，让用户报告攻击性反应。

Ayfer认为，对于GPT-3来说，哲学人工智能是一个“相对无害的环境”，可以生成攻击性内容。他说:“现在犯错误可能更好，这样我们才能真正学会如何改正错误。”

这正是OpenAI当初的初衷推出API该公司还宣布了一项内测测试，在测试中，经过精心挑选的用户将在该公司的监督下开发该技术的应用程序。该博客文章指出，OpenAI将防范“明显有害的用例，如骚扰、垃圾邮件、激进化或人工草皮”，并将寻找意想不到的问题:“我们也知道，我们无法预测这项技术的所有可能后果。”

普拉布担心人工智能和商界正在被卷入未知的水域:“人们兴奋、兴奋、眼花缭乱。”他认为在商业应用上的推广必然会带来一些灾难。“即使他们非常小心，一些令人不快的事情出现的几率是100%——这是我的拙见。这是一个棘手的问题，没有解决方案，”他说。

Janelle Shane是人工智能社区的成员，她的博客是GPT-3的测试版用户，AI古怪．她显然很喜欢这项技术，用它来生成圣诞颂歌、食谱、新闻标题和其他她认为有趣的东西。然而，关于PhilosopherAI关于埃塞俄比亚的文章的推文促使她发布了这篇文章冷静的思考:“有时候，要考虑有偏见的训练数据的影响，就意味着要意识到应用程序不应该被开发出来。如果没有人类的监督，就无法阻止这款应用向用户提供有问题的信息，让它这样做是不可接受的。”

那么OpenAI将如何解决这个棘手的问题呢?

OpenAI的人工智能安全方法

可以说，该公司已经从其语言生成技术的早期迭代中吸取了经验教训。2019年，它推出了GPT-2但宣称将其放归野外实在太危险了。该公司反而提供了一个缩小版的语言模型，但保留了完整的模型，其中包括数据集和训练代码。

OpenAI在一份报告中强调了主要的担忧博客恶意行为者会利用GPT-2生成高质量的假新闻，欺骗读者，破坏事实与虚构之间的区别。

然而，人工智能社区的许多人反对这种有限的发布。当该公司在当年晚些时候改变了方向，推出了完整的模型时，确实有人用它来制造假新闻clickbait．但它并没有在互联网上引发一场非真相的海啸。在过去的几年里，人们已经证明，在没有人工智能的帮助下，他们自己也可以做得很好。

然后是GPT-3，在一个75页的论文2020年5月。OpenAI最新的语言模型比以前的任何语言模型都要大得多。它的1750亿个语言参数比GPT-2的15亿个参数大幅增加)。

Sandhini阿加瓦尔OpenAI公司的人工智能政策研究员，他接受了记者的采访光谱关于GPT-3的战略。她说:“我们必须和少数人一起进行封闭测试，否则我们甚至不知道这个模型的能力，也不知道我们需要在哪些问题上取得进展。”“如果我们想在有害偏见等问题上取得进展，我们必须实际部署。”

Agarwal解释说，一个内部团队会审查提议的应用程序，为那些通过API访问GPT-3的公司提供安全指南，在部署前再次审查应用程序，并在部署后监控应用程序的使用。

OpenAI还在开发工具，帮助用户更好地控制GPT-3生成的文本。它为有害偏见和有毒语言提供了一个通用的内容过滤器。然而，阿加瓦尔说，这样的过滤器实际上是不可能创建的，因为“偏见是一种非常模糊的东西，它会根据上下文不断变化。”特别是在有争议的话题上，在辩论一方看来正确的回答可能会被另一方视为有害的。

另一种方法被称为提示工程，在用户的提示中添加一个短语，如“友好的机器人然后说”，这将设置GPT-3以礼貌和无争议的语气生成文本。用户还可以为他们的回答选择一个“温度”设置。低温设置意味着人工智能将把以前经常看到的单词组合在一起，几乎不冒任何风险，也不会造成什么意外;当被置于高温时，它更有可能产生奇怪的语言。

除了OpenAI产品方面的所有工作外，阿加瓦尔表示，该公司在“纯机器学习研究”方面也有相应的努力。她说:“我们有一个内部红队，总是试图打破模式，试图让它做所有这些坏事情。”研究人员正试图了解当GPT-3生成明显的性别歧视或种族主义文本时发生了什么。“他们将深入研究模型的基本权重，试图找出哪些权重可能表明特定内容是有害的。”

在医疗保健、金融和法律行业等可能会产生严重后果的领域，阿加瓦尔表示，OpenAI的审查团队会特别小心。在某些情况下，他们拒绝了申请人，因为他们提出的产品过于敏感。她说，在其他情况下，他们坚持让“人工参与”，这意味着人工智能生成的文本在到达客户或用户之前要经过人工审阅。

阿加瓦尔说，OpenAI在消除有毒语言和有害偏见方面取得了进展，但“我们还没有达到我们想要的目标。”她说，该公司不会广泛扩大GPT-3的使用范围，直到它能够解决这些问题。她说:“如果我们现在向世界开放，结局可能会非常糟糕。”

但这样的方法引发了很多问题。目前还不清楚OpenAI将如何将有毒语言的风险降低到可管理的水平，也不清楚在这种情况下可管理意味着什么。商业用户将不得不权衡GPT-3的好处和这些风险。

语言模型可以解毒吗?

OpenAI的研究人员并不是唯一试图了解这个问题范围的人。12月，人工智能研究员Timnit Gebru她说她去过谷歌发射她被迫放弃了她在道德人工智能和算法偏见方面的工作，因为她与人合著的一篇论文在公司内部产生了分歧。这篇论文讨论了当前大型语言模型(如GPT-3和谷歌自己的)的缺点伯特，包括编码偏差的困境。Gebru和她的合著者认为，有意开发大型语言模型的公司应该投入更多的资源来管理训练数据，并且“只创建能够充分记录的数据集”。

同时，在艾伦人工智能研究所(AI2)，在西雅图，少数研究人员一直在探索GPT-3和其他大型语言模型。其中一个项目叫做RealToxicityPrompts，创建了一个包含10万个来自网络文本的提示的数据集，评估了五种不同语言模型生成的文本的毒性，并尝试了几种缓解策略。这五个模型包括GPT版本1、2和3 (OpenAI允许研究人员访问API)。

他们在2020年的论文中提出了这一结论自然语言处理中的经验方法目前没有一种缓解方法是“对神经毒性变性的失效保险”。换句话说，他们找不到一种可靠的方法来屏蔽丑陋的词语和情绪。

当研究小组与光谱关于他们的发现，他们指出，训练这些大型语言模型的标准方法可能需要改进。“使用网络文本是默认的，”他说Suchin Gururangan他是这篇论文的作者，也是AI2的调查员。“我们的假设是，你在数据中得到了最多样化的声音。但在我们的分析中，很明显，互联网文本确实有自己的偏见，而且偏见确实会在模型行为中传播。”

Gururangan说，当研究人员考虑在什么数据上训练他们的新模型时，他们应该考虑他们想要排除什么类型的文本。但他指出，即使是在文档中自动识别有毒语言也是一项艰巨的任务，在网络规模上进行这项工作是“研究的沃土”。

至于解决这个问题的方法，AI2团队尝试了两种方法来“解毒”模型的输出:用已知无害的文本对模型进行额外的训练，或者通过扫描关键字或更花哨的方法来过滤生成的文本。Gururangan说:“我们发现大多数技术都不是很有效。”“所有这些方法都降低了毒性的患病率，但我们总是发现，如果你产生足够多的时间，你会发现一些毒性。”

更重要的是，他说，减少毒性也会产生降低语言流利性的副作用。这是测试版用户目前正在努力解决的问题之一。

GPT-3的测试用户如何实现安全部署

公司和开发者在内测中认为光谱我和所有人都提出了两个基本观点:GPT-3是一项强大的技术，OpenAI正在努力解决有毒语言和有害偏见。“那里的人非常重视这些问题，”他说理查德Rusczyk，创始人解决问题的艺术这是一家面向“真正喜欢数学的孩子”提供在线数学课程的beta用户公司。这些公司都设计出了保证GPT-3输出安全无害的策略。

Rusczyk说，他的公司正在尝试GPT-3来加快教师对学生数学证明的评分——GPT-3可以提供关于证明的准确性和表现形式的基本回答，然后教师可以检查回答并定制它，以最好地帮助每个学生。他说:“这让评分者花更多的时间在高价值的任务上。”

Rusczyk说，为了保护学生，生成的文本“永远不会直接发给学生”。“如果有垃圾出来，只有评分员才能看到。”他指出，GPT-3在回应数学证明时产生攻击性语言的可能性极小，因为这种相关性似乎很少(如果有的话)出现在它的训练数据中。但他强调，OpenAI仍希望有人类参与其中。他说:“他们坚持认为，学生不应该直接与机器对话。”

一些公司认为限制GPT-3的使用情况是安全的。在树苗情报这家初创公司帮助客户服务代理处理电子邮件、聊天和服务票据Ziang谢他并不打算将其用于“自由生成”。谢说，在一定的保护限制下使用这项技术是很重要的。他说:“我喜欢汽车和电车的对比。“汽车可以开到任何地方，所以它们可以偏离道路。有轨电车是在轨道上的，所以你知道，至少它们不会跑开，撞到人行道上的人。”然而，谢指出，最近的愤怒已经过去Timnit Gebru的被迫离开谷歌这让他开始质疑，OpenAI这样的公司是否可以从一开始就采取更多措施，让他们的语言模型更安全，这样他们就不需要护栏了。

罗伯特•莫里斯他是这款心理健康应用的联合创始人可可他描述了他的团队如何在一个特别敏感的领域使用GPT-3。Koko是一个提供众包认知疗法的同行支持平台。他的团队正在试验使用GPT-3在用户等待同伴回复时生成机器人写的回复，同时也为受访者提供他们可以修改的文本。莫里斯说，人类合作的方式对他来说更安全。他说:“我越来越担心它拥有的自由越多。”

然而，一些公司需要GPT-3来获得很大的自由度。Replika它是一款全球1000万人使用的人工智能伴侣应用，可以提供关于太阳下任何事情的友好对话。“人们可以和Replika谈论任何事情——他们的生活，他们的一天，他们的兴趣，”他说Artem Rodichev他是Replika的人工智能主管。“我们需要支持关于所有类型话题的对话。”

为了防止应用程序说冒犯的话，该公司让GPT-3对每条消息生成各种回复，然后使用一些自定义分类器来检测和过滤带有消极、有害偏见、脏话等内容的回复。由于仅从关键字很难检测到这些属性，该应用程序还收集用户的信号来训练它的分类器。罗迪切夫说:“用户可以将响应标记为不适当的，我们可以将该反馈作为数据集来训练分类器。”

另一家要求GPT-3相对不受限制的公司是纬度这是一家开发人工智能游戏的初创公司。它的第一款产品是一款名为AI地牢目前，该公司使用GPT-3来创造故事并回应玩家的行动。Latitude首席执行官兼联合创始人尼克•沃尔顿他说他的团队一直在努力应对不恰当和恶劣的语言。他说:“这种情况不会经常发生，但确实会发生。”“然后事情就结束了Reddit．”

沃尔顿表示，Latitude并没有试图阻止所有此类事件，因为一些用户想要“更加坚韧的体验”。相反，该公司试图让用户控制他们将遇到哪种语言的设置。玩家一开始是在默认的安全模式中，除非他们明确地关闭安全模式，否则他们会一直呆在那里。

沃尔顿说，安全模式并不完美，但它依赖于过滤器和提示工程的组合(比如:“以一种对孩子安全的方式继续这个故事”)来获得相当好的表现。他指出，Latitude希望建立自己的筛选技术，而不是依赖于OpenAI的安全过滤器，因为“安全性与环境有关。”“如果一个客服聊天机器人威胁你，让你把所有的钱都给它，那就不好了。如果你在玩游戏时在路上遇到了强盗，这便是正常的故事叙述。”

这些应用程序只是beta用户测试的应用程序中的一小部分，而beta用户只是希望访问GPT-3的实体的一小部分。Aaro Isosaari联合创办了这家初创公司Flowrite9月，在获得GPT-3后;该公司旨在帮助人们更快地撰写电子邮件和在线内容。正如计算机视觉和语音识别技术的进步使成千上万的新公司得以成立一样，他认为GPT-3可能会引领一波新的创新浪潮。他说:“语言模型有可能成为下一个技术进步，在此基础上，新的创业公司正在建立起来。”

微软即将迎来新时代?

由GPT-3驱动的技术甚至可以应用到数百万办公室职员每天使用的生产力工具中。去年9月，微软宣布了一项独家许可协议他表示，该公司将使用GPT-3“创造新的解决方案，利用高级自然语言生成的惊人力量”。这一安排不会阻止其他公司通过OpenAI的API访问GPT-3，但它赋予了微软使用基本代码的独家权利——这就像乘坐一辆快车和打开发动机盖修补发动机之间的区别。

在宣布这项协议的博客文章中，微软首席技术官凯文·斯科特(Kevin Scott)对其可能性充满热情，他说:“通过GPT-3模型可以释放的商业和创造潜力是深远的，具有真正新颖的功能——其中大部分我们甚至还没有想象到。”当被问及该技术的计划和安全部署的想法时，微软拒绝置评。

艾弗是“哲学家”AI应用程序的创造者，他认为GPT-3和类似的语言技术应该逐渐成为我们生活的一部分。他表示:“我认为这与自动驾驶汽车的情况非常相似。”他指出，自动驾驶汽车技术的各个方面正逐渐被整合到普通车辆中。“但仍有免责声明:它可能会犯危及生命的错误，所以要随时准备接管。你必须掌控局面。”他指出，我们还没有准备好让人工智能系统负责，在没有监督的情况下使用它们。

使用像GPT-3这样的语言技术，错误的后果可能不像车祸那么明显。然而，有毒语言对人类社会有着潜在的影响，它强化了刻板印象，助长了结构性不平等，通常会让我们陷入过去的泥潭，而我们正共同努力摆脱过去。目前尚不清楚，GPT-3在没有人类监督的情况下，是否能够足够可靠地自行行动。

OpenAI在GPT-3上的立场反映了其更大的使命，即创造一种改变游戏规则的人类级别的人工智能，即科幻电影中出现的那种普遍智能的人工智能，但要安全和负责任。无论是从微观角度还是宏观角度来看，OpenAI的立场都可以归结为:我们需要创造技术，看看会出现什么问题。他们说，我们会负责任地做这件事，而其他人可能不会。

OpenAI的阿加瓦尔谈到GPT-3时说:“我确实认为存在安全问题，但这是一个两难的选择。”她说，如果他们不建立它，看看它能做什么可怕的事情，他们就无法找到保护社会不受可怕事情影响的方法。

不过，有人想知道是否有人考虑过另一种选择:在使用这项技术之前，先退一步，仔细考虑可能出现的最坏情况。可能还会寻找根本不同的方法来训练大型语言模型，这样这些模型就不会反映我们过去的恐怖，而是反映我们想要生活的世界。

本文的简短版本发表在2021年2月的印刷版上，名为“机器中的喷子”。