众所周知，自2020年起，微软与微软♂就独家获取GPT-3源代码达成协议，GPT-3的模型代码不再对外公开（GPT-1和GPT- 2 个是开☆源项目）

出于对科技巨头霸权的“反抗”，成立了由研究人员、工程师和开发者志愿者组成的计算机科学家协会，打〓破了微软和Open AI在大规模NLP模型上的垄断，取得了不错的成绩。

这个协会是电子商∑务。

以古罗马自由女神之名，流露出对巨人的蔑视与反抗。

与拥有 1750 亿个参数的 GPT-3 相比，GPT-NeoX-20B 的参数显然微不足道。 但是，为这一成就感㊣　到自豪。 为什么？

1 来源

首先介●绍一下发展历程。

长期以来，人工智能威胁论一直是热门话题。 霍金在《独立报》中表达〓了人工智能的威胁。 “人工智能的短期影响取决于谁控制它，而长期影响取决于它能否被控制。” “

成立于2020年7月，主要发起人是一群号称自学成才的黑客，主要领导是Leahy、Leo Gao和Sid Black。

当时，微软与 签署了 GPT-3 访问控制协议。 听到风声，反叛的极客开始在（社交媒体平台）上说：“让我们来上一课※吧！” “

因此，他们希望在建立的基础上，建立一个可以媲美GPT-3的机器学▓习模型。

创始人 Leahy 在接受 IEEE 采访时表示。

“它开始是一个非常有趣的爱好，但当瘟疫关闭这座城市时，我们无法做得更好。它很快就变成Ψ 了一种魅力。” “

“我们认为自己是过去几十年经典黑客文化的后代，但出▅于好奇和对挑战的热爱，我们在新领域尝试技术。” “

该服务器目前有大约 10,000 名成员，但只有大约 100 或 200 名①定期活跃，并且 10 到 20 人的团队正在开发新模型。 自成立以来，其研究团队首先开源ζ　了基于GPT-3的60亿参数的NLP模型GPT-J，并于2021年3月发布了27亿参数的模型GPT-Neo级别，可以说是发展迅猛。

今年2月9日，他们与Core 合作发布了GPT-Neo的升级版——GPT-NeoX-20B。 官方代码地址如下it技术工↘程师，目前可以在天眼之眼公开下载。

代码地址：/

它也是目前最大的可公开访问的预训练通用自回归语言模型。

在发布声明中∏，Leahy 特别标记了“标准¤语言建模任务的正确性”和“通过评估衡量的主题组事实知识的零样本正确性”。

2 GPT-NeoX-20B的优势：免费、开放

简而言之，GPT-NeoX-20B 是一个具有▆ 200 亿参数、预训练、通用和自回归的大规模语言模型。

如果您不知道它是什么，请考虑 GPT-3。 这是近两年前震惊世界的大型语言模型，其语言能力浩瀚无边。 文章可以简单地通过编写计算机代码、写诗、生成具№有权威色彩、风格难以区分的假新闻，甚至给出标题和句子来生成。 那是因为卐可以根据非常少的输入信息自己“创建”它。 另外，你创造的→东西也可以写成文章（题外话：就像漫威机器人贾维斯一样）

必须承认，该模型大于 1750 亿个参数（模型中编码信息的节点或数↑字）。 参数越多，模型就越“聪明”，因为它吸收和分解的信息更多。

但是，它是世界上同类产品中最强大的模型，并且可以免费卐公开获取。

“我们希望更多的安全研究人员能够使用这项技术，”Leahy 说。

此外，它不同于训练大规模模型所需的计算能力。

GPT-3 在未知数量的 V100 核心 GPU 上进行了训练。 合作伙伴 随后开发⊙了一个用于训练大型模型的单一系统，该系统具□有多个 CPU 内核、10,000 个 GPU 和 400 Gb/s 的网络连接。 这并没有阻止反 GPT-3 垄断的承诺。 他们最初使用谷歌提供的硬件作为其 TPU 研究云计划的一部分构建了 GPT-J，这是一种具】有 60 亿个◣参数的大型语言模型。 对于 GPT-NeoX-20B，该小组得到了一家致力于基于 GPU 的工作负载的云服务提供商的支持。

它被称为人工智能非营利组织，但目前其本质是一个由科技公司主导的私人模式。

数学家和人工智能研究人员告诉 IEEE：

“这些私人模型限制了我们这些独立研究人员可以』访问的内容。如果我们不知道它是如何工作的，科学家、伦理学家和整个社会就无法就如何将这项技术应⌒　用到我们的生活中进行必要的对话。” . “”

他的工作推动了大规模语言模型的可描述性、安全性、伦■理学等方面的研究it技术工程师，得到▽了外界的肯定。

机器学习安全领域的关键人物倪教授在最近的一篇论文中表示：“如果没有 The Pile 数≡据集及其 GPT-Neo 系列模型的全面公开，我们的研究就无法实现。” Pile 数据集是♂一个 825 GB 的英文文本语◥料库，用于训练大型语言模型。

文/澜梦IT外包