一个绿色的锁锁符号如图所示在电脑屏幕上的一个二进制代码序列。

开源AI计划寻求使技术更广泛地研究人员访问。信贷:菲利普Lejeanvre除

生成人工智能(AI)的狂热始于OpenAI释放的ChatGPT没有减弱的迹象。虽然OpenAI等大型科技公司和谷歌占据了公众的注意,正在寻找方法将人工智能工具-一个安静革命是由研究人员和软件工程师进行较小的组织。

而大多数大型科技公司变得越来越神秘,这些小演员坚持开放的领域的精神。他们跨度范围从小型企业和非营利组织个人爱好者,和他们的一些活动是出于社会目标,如民主化访问技术,减少其危害。

这样的开源活动“爆炸”,计算机科学家Stella Biderman说,EleutherAI研究主管,一个人工智能研究所的纽约。尤其适用于大型语言模型(llm),权力范围的机构用人工神经网络种面向文本的软件,包括聊天机器人和自动翻译。拥抱的脸,纽约市一家旨在扩大人工智能,列出了100多个开源llm在其网站上。

骆驼泄漏

去年,拥抱脸BigScience为首的联合政府的志愿人员和学者,开发和发布最大的llm之一。模型,称为盛开,是一个多语言,开源系统为研究人员设计的。这仍然是一个重要的工具:描述它的纸已经积累了300多个引用,主要在计算机科学研究。

今年2月,一个更大的推动来开源运动当Facebook的母公司,元,做了一个模型称为骆驼免费选择外部开发人员。一个星期内,骆驼代码被泄露和任何人下载在线发表。

骆驼的可用性已经改变了的人工智能研究人员。比其他llm小得多,这意味着它不需要大型计算设备主机pretrained模型或针对特殊应用的适应它,如作为数学助理或客服聊天机器人。最大的骆驼版本包含650亿个参数:在神经网络的初始变量集,通用培训。这是不到一半的布鲁姆的1760亿参数,和的一小部分5400亿的参数谷歌的最新LLM PaLM2。

“骆驼,一些最有趣的创新的效率,”说Joelle Pineau,元人工智能研究副总裁和一个计算机科学家在蒙特利尔麦吉尔大学,加拿大。

元素14覆盆子π。

开发人员做了一个版本的泄露AI骆驼覆盆子π电脑上运行。信贷:多米尼克·哈里森除

开源开发人员一直在研究的方法缩小骆驼下降更多。这些技术包括保持参数的数量相同,但减少了参数的精度——这种方法,令人惊讶的是,不会引起不可接受的性能下降。裁员神经网络涉及的其他方式减少了参数的数量,例如,通过培训一个单独的、较小的神经网络的反应大,pretrained网络,而不是直接的数据。

骆驼泄漏后的几周内,开发商管理生产版本,笔记本电脑甚至覆盆子π,能放得下的,这个电脑是一个最喜欢的“制造商”的社区。拥抱的脸现在主要使用骆驼,不打算推动BLOOM-2。

减少了人工智能工具可以帮助使他们更广泛的访问,说Vukosi Marivate,比勒陀利亚大学的计算机科学家。例如,它可以帮助组织如Masakhane、一个社区的非洲Marivate领导的研究人员正试图让llm为语言的工作没有很多现有的书面文本,可以用来训练模型。但推动扩大仍有一段路要走:在低收入国家,一些研究者甚至高端笔记本电脑可以遥不可及。“这是伟大的,”Marivate说,“但是我也让你定义‘便宜’。”

看下罩

多年来,人工智能研究人员经常让他们的代码开源和存储库如arXiv上公布他们的研究成果。“人们共同理解,该领域将进步更快如果我们同意彼此分享东西,”科林Raffel说,一个计算机科学家在北卡罗莱纳大学教堂山分校。创新是当前最先进的llm,称为变压器结构,在谷歌创建和发布开源的,例如。

使神经网络开源使研究人员能够看起来“底层”,试图理解为什么系统有时在不可预知的方式回答问题,可以携带偏见和不良信息的数据他们pre-trained,艾莉Pavlick说,普罗维登斯布朗大学的计算机科学家,罗德岛与BigScience合作的项目,也适用于谷歌的人工智能。“一个好处是让许多人——尤其是来自学术界——缓解策略,”她说。“如果你有一千只眼睛,你要想出更好的方法来做这件事。”

Pavlick的团队分析了开源系统,如开花,发现方法来确定和修正偏差,继承了训练数据,典型的例子是如何语言模型倾向于将“护士”与女性和男性性别“医生”。

Pretraining瓶颈

即使开源繁荣的推移,把人工智能更强大的语言将继续来自最大的球员。只有少数公司能够从头创建语言模型,才能真正推动艺术的状态。Pretraining LLM需要大量资源,研究人员估计,OpenAI GPT-4和谷歌的手掌2花了数千万美元的价值的计算时间,还大量的“秘密武器”,研究人员说。

“我们有一些一般性的食谱,但经常有小细节没有被记录的或写下来,“Pavlick说。“这不是喜欢一个人给你的代码,你按下按钮,你会得到一个模式。”

“组织和人们可以pretrain很少,”路易Castricato说开源软件公司稳定AI人工智能研究员在纽约。“这仍然是一个巨大的瓶颈。”

其他研究人员警告说,让强大的语言模型广泛访问增加了机会,他们最终会落入不法之徒手中。AI公司的首席执行官康纳莱希猜想在伦敦,他是EleutherAI创始人之一认为,人工智能将很快聪明足以使人类生存风险。“我认为我们不应该开源的,”他说。