ChatGPT平替:Stability AI推出开源AI模型StableLM  第1张

像其他最近的 “小 “语言模型,如Meta的、斯坦福的、和,StableLM声称要达到与OpenAI的基准GPT-3模型类似的性能,而使用的参数却少得多–StableLM是70亿,而GPT-3是1750亿。

参数是语言模型用来从训练数据中学习的变量。参数越少,语言模型就越小,效率就越高,这可以使它更容易在智能手机和笔记本电脑等本地设备上运行。然而,用较少的参数实现高性能需要精心设计,这是人工智能领域的一个重大挑战。

“我们的StableLM模型可以生成文本和代码,并将为一系列的下游应用提供动力,”Stability说。”它们展示了小而有效的模型如何通过适当的训练提供高性能”。

根据Stability AI的说法,StableLM已经在 “一个新的实验数据集 “上进行了训练,该数据集基于一个名为的开源数据集,但比它大三倍。Stability公司声称,这个数据集的 “丰富性”–它承诺稍后公布其细节–说明了该模型在对话和编码任务的较小参数规模下 “令人惊讶的高绩效”。

在我们对基于Alpaca方法为对话建立的StableLM的7B模型的微调版本的非正式实验中,我们发现它似乎比Meta的原始7B参数LLaMA模型表现得更好(就你在提示下所期望的输出而言),但没有达到GPT-3的水平。更大参数版本的StableLM可能会被证明更加灵活和有能力。

去年8月,Stability公司资助并宣传了Stable Diffusion的开源发布,该模型由慕尼黑路德维希-马克西米利安大学的CompVis小组的研究人员开发。

作为一个早期的开源latent diffusion模型,它可以从提示中生成图像,Stable Diffusion启动了一个图像合成技术的快速发展时代。它也在艺术家和企业实体中引起了强烈的反响,其中一些人已经起诉了Stability AI。Stability公司向语言模型的进军可能会激发类似的结果。

用户可以测试70亿个参数的StableLM基础模型和上的微调模型。此外,Hugging Face承载了一个,其对话格式与ChatGPT相似。

Stability公司表示,它将 “在不久的将来” 发布一份关于StableLM的完整技术报告。