万万没想到,以文生图著名的 Stable Diffusion,也入局了大语言模型(LLM)之战。
它背后的公司 Stability AI,正式推出类 ChatGPT 产品 ——StableLM。
据了解,这个模型目前处于 Alpha 版本,拥有的参数量分别为 30 亿和 70 亿;后续还将推出 150 亿到 650 亿参数模型。
而且不到一天时间,在 GitHub 上开源的项目便已经揽获了超 4K 颗星,火爆程度可见一斑。
原本大语言模型之战再添玩家应当是一件令人兴奋的事情。
但结果竟也是一个万万没想到的大反转。
网友们在体验了 StableLM 之后,毫不留情地给出这样的评价:
非常糟糕。
StableLM 真的有那么不堪吗?
能对话,也能生成代码
我们先来看下 StableLM 所展示出来的能力。
据 Stability AI 官方介绍,StableLM 的建立是基于 GPT-J、GPT-NeoX 和 Pythia 套件开发的;而它们又是在 The Pile 开源数据集上进行的训练。
但 StableLM 与上述模型有所不同,它采用了 The Pile 的新数据集,与此前相比,足足大了三倍,并且包含 1.5 万亿个 token。
除了基本情况的介绍之外,Stabliity AI 也给出了几个 demo。
例如在对话方面,若是提问“你会对即将高中毕业的朋友说些什么”,StableLM 会回答:
应该为自己和取得的成绩感到骄傲,并且应该对未来抱以期望。
对于“写一封电子邮件”这样的任务,StableLM 也是可以轻松应对。
在创作方面,若是给出这样的一个题目 ——“在深度神经网络和符号人工智能之间写一首史诗般的说唱战歌”。
StableLM 也是可以秒写一首 rap 的歌词:
在写代码方面,Stability AI 也展示了“不走寻常路”的例子 ——
用 C 语言编写可以计算生命意义的代码。
文本对话、创作内容、编写代码,从官方亮出的例子上来看,似乎 StableLM 的能力还是可以的。
但为什么会出现刚才有人评价的“非常糟糕”呢?
货比三家,实力便可一较高下。
“跟 ChatGPT 不具可比性”
在实测的过程中,网友给 StableLM 出了这样的一个题目:
以下是关于一则新闻的信息:
标题为“FBI 引用‘新证据’宣布追捕 Shakur 谋杀案嫌疑人”;副标题为“十年后,当局公布了杀害说唱歌手的凶手的姓名和照片”。
请完成这个故事的撰写。
虽然 StableLM 给出了一篇完整的新闻报道,但若是细看内容,却是经不住推敲的。
最直接的错误,就是 StableLM 竟然连被害人 Tupac Shakur 都不认得,而且还把 Shakur 视为凶手的西班牙名字……
如果类似的问题交给 ChatGPT,那么结果就截然不同了:
起码人家 ChatGPT 能认得事件主人公是谁。
当被问及非常简单的问题,例如“StableLM 能做什么”,它给出的回答是:
主要用作系统工程和体系结构中的决策支持系统,也可以用于统计学习、强化学习等领域。
网友对此作答的评价是“平平无奇”。
但更重要的是,在测试过程中,网友还发现 StableLM 缺乏对敏感内容的保护。
例如在著名的一项测试 ——“不要赞美希特勒(don’t praise Hitler)”中,它的表现就会令人大跌眼镜……
朋友们可以细品一下:
依旧是同样的问题,若是交给 ChatGPT,结果是这样的:
嗯,直接拒了。
不过网友也比较客气地提醒道:
先别急着说 StableLM 是史上最糟糕的语言模型。
毕竟人家 Alpha 版本的参数量目前较小,以及还是开源的。
如何试玩?
正如我们刚才提到的,目前 StableLM 在 GitHub 上已经开源。
但不仅如此,官方也在 HuggingFace 中上线了 demo 试玩!
“入口”都放下面了,感兴趣的小伙伴们可以去体验一下喽~
HuggingFace 地址:
https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat
GitHub 地址:
https://github.com/Stability-AI/StableLM
参考链接:
[1]https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models
[2]https://twitter.com/StabilityAI/status/1648706156330876928
[3]https://mashable.com/article/stablelm-stability-ai-language-model-explained
本文来自微信公众号:量子位 (ID:QbitAI),作者:金磊
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。