让众人疯狂的网红 AI ChatGPT,原来也有明显的短板?
一段“网友调教这只 AI”的聊天记录,在网上传开了。
可以看到,AI 起初居然说 27 是个质数。
在网友向其提出质疑后,AI 仍嘴硬称“27 不能被 3 整除”。
网友不得不和 AI“大战几百回合”,最后在人类锲而不舍的教导下,AI 才终于终于低头认错。
有一说一,AI 的认错态度倒是很好。
有围观者看完后调侃:AI 不是都要统治世界了吗,怎么会输给一道简单的数学题?
不过,也有很多人为 ChatGPT 说话:这么坦诚的认错态度,不比某些人强多了。
数学水平拉胯,还贼固执
具体事情是这样的:
网友在和 ChatGPT 互动的过程中发现,这只 AI 数学水平过于拉胯,连 27 是不是质数这种简单问题都能搞错 —— 而且还是在知道质数定义的情况下……
于是网友让 ChatGPT 证明它给出的结论,没想到,AI 居然说 27 不能被 3 整除。
网友表示无语,但还是耐着性子又问了一遍,结果 AI 依然嘴硬,偏把 9 说成是 9.0。
无奈,网友只能搬出代码,试着用 Python 来教会 AI。
结果 AI 还真学会了!而且人家还主动承认了刚才的错误。
有意思的是,我们刚才也去问了 ChatGPT“27 是不是质数”,发现它已经改过来了。
然后我们又拿了几个数字去问 AI,结果在这一回合中,它都正确地判断了一个数到底是不是质数。
不过仔细一看,AI 并没提到 35 能被 7 整除,于是我们又专门问了一遍。然鹅……
这岂不是一本正经地胡说八道嘛?
于是我们也只好搬出 Python 教教它,但这回,连 python 似乎也没能让 AI 承认自己的错误……
所以这只 AI 为啥算术水平如此堪忧,而且还如此固执?
其中一个重要的原因就是,ChatGPT 是个语言大模型,根据 Open AI 的 GPT-3.5 的模型微调而成,它擅长逻辑推理,但并不能执行标准的计算机算法。
而且与搜索引擎不同,它目前也没有网页浏览功能,无法调用在线计算器。
此前,ChatGPT 其实已经向用户坦言,它不懂算术。两位数的乘法或许还凑乎,但遇到三位数的乘法,人家直接不干了。
我们也去问了一遍,现在 AI 到是直接给了个答案,不过是错的。(正确答案为 186524)
另外,ChatGPT 一般不会根据用户的反馈来纠正自己的答案,但如果用户提出了额外的信息,有时也能辅助 AI 优化答案。
所以,我们暂时没有成功地“教育”AI,大概也许可能是运气不太好……
除了数学其他都很全能
尽管 ChatGPT 有时会展现出“人工智障”的一面,但不得不说,大多数时候它的表现还是很优秀的。
比如,哥伦比亚大学教授、谷歌工程师 Kenneth Goodman 就分享,ChatGPT 已经做好成为律师的准备了!
在律师执业考试中,ChatGPT 的正确率高达 70%(35/50)。
不仅是法律方面,Goodman 还让 ChatGPT 参加了其他不同领域的各种考试,都取得了很高的成绩。
包括美国医师执照考试(USMLE),拿掉其中的图像选择题后,ChatGPT 同样做到了 70% 的正确率。
为了防止 ChatGPT 的训练数据中包含这些题目,Goodman 还特意选取了纽约州 2022 年 8 月最新化学注册考试:
去除 5 个图片选择题,ChatGPT 的正确率为 77.7%(35/45)。
同样批次的英语考试中,ChatGPT 的正确率甚至达到了 91.6%(22/24)
有网友已经开始预测,或许我们每个人都将拥有自己的律师 AI 了,咨询律师的费用也会大大下降。接下来就是医生 AI、营养师 AI……
怎么样,你看好 ChatGPT 的未来应用吗?(或者你有让它学好数学的建议吗?)
参考链接:
[1]https://weibo.com/7095186006/Mj6LVF0zS#comment
[2]https://twitter.com/TonyZador/status/1601316732689604608
[3]https://twitter.com/pythonprimes/status/1601664776194912256
本文来自微信公众号:量子位 (ID:QbitAI),作者:Alex 羿阁
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。