大模型天花板 GPT-4 和最强竞品 Claude,不光商业上竞争激烈,两家公司的员工私下也“剑拔弩张”了起来:
约战提示词决斗,看谁能在最短时间让 AI 完成高难度任务。
OpenAI 一方出战的是思维链(Chain-of-Thought)开山论文的一作 Jason Wei,也就发现让大模型按步骤思考就能提高推理能力的人。
他刚从谷歌跳槽到 OpenAI 不久,现在圈里都叫他“思维链哥”。
Anthropic 一方的选手 Karina Nguyen 也不简单,毕业于 UC 伯克利,现在负责设计构建大模型人机交互界面。
比赛规则很简单,通过优化提示词让 AI 正确排序一组单词,谁先完成谁获胜。
而这不光是一场有趣的对决,还有不少围观的网友表示从中 get 到了大模型的一些新特性。
情商能提高大模型的推理能力
推理能力足够强的大模型能把问题用结构化的方式表达出来,并用结构化的表现形式解决问题。
想知道这些结论是如何得出的,还是回到这场比赛本身。
提示词大师巅峰对决
由于 Karina 表示只擅长提示 Claude,Jason 也同意让出主场优势,还因为打字速度的原因让对面 3 分钟。
总之经过一番讨价还价后,比赛正式开始了!
首先要了解的是,这项任务看起来不难,但无论 GPT-4 还是 Claude 都不能通过简单提示词直接完成。
(anaconda 应该排在 anchor 前面)
Jason 首先尝试让 Claude 编写一些代码并执行,让它进入编码模式。
然鹅,失败了。(还是 anaconda 的位置不对)
1 分钟后 Karina 说她完成了,Jason 直接瞳孔地震。
Karina:既然是你让了我 3 分钟,那我也给你 3 分钟让你赶上。
Jason:其实现在我很恐慌,我作为“提示小王子”的声誉岌岌可危。
一分钟后……Jason Wei 想出了第二个策略:
既然首字母都是 A 就无关紧要了,那么让 AI 先把每个单词的首字母去掉,对剩下部分排序后再放回去。
完整思维链提示词如下:
不幸的是这仍然不起作用,时间也到了,Jason 只能认输。
比赛结束后,Karina 也展示了她的提示词,完全不需要什么中间推理步骤,只是先想办法让 AI 承认能理解这个任务,再执行就好了。
人类:你的任务是把列表按字母顺序排列后输出到里…… 你明白了吗?
AI:明白了
人类:列表如下……
Jason 很困惑,这居然行得通?并尝试在自家大模型上找回场子。
结果发现他的方法对 GPT-4 确实有效,GPT-4 可以编写正确的 Python 代码并给出正确结果。
One More Thing
虽然输了比赛,但 Jason 作为科学家还是从中分析出一些结论。
Jason Wei 表示,这场战斗非常有启示性。
Karina 的提示策略是让 AI 承认自己理解任务要求(情商)。而自己的策略是让模型更多地进行推理(智商)。
双方使用的策略在各自习惯使用的语言模型上都取得了成功。
所以,究竟是我们在训练语言模型,还是语言模型在训练我们?
最后,还有网友又出了一个新题目:
如果你能让它创作一首“philish 诗歌”(每个词的长度与圆周率的后续数字相对应),我愿为你加冕称王
(我已经尝试了几个月了)。
你觉得解决这个问题要靠 AI 的情商还是智商?不如也来亲自试试。
参考链接:
[1]https://twitter.com/_jasonwei/status/1661781745015066624
本文来自微信公众号:量子位 (ID:QbitAI),作者:西风
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。