今天凌晨,OpenAI 公布了其大型语言模型的最新版本 ——GPT-4。该公司表示,GPT-4 在许多专业测试中表现出超过绝大多数人类的水平。
具体而言,GPT-4 实现了以下几个方面的飞跃式提升:更聪明,做题水平越来越好;支持图像输入,拥有强大的识图能力,但目前只限内部测试;更长的上下文,文字输入限制提升至 2.5 万字;回答准确性显著提高;更安全,有害信息更少。
对于普通人而言,如何理解 GPT-4 到底有多强多聪明?
据 OpenAI 透露,GPT-4 通过了所有基础考试而且是高分通过。例如,GPT-4 在模拟律师资格考试的成绩在考生中排名前 10% 左右,在 SAT 阅读考试中排名前 7% 左右,在 SAT 数学考试中排名前 11% 左右。相比之下,曾经令人震撼的 GPT-3.5 ,真实得分在倒数 10% 左右,GPT-4 的强大已经可想而知。
有网友评论,“如果真跟报告说的那样就太可怕了,我感觉能力已经远超我了。”也有人笑称,“我躺好了!我生在了适合我的时代!”
最多的声音则是对未来工作不保的担忧,“还有哪个行业可以不被替代?”“消除任何幻想,AI 时代横扫全球,先思考下 GPT-4 不能做但你能做的。”
比以前的版本“更大”,或许也更烧钱
OpenAI 称,GPT-4 比以前的版本“更大”,这意味着其已经在更多的数据上进行了训练,并且在模型文件中有更多的权重,这使得它的运行成本更高。
同时,OpenAI 并未公布这个模型的参数量有多少。
OpenAI 表示,它使用的是微软 (MSFT.US) Azure 训练模型,微软已经向这家初创公司投资了数十亿美元。OpenAI 没有公布具体模型大小的细节,也没有公布用来训练模型的硬件,理由是“竞争情况”。
目前,此领域的许多研究人员认为,人工智能领域的许多最新进展,都来自于在数千台超级计算机上运行越来越大的模型,这些模型的训练过程可能耗资数千万美元。
为了不断提高 GPT-4 性能,OpenAI 还为其研发大搞“基建”。
在过去的两年里,OpenAI 重建了整个深度学习堆栈,并与 Azure 一起为其工作负载从头开始设计了一台超级计算机。一年前,OpenAI 在训练 GPT-3.5 时第一次尝试运行了该超算系统,之后他们又陆续发现并修复了一些错误,改进了其理论基础。这些改进的结果是 GPT-4 的训练运行获得了前所未有的稳定。
OpenAI 联合创始人兼总裁格雷格・布罗克曼(Greg Brockman)表示,OpenAI 预计,未来将由投资十亿美元超级计算机的公司开发尖端模型,一些最先进的工具将带有风险。OpenAI 希望对他们工作的某些部分保密,以给初创公司“一些喘息的空间,以真正关注安全并做好它。”
局限性明显,GPT-4 仍然不完全可靠
尽管功能已经非常强大,但 GPT-4 仍与早期的 GPT 模型具有相似的局限性,其中最重要的一点是它仍然不完全可靠,也就是还有可能胡说八道。
OpenAI 也警告称,GPT-4 还不完美,在许多情况下,它的能力不如人类。该公司表示:“GPT-4 仍有许多已知的局限性,我们正在努力解决,比如社会偏见、幻觉和对抗性提示。”
总的来说,GPT-4 相对于以前的模型(经过多次迭代和改进)已经显著减轻了幻觉问题。在 OpenAI 的内部对抗性真实性评估中,GPT-4 的得分比最新的 GPT-3.5 模型高 40%。
同时,GPT-4 训练数据还是截止到 2021 年 9 月份。这也意味着,GPT-4 对于这个时间点以后的信息,缺乏足够的了解,也不会从其经验中学习。
在 GPT-4 发布之后,OpenAI 创始人阿尔特曼发推文表示:“它仍然是有缺陷的,仍然是有限的,在你花了更多的时间第一次使用它时,它似乎比实际情况更令人印象深刻。”
中国的 ChatGPT 们要怎么追?
最令人震惊的在于,按照 demo 视频里 OpenAI 工程师们的说法,GPT-4 的训练在去年 8 月就已经完成,剩下的时间都在进行微调提升,以及最重要的去除危险内容生成的工作。
这也意味着,OpenAI 内部技术,比大家想象中的领先外界更多年。更可怕的是,OpenAI 还一口气开放了 API 接口和相关论文!这让中国的 ChatGPT 们还怎么追?
英诺天使基金合伙人王晟曾告诉《态℃》栏目,“中国的 ChatGPT 们即便奋起直追,静态来讲也许两三年能追上,我认为已经很乐观了。”
但随着更强大的 GPT-4 发布,OpenAI 的技术能力显然仍在不断进步,且进展速度远比我们追的速度还要快。王晟在之前的采访中判断,“除非这件事突然遇到了一个瓶颈,整个科技发展方向到头了,对方不得不停下来,或许我们还有机会追平,或者我们挖掘到一种新的技术路径有机会追上,不然可能没有机会了。”
与此同时,在该模型的落地和应用方面,OpenAI 也有了最新进展。
新模型将提供给 ChatGPT 的付费用户,也将作为 API 的一部分提供,允许程序员将 AI 集成到他们的应用程序中。OpenAI 将对 750 字左右的指令信息收费 3 美分,对 750 字左右的响应信息收费 6 美分。
OpenAI 还介绍,摩根士丹利正在使用 GPT-4 来组织数据,而电子支付公司 Stripe 正在测试 GPT-4 是否有助于打击欺诈。其他客户还包括语言学习公司 Duolingo、Khan Academy 和冰岛政府。OpenAI 合作伙伴微软周二表示,新版必应搜索引擎将使用 GPT-4。
GPT-4 取得的成绩令人兴奋,但对于还在起跑线上的中国 ChatGPT 们,还有大量的工作要去探索和研究,想必感受到了巨大的压力。风浪越大鱼越贵,对于这些迅速进入这个新领域的公司来说,也将会拥有巨大的机会。
GPT-4 的强大告诫我们,未来唯一限制的因素,就是你的想象力!
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。