—— 中新系全媒体矩阵 ——
新闻行业垂直网站今天凌晨,openai 公布了其大型语言模型的最新版本 ——gpt-4。该公司表示,gpt-4 在许多专业测试中表现出超过绝大多数人类的水平。
具体而言,gpt-4 实现了以下几个方面的飞跃式提升:更聪明,做题水平越来越好;支持图像输入,拥有强大的识图能力,但目前只限内部测试;更长的上下文,文字输入限制提升至 2.5 万字;回答准确性显著提高;更安全,有害信息更少。
对于普通人而言,如何理解 gpt-4 到底有多强多聪明?
据 openai 透露,gpt-4 通过了所有基础考试而且是高分通过。例如,gpt-4 在模拟律师资格考试的成绩在考生中排名前 10% 左右,在 sat 阅读考试中排名前 7% 左右,在 sat 数学考试中排名前 11% 左右。相比之下,曾经令人震撼的 gpt-3.5 ,真实得分在倒数 10% 左右,gpt-4 的强大已经可想而知。
有网友评论,“如果真跟报告说的那样就太可怕了,我感觉能力已经远超我了。”也有人笑称,“我躺好了!我生在了适合我的时代!”
最多的声音则是对未来工作不保的担忧,“还有哪个行业可以不被替代?”“消除任何幻想,ai 时代横扫全球,先思考下 gpt-4 不能做但你能做的。”
比以前的版本“更大”,或许也更烧钱
openai 称,gpt-4 比以前的版本“更大”,这意味着其已经在更多的数据上进行了训练,并且在模型文件中有更多的权重,这使得它的运行成本更高。
同时,openai 并未公布这个模型的参数量有多少。
openai 表示,它使用的是微软 azure 训练模型,微软已经向这家初创公司投资了数十亿美元。openai 没有公布具体模型大小的细节,也没有公布用来训练模型的硬件,理由是“竞争情况”。
目前,此领域的许多研究人员认为,人工智能领域的许多最新进展,都来自于在数千台超级计算机上运行越来越大的模型,这些模型的训练过程可能耗资数千万美元。
为了不断提高 gpt-4 性能,openai 还为其研发大搞“基建”。
在过去的两年里,openai 重建了整个深度学习堆栈,并与 azure 一起为其工作负载从头开始设计了一台超级计算机。一年前,openai 在训练 gpt-3.5 时第一次尝试运行了该超算系统,之后他们又陆续发现并修复了一些错误,改进了其理论基础。这些改进的结果是 gpt-4 的训练运行获得了前所未有的稳定。
openai 联合创始人兼总裁格雷格?布罗克曼表示,openai 预计,未来将由投资十亿美元超级计算机的公司开发尖端模型,一些最先进的工具将带有风险。openai 希望对他们工作的某些部分保密,以给初创公司“一些喘息的空间,以真正关注安全并做好它。”
局限性明显,gpt-4 仍然不完全可靠
尽管功能已经非常强大,但 gpt-4 仍与早期的 gpt 模型具有相似的局限性,其中最重要的一点是它仍然不完全可靠,也就是还有可能胡说八道。
openai 也警告称,gpt-4 还不完美,在许多情况下,它的能力不如人类。该公司表示:“gpt-4 仍有许多已知的局限性,我们正在努力解决,比如社会偏见、幻觉和对抗性提示。”
总的来说,gpt-4 相对于以前的模型已经显著减轻了幻觉问题。在 openai 的内部对抗性真实性评估中,gpt-4 的得分比最新的 gpt-3.5 模型高 40%。
同时,gpt-4 训练数据还是截止到 2021 年 9 月份。这也意味着,gpt-4 对于这个时间点以后的信息,缺乏足够的了解,也不会从其经验中学习。
在 gpt-4 发布之后,openai 创始人阿尔特曼发推文表示:“它仍然是有缺陷的,仍然是有限的,在你花了更多的时间第一次使用它时,它似乎比实际情况更令人印象深刻。”
中国的 chatgpt 们要怎么追?
最令人震惊的在于,按照 demo 视频里 openai 工程师们的说法,gpt-4 的训练在去年 8 月就已经完成,剩下的时间都在进行微调提升,以及最重要的去除危险内容生成的工作。
这也意味着,openai 内部技术,比大家想象中的领先外界更多年。更可怕的是,openai 还一口气开放了 api 接口和相关论文!这让中国的 chatgpt 们还怎么追?
英诺天使基金合伙人王晟曾告诉《态℃》栏目,“中国的 chatgpt 们即便奋起直追,静态来讲也许两三年能追上,我认为已经很乐观了。”
但随着更强大的 gpt-4 发布,openai 的技术能力显然仍在不断进步,且进展速度远比我们追的速度还要快。王晟在之前的采访中判断,“除非这件事突然遇到了一个瓶颈,整个科技发展方向到头了,对方不得不停下来,或许我们还有机会追平,或者我们挖掘到一种新的技术路径有机会追上,不然可能没有机会了。”
与此同时,在该模型的落地和应用方面,openai 也有了最新进展。
新模型将提供给 chatgpt 的付费用户,也将作为 api 的一部分提供,允许程序员将 ai 集成到他们的应用程序中。openai 将对 750 字左右的指令信息收费 3 美分,对 750 字左右的响应信息收费 6 美分。
openai 还介绍,摩根士丹利正在使用 gpt-4 来组织数据,而电子支付公司 stripe 正在测试 gpt-4 是否有助于打击欺诈。其他客户还包括语言学习公司 duolingo、khan academy 和冰岛政府。openai 凯发k8官网下载客户端中心的合作伙伴微软周二表示,新版必应搜索引擎将使用 gpt-4。
gpt-4 取得的成绩令人兴奋,但对于还在起跑线上的中国 chatgpt 们,还有大量的工作要去探索和研究,想必感受到了巨大的压力。风浪越大鱼越贵,对于这些迅速进入这个新领域的公司来说,也将会拥有巨大的机会。
gpt-4 的强大告诫我们,未来唯一限制的因素,就是你的想象力!