Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌

GPT-4真的被反超了!


大模型竞技场上,Claude 3大杯Opus新王登基,Elo分数来到榜首。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第1张


连小杯Haiku也跻身第二梯队,超过了GPT-4-0613这个型号,把GPT-3.5-turbo远远甩在身后。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


Haiku的输入token价格,可是比GPT-3.5-turbo还便宜了一半,输出方面,每100万token也比GPT-3.5-turbo便宜近2块钱。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


跟GPT-4相比,价格更是只有1/20。并且Haiku同样支持200k上下文。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


难怪有开发者直言:


GPT-3.5在Claude Haiku面前不堪一击。

不仅仅是价格更便宜,Haiku还更上一层楼了。

Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张

而在Claude 3加入竞技之前,GPT-4家族已经霸榜快一年了。

给新来的朋友补充一下背景知识:大模型竞技场榜单(LMSYS Chatbot Arena Leaderboard)的评分标准是人类打分,同一个问题同时抛给A、B两个模型,人类裁判觉得哪个回答得好就给哪个投票。


小杯Haiku成开发者新宠


值得一提的是,在竞技场官方贺电中,Haiku这个型号也被专门高亮了出来:


根据我们的用户偏好,Claude 3 Haiku达到了GPT-4级别。


其速度、功能和上下文长度在目前的市场上是独一份的。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


具体有多快,已经有网友做了个直观的对比:


博尔特还没跑完100米,Haiku已经读完100k token的文档了……


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第8张


事实上,凭借其超高的性价比,在开发者社群中,Claude 3小杯Haiku确已成新宠。


已经有人第一时间大开脑洞,搞出了能让Haiku效果“超频”到大杯Opus水准的开源项目,吸引不少关注。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


简单来说,就是让Opus给Haiku当老师


先用Opus生成执行任务的范例,再用这些教学案例来提高Haiku的姿势水平。


划重点:Haiku的价格仅为Opus的1/60,而响应速度则是Opus的10倍。


这个名为gpt-prompt-engineer的项目目前在GitHub上累计揽下7.3k标星。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


还是这位马特老哥,还用Opus和Haiku搞了个“AI股票分析师”,直接火上了GitHub热榜。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


不少应用产品也在第一时间接入了Haiku。比如能依据Prompt自动生成网站UI的Vercel。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第12张


不过,就在一片给Claude 3新王点赞的声音中,也有网友认为:


GPT-3.5作为一个“老”模型,至今仍在与最新的模型竞争,这件事本身就很疯狂了。


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


但最让开发者们期待的当然还是:


Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第2张


OpenAI,快起来卷(doge)。


本文来源于公众号凹非寺,作者鱼羊

Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌  第15张