GPT-4不服被Bard反超：最新模型已入场

西风 发自 凹非寺

量子位 | 公众号 QbitAI

" 大模型排位赛 " 权威榜单 Chatbot Arena 刷新：

谷歌 Bard 超越 GPT-4，排名位居第二，仅次于 GPT-4 Turbo。

然鹅，众多网友对此却表示 " 不服 "、" 不公平 "。

原来，谷歌 AI 掌门人 Jeff Dean 透露，Bard 性能大幅提升，是因为搭载了新版大模型—— Gemini Pro-scale。

这也就意味着，打 " 排位赛 " 的 Bard 具备了联网功能。

网友的质疑正是围绕着这一点展开：

在同一个排行榜上混合在线和离线大模型，是极易引起误解的。

Hugging Face 的 " 首席羊驼官 "Omar Sanseviero 也表示：

既然如此…我也可以向 lmsys 提交具有搜索功能的 Mixtral 吗？

面对种种质疑声，Imsys 官方做出了回应，其中指出：

Arena 排行榜是实时的，大家如有疑问，可在 Arena 中直接比较模型并投票；

投票数据公开透明，还会即将发布关于用户提示多样性和投票质量的研究以及相应的数据集；

对于网友们最关心的被 Bard 超越的 GPT-4 是不联网版本的问题，Imsys 表示 " 如果实时数据的接入能够提升用户体验，排行榜将予以体现 "。

并且直接 @了 OpenAI 和 Bing 以及微软高管 Mikhail Parakhin，表示非常乐意在竞技场中加入 GPT-4 联网版或 Bing Copilot。

最新消息是，OpenAI 的最新模型 gpt-4-0125-preview 现已入驻竞技场，等待用户参与投票。

Bard 超越 GPT-4 是怎么回事？

Chatbot Arena 是一个大模型权威榜单，由 UC 伯克利研究人员主导的 Imsys（Large Model Systems Organization）组织创建。

该排行榜采用匿名 1V1battle 的投票规则，基于 Elo 评级系统排名。

具体来说，投票页面如下，两个模型 Model A 和 B 均匿名，用户在提出多个问题后对模型的回答打分，总共有四个选项：A 更好、B 更好、A 和 B 一样好，A 和 B 都不好。

值得一提的是，如果在问答过程中，模型身份泄露，那么该投票作废。

根据当前榜单，竞技场中有 56 个大模型：

此前 GPT-4 凭借 " 遥遥领先 " 的评分，长期霸榜，然而新版 Bard 发布后，直接超越 GPT-4 的两个版本冲到了第二名，和 GPT-4 Turbo 只差 34 分：

更详细一点，在所有没有平局的 Model A 对 B 的对决中，Model A 获胜的比例如下：

还有每一对模型组合的单挑次数（无平局）：

此外，Chatbot Arena 排行榜还使用自助法对 Elo 评分估计进行 1000 次随机抽样，从而评估置信区间等。

单个模型相对于其他所有模型的平均胜率如下：

不过值得注意的是，Arena 排行榜是实时的，Bard 目前虽然排名第二，但总共只有 3000 多票。

相较而言，GPT-4 Turbo 的票数已经达到了 30000 ，被超越的两个版本的票数也都是 Bard 的数倍。

而现在 GPT-4 最新版本已入场（虽然还没有在排行榜上更新），后续榜单还要再坐等一波～