ChatGPT、Gemini、Claude 誰預測比較準？
同一份資料、同一份 prompt：Claude 56.3% 暫居第一。分聯賽命中率、配對檢定與信心值校準比較。
更新於 · 作者 Poter Chen
ChatGPT、Gemini、Claude 誰預測比較準？
目前 Claude 以 56.3%（784/1392 場）暫居第一，ChatGPT 55.5%、Gemini 54.2%。三家拿到完全相同的 ESPN 資料與同一份 prompt，各自獨立預測比分，賽前鎖定、賽後對帳。第一名與最後一名在同一批比賽上的差距是 1.8 個百分點（95% 區間 -0.1~+3.8），統計上還分不出高下，排名可能只是運氣。
各聯賽是誰最準？
括號內是場數。樣本少的聯賽排名參考價值很低：
| 聯賽 | ChatGPT | Gemini | Claude | 本聯賽最佳 |
|---|---|---|---|---|
| MLB 美國職棒 | 56.0%（838） | 53.9%（857） | 57.2%（842） | Claude |
| NBA 美國職籃 | 71.2%（52） | 65.4%（52） | 73.1%（52） | Claude |
| WNBA 女子職籃 | 72.2%（133） | 71.3%（136） | 74.3%（140） | Claude |
| 英超 英格蘭超級聯賽 | 41.0%（61） | 48.6%（70） | 42.9%（70） | Gemini |
| 西甲 西班牙甲級聯賽 | 46.7%（75） | 55.4%（83） | 52.4%（82） | Gemini |
| 德甲 德國甲級聯賽 | 47.2%（53） | 45.2%（62） | 41.9%（62） | ChatGPT |
| 法甲 法國甲級聯賽 | 32.7%（55） | 36.5%（63） | 33.9%（62） | Gemini |
| 義甲 義大利甲級聯賽 | 54.7%（64） | 47.1%（70） | 50.0%（70） | ChatGPT |
| 歐冠 歐洲冠軍聯賽 | 43.8%（16） | 43.8%（16） | 41.7%（12） | ChatGPT |
AI 說有把握的時候，真的比較準嗎？
模型每場會自報 0~1 的信心值。用 Brier 分數檢驗（越低越好，「永遠說五成」等於 0.250）：
Claude：0.235 信心值有參考價值
ChatGPT：0.247 信心值有參考價值
Gemini：0.255 不比「永遠說五成」有用
三家投票的共識有比單一模型準嗎？
三家平均後的共識命中率是 55.8%，沒有贏過表現最好的單一模型。合議在這個題目上目前看不出增益。
這個比較公平嗎？
常見問題
ChatGPT 預測運動比賽準嗎？
本站 1347 場公開對帳，ChatGPT 勝負命中率 55.5%。
Gemini 預測運動比賽準嗎？
本站 1409 場公開對帳，Gemini 勝負命中率 54.2%。
Claude 預測運動比賽準嗎？
本站 1392 場公開對帳，Claude 勝負命中率 56.3%。
三家 AI 看到的資料一樣嗎？
一樣。同一份 ESPN 資料、同一份 prompt，差異只來自模型判斷。