GPQA Diamond
大学院レベルの科学 4 択問題 198 問(Epoch AI が自前で実行)。
- 分類
- 推論
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 1グループ
- 今選べるモデルの順位・順位を付けた結果 8 件
- すべてのモデル(記録): 1 グループ・66 件
ランキング
出典区分(公式・第三者・論文)と測定条件が違う値は比べられないため、比較グループ(同じ出典か、同じ条件と確認できた出典の集まり)ごとに分けて順位を付けています。
今 Claude Code / Codex で選べるモデル(旧モデルを除く)だけで順位を付けています。
第三者の結果(Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.0)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GPT-6 Astra | Max | 95.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Astra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6-astra_max, Best score (across scorers)=0.9577020202020202, stderr=0.013696812097020311, Started at=2026-08-30T14:57:43.000Z |
| 2 | Claude Sonnet 5.5 | Max | 95.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-sonnet-5-5_max, Best score (across scorers)=0.9558080808080808, stderr=0.013710320714521202, Started at=2026-09-29T15:15:14.000Z |
| 3 | GPT-6.1 Sol | Max | 95.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6.1-sol_max, Best score (across scorers)=0.9539141414141414, stderr=0.013780748450364692, Started at=2026-09-29T22:00:34.000Z |
| 4 | GPT-6.1 Terra | Max | 94.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6.1-terra_max, Best score (across scorers)=0.9431818181818182, stderr=0.014911672683567374, Started at=2026-10-26T20:00:37.000Z |
| 5 | Claude Fable 5.2 | Max | 93.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5.2 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-fable-5-2_max, Best score (across scorers)=0.9387626262626263, stderr=0.016253431037635206, Started at=2026-11-06T01:14:45.000Z |
| 6 | Claude Opus 5.5 | Max | 90.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-5-5_max, Best score (across scorers)=0.9059343434343434, stderr=0.019434397190192135, Started at=2026-09-22T18:27:39.000Z |
| 7 | GPT-6 Luna | Max | 90.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6-luna_max, Best score (across scorers)=0.9046717171717171, stderr=0.018537378631915503, Started at=2026-09-22T22:14:05.000Z |
| 8 | Claude Haiku 5.5 | Max | 89.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Haiku 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-haiku-5-5_max, Best score (across scorers)=0.8964646464646465, stderr=0.019774484382483127, Started at=2026-10-09T14:35:53.000Z |
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(66 件)
第三者の結果(Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.0)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 4 Carbon | High | 96.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 4 Carbon (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-4-carbon_high, Best score (across scorers)=0.9652777777777778, stderr=0.01207061012675132, Started at=2026-11-02T23:17:42.000Z |
| 2 | Gemini 4 Argon | High | 96.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 4 Argon (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-4-argon_high, Best score (across scorers)=0.9640151515151515, stderr=0.011918129589602694, Started at=2026-10-13T17:15:08.000Z |
| 3 | GPT-6 Astra | Max | 95.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Astra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6-astra_max, Best score (across scorers)=0.9577020202020202, stderr=0.013696812097020311, Started at=2026-08-30T14:57:43.000Z |
| 4 | Claude Sonnet 5.5 | Max | 95.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-sonnet-5-5_max, Best score (across scorers)=0.9558080808080808, stderr=0.013710320714521202, Started at=2026-09-29T15:15:14.000Z |
| 5 | GPT-6.1 Sol | Max | 95.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6.1-sol_max, Best score (across scorers)=0.9539141414141414, stderr=0.013780748450364692, Started at=2026-09-29T22:00:34.000Z |
| 5 | Gemini 3.8 Flash | High | 95.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.8 Flash (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.8-flash_high, Best score (across scorers)=0.9539141414141414, stderr=0.01401136318210652, Started at=2026-09-02T17:15:36.000Z所在 gpqa_diamond.csv のデータ行 25 件目(ファイルの 49 行目)、id=Br3mjs2GrYcCwX9AMwcihU、Model version=gemini-3.8-flash_high |
| 7 | Gemini 3.7 Flash | High | 94.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.7 Flash (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.7-flash_high, Best score (across scorers)=0.9482323232323232, stderr=0.013456525292246259, Started at=2026-08-14T18:29:12.000Z所在 gpqa_diamond.csv のデータ行 72 件目(ファイルの 125 行目)、id=XyVL3VffJ6UboY97vxpohL、Model version=gemini-3.7-flash_high |
| 8 | Gemini 3.1 Pro Preview | High | 94.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Pro Preview"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.1-pro-preview_high, Best score (across scorers)=0.9444444444444444, stderr=0.016319950700767385, Started at=2026-08-06T22:30:37.000Z所在 gpqa_diamond.csv のデータ行 128 件目(ファイルの 188 行目)、id=BgmrBFsbsaD8rNpebv49Da、Model version=gemini-3.1-pro-preview_high |
| 9 | GPT-6.1 Terra | Max | 94.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6.1-terra_max, Best score (across scorers)=0.9431818181818182, stderr=0.014911672683567374, Started at=2026-10-26T20:00:37.000Z |
| 9 | GPT-6 Sol | Max | 94.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6-sol_max, Best score (across scorers)=0.9431818181818182, stderr=0.014938512008159717, Started at=2026-09-22T19:59:24.000Z所在 gpqa_diamond.csv のデータ行 22 件目(ファイルの 46 行目)、id=aJD7ZfFftu2cZoToJhhzF7、Model version=gpt-6-sol_max |
| 11 | Kimi K3.1 Pro | Max | 94.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3.1 Pro (Together, max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。; Epoch は Together の推論 API 経由で実行(Model version kimi-k3.1-pro-together)出典の該当箇所gpqa_diamond.csv: Model version=kimi-k3.1-pro-together_max, Best score (across scorers)=0.9419191919191919, stderr=0.01439446786793499, Started at=2026-11-06T00:59:23.000Z所在 gpqa_diamond.csv のデータ行 2 件目(ファイルの 3 行目)、id=2bhYPjF6VRWc5CeERGq8g5、Model version=kimi-k3.1-pro-together_max |
| 12 | Gemini 3.6 Flash | High | 94.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.6 Flash"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.6-flash_high, Best score (across scorers)=0.9412878787878788, stderr=0.014028967942064968, Started at=2026-08-02T00:21:27.000Z所在 gpqa_diamond.csv のデータ行 148 件目(ファイルの 210 行目)、id=86SY5JbPB49xXhHFQW6tHu、Model version=gemini-3.6-flash_high |
| 13 | Gemini 3.1 Pro Preview | 記載なし | 94.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Pro Preview"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.1-pro-preview, Best score (across scorers)=0.941, stderr=0.017, Started at=2026-02-20T05:01:02.541Z所在 gpqa_diamond.csv のデータ行 189 件目(ファイルの 259 行目)、id=kR9F3oHBCnwQW4AiTPKwpd、Model version=gemini-3.1-pro-preview |
| 14 | Grok 4.6 | High | 94.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.6 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=grok-4.6_high, Best score (across scorers)=0.9400252525252525, stderr=0.014480018812911388, Started at=2026-08-12T19:39:52.000Z所在 gpqa_diamond.csv のデータ行 75 件目(ファイルの 128 行目)、id=hnP6Z88x8bPEBRZ2PW6kps、Model version=grok-4.6_high |
| 15 | Claude Fable 5.2 | Max | 93.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5.2 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-fable-5-2_max, Best score (across scorers)=0.9387626262626263, stderr=0.016253431037635206, Started at=2026-11-06T01:14:45.000Z |
| 16 | GPT-5.6 Sol | Max | 93.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-sol_max, Best score (across scorers)=0.9349747474747475, stderr=0.01570109070867593, Started at=2026-07-09T02:07:13.000Z所在 gpqa_diamond.csv のデータ行 170 件目(ファイルの 240 行目)、id=nuKCgZReCBsXKCkNj9bK37、Model version=gpt-5.6-sol_max |
| 17 | GPT-5.6 Terra | Max | 93.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-terra_max, Best score (across scorers)=0.9330808080808081, stderr=0.015363672147634115, Started at=2026-07-09T17:07:54.000Z所在 gpqa_diamond.csv のデータ行 168 件目(ファイルの 238 行目)、id=4bLcFNu5zF6YuZf3qVKoHE、Model version=gpt-5.6-terra_max |
| 18 | Grok 4.6 | Xhigh | 93.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.6 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=grok-4.6_xhigh, Best score (across scorers)=0.9318181818181818, stderr=0.015204299687218694, Started at=2026-08-14T13:47:42.000Z所在 gpqa_diamond.csv のデータ行 74 件目(ファイルの 127 行目)、id=9YJf2nviwjM6WVhw8qeJta、Model version=grok-4.6_xhigh |
| 18 | DeepSeek-V4.1-Flash-1017 | Max | 93.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4.1 Flash 1017 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=deepseek-v4.1-flash-1017_max, Best score (across scorers)=0.9318181818181818, stderr=0.015671362011907143, Started at=2026-10-19T22:38:32.000Z所在 gpqa_diamond.csv のデータ行 12 件目(ファイルの 24 行目)、id=ZK85PJtsCSeQJgV8dA4R4G、Model version=deepseek-v4.1-flash-1017_max |
| 20 | Kimi K3 | Max | 93.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=kimi-k3_max, Best score (across scorers)=0.9311868686868687, stderr=0.014937225364194858, Started at=2026-07-16T21:59:40.000Z所在 gpqa_diamond.csv のデータ行 153 件目(ファイルの 217〜219 行目。複数行のレコード)、id=B8MaPUe3EYwUZASsNqE7C9、Model version=kimi-k3_max |
| 21 | Grok 4.7 | Xhigh | 92.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.7 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=grok-4.7_xhigh, Best score (across scorers)=0.92739898989899, stderr=0.015505824295534454, Started at=2026-09-22T21:49:22.000Z所在 gpqa_diamond.csv のデータ行 21 件目(ファイルの 45 行目)、id=hxAhYJfXdPNanxatXpG5hC、Model version=grok-4.7_xhigh |
| 22 | Qwen3.8-Max | Xhigh | 92.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Qwen3.8 Max (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=qwen3.8-max_xhigh, Best score (across scorers)=0.9267676767676768, stderr=0.01686498021450146, Started at=2026-08-04T16:28:46.000Z所在 gpqa_diamond.csv のデータ行 145 件目(ファイルの 205 行目)、id=TEVNDC9QXBh7PQvX9kHZip、Model version=qwen3.8-max_xhigh |
| 23 | Kimi K3 | High | 91.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=kimi-k3_high, Best score (across scorers)=0.9191919191919192, stderr=0.019417681889724515, Started at=2026-08-07T00:53:51.000Z所在 gpqa_diamond.csv のデータ行 86 件目(ファイルの 141〜143 行目。複数行のレコード)、id=AoAD5uVtgVDnXmwA7STuno、Model version=kimi-k3_high |
| 24 | DeepSeek-V4-Pro-0813 | Max | 91.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4 Pro 0813 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=deepseek-v4-pro-0813_max, Best score (across scorers)=0.9166666666666666, stderr=0.015242573629934338, Started at=2026-08-18T21:03:23.000Z所在 gpqa_diamond.csv のデータ行 71 件目(ファイルの 124 行目)、id=nEJGtXGN588zynPkynZkxz、Model version=deepseek-v4-pro-0813_max |
| 25 | GPT-5.6 Luna | Max | 91.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-luna_max, Best score (across scorers)=0.9160353535353535, stderr=0.01728284355494035, Started at=2026-07-09T13:36:49.000Z所在 gpqa_diamond.csv のデータ行 169 件目(ファイルの 239 行目)、id=LWkDtkmd3TNmLzMhfZD5HW、Model version=gpt-5.6-luna_max |
| 26 | Claude Opus 4.8 | Max | 91.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.8"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-4-8_max, Best score (across scorers)=0.9103535353535354, stderr=0.019157125794612026, Started at=2026-06-07T23:03:11.000Z所在 gpqa_diamond.csv のデータ行 176 件目(ファイルの 246 行目)、id=dqgqP2uEPswfECCVj2Kbr9、Model version=claude-opus-4-8_max |
| 27 | GLM-5.3 | Max | 90.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GLM-5.3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=glm-5.3_max, Best score (across scorers)=0.9090909090909091, stderr=0.015851578202142853, Started at=2026-08-24T19:44:18.000Z所在 gpqa_diamond.csv のデータ行 70 件目(ファイルの 123 行目)、id=dLDBahYBTGRNjbsXA5pyr3、Model version=glm-5.3_max |
| 28 | GPT-5.5 | Low | 90.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.5 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.5_low, Best score (across scorers)=0.9065656565656566, stderr=0.017532658377721708, Started at=2026-05-05T18:00:18.624Z所在 gpqa_diamond.csv のデータ行 178 件目(ファイルの 248 行目)、id=2CdomqtBVz2it7a2Zx2G2t、Model version=gpt-5.5_low |
| 29 | Claude Opus 5.5 | Max | 90.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-5-5_max, Best score (across scorers)=0.9059343434343434, stderr=0.019434397190192135, Started at=2026-09-22T18:27:39.000Z |
| 30 | GPT-6 Luna | Max | 90.5% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-6-luna_max, Best score (across scorers)=0.9046717171717171, stderr=0.018537378631915503, Started at=2026-09-22T22:14:05.000Z |
| 31 | Claude Opus 4.7 | Xhigh | 90.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.7 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-4-7_xhigh, Best score (across scorers)=0.9015151515151515, stderr=0.018464275887293338, Started at=2026-04-17T16:16:45.000Z所在 gpqa_diamond.csv のデータ行 182 件目(ファイルの 252 行目)、id=VJezHrJ5YPCbpui8pZgcJg、Model version=claude-opus-4-7_xhigh |
| 31 | GLM-5.3-Flash | Max | 90.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GLM-5.3-Flash (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=glm-5.3-flash_max, Best score (across scorers)=0.9015151515151515, stderr=0.017183231147411448, Started at=2026-08-26T22:26:55.000Z所在 gpqa_diamond.csv のデータ行 69 件目(ファイルの 120〜122 行目。複数行のレコード)、id=Jvt5BNr4ERbE9QGgMcEbmT、Model version=glm-5.3-flash_max |
| 33 | GPT-5.6 Sol | Low | 89.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Sol (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-sol_low, Best score (across scorers)=0.898989898989899, stderr=0.021469735576055356, Started at=2026-08-07T00:46:32.000Z所在 gpqa_diamond.csv のデータ行 90 件目(ファイルの 147 行目)、id=6cmgkNAQZekBr6e6rVdLe9、Model version=gpt-5.6-sol_low |
| 34 | DeepSeek-V4.1-Flash | 記載なし | 89.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4.1 Flash (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。; 出典の effort 表記「max」は公式の effort 一覧を取得できていないため effort なし出典の該当箇所gpqa_diamond.csv: Model version=deepseek-v4.1-flash_max, Best score (across scorers)=0.8983585858585859, stderr=0.017287759372442393, Started at=2026-10-09T14:38:01.000Z所在 gpqa_diamond.csv のデータ行 16 件目(ファイルの 39〜40 行目。複数行のレコード)、id=ZU5ebpDaDPiDZLgv7cG8B9、Model version=deepseek-v4.1-flash_max |
| 35 | Claude Haiku 5.5 | Max | 89.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Haiku 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-haiku-5-5_max, Best score (across scorers)=0.8964646464646465, stderr=0.019774484382483127, Started at=2026-10-09T14:35:53.000Z |
| 36 | Gemini 3 Flash Preview | High | 89.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3 Flash Preview"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3-flash-preview_high, Best score (across scorers)=0.8939393939393939, stderr=0.021938047738853106, Started at=2026-08-06T22:22:58.000Z所在 gpqa_diamond.csv のデータ行 132 件目(ファイルの 192 行目)、id=gVdraDT3pXmaExP9VbqME4、Model version=gemini-3-flash-preview_high |
| 37 | Claude Opus 4.6 | Max | 88.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.6 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-4-6_max, Best score (across scorers)=0.8838383838383839, stderr=0.02282888177524936, Started at=2026-08-06T23:57:58.000Z所在 gpqa_diamond.csv のデータ行 121 件目(ファイルの 179 行目)、id=JcQMgXdZKU54u52B8TGQKp、Model version=claude-opus-4-6_max |
| 37 | Claude Opus 4.8 | Low | 88.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.8"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-4-8_low, Best score (across scorers)=0.8838383838383839, stderr=0.022828881775249357, Started at=2026-08-06T22:19:23.000Z所在 gpqa_diamond.csv のデータ行 138 件目(ファイルの 198 行目)、id=GThtce6GAmRAS8srQyGQoA、Model version=claude-opus-4-8_low |
| 39 | Mistral Large 4 | High | 88.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Mistral Large 4 Preview (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。; Epoch の表記は Mistral Large 4 Preview(2026-10-06 版。2026-10-29 の Mistral Large 4 は別の Model version mistral-large-4-0-oss で、ここには入れていない)出典の該当箇所gpqa_diamond.csv: Model version=mistral-large-4-0_high, Best score (across scorers)=0.8806818181818182, stderr=0.019328132475292338, Started at=2026-10-12T21:38:22.000Z所在 gpqa_diamond.csv のデータ行 15 件目(ファイルの 27〜38 行目。複数行のレコード)、id=Ekx5phukyiJhAcQodMfS2p、Model version=mistral-large-4-0_high |
| 40 | GPT-5.6 Terra | Low | 87.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Terra (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-terra_low, Best score (across scorers)=0.8737373737373737, stderr=0.023664359402880177, Started at=2026-08-07T00:35:04.000Z所在 gpqa_diamond.csv のデータ行 96 件目(ファイルの 154 行目)、id=JcuoAWhcnngPEZBPmiUyLF、Model version=gpt-5.6-terra_low |
| 41 | Gemini 3.6 Flash | Low | 86.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.6 Flash"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.6-flash_low, Best score (across scorers)=0.8636363636363636, stderr=0.02445015597318985, Started at=2026-08-06T22:36:03.000Z所在 gpqa_diamond.csv のデータ行 123 件目(ファイルの 183 行目)、id=JoraLb9y55QXpMg4Rrmr5x、Model version=gemini-3.6-flash_low |
| 41 | Claude Opus 4.7 | Max | 86.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.7 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-4-7_max, Best score (across scorers)=0.8636363636363636, stderr=0.02445015597318985, Started at=2026-08-06T22:19:01.000Z所在 gpqa_diamond.csv のデータ行 139 件目(ファイルの 199 行目)、id=Ju7pUkkwYVj6ugi9Ri5Jjp、Model version=claude-opus-4-7_max |
| 43 | Gemini 3.6 Flash | Minimal | 85.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.6 Flash"。effort は Epoch の Model version 接尾辞 _minimal。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.6-flash_minimal, Best score (across scorers)=0.8585858585858586, stderr=0.024825909793343353, Started at=2026-08-07T00:17:01.000Z所在 gpqa_diamond.csv のデータ行 104 件目(ファイルの 162 行目)、id=aPmR8fV49N98a6NVKpASAf、Model version=gemini-3.6-flash_minimal |
| 43 | Claude Fable 5 | Max | 85.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-fable-5_max, Best score (across scorers)=0.8585858585858586, stderr=0.024825909793343353, Started at=2026-08-06T22:17:56.000Z所在 gpqa_diamond.csv のデータ行 140 件目(ファイルの 200 行目)、id=S5pm7ctk9zgPfbyHrbD9AV、Model version=claude-fable-5_max |
| 45 | Claude Opus 4.8 | 記載なし | 85.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.8"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。; 出典の effort 表記「none」は公式の effort 一覧に無いため effort なし出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-4-8_none, Best score (across scorers)=0.8535353535353535, stderr=0.025190921114603887, Started at=2026-08-06T22:19:27.000Z所在 gpqa_diamond.csv のデータ行 137 件目(ファイルの 197 行目)、id=ckbZdkrXPwbFdjn6bmUQsi、Model version=claude-opus-4-8_none |
| 46 | Gemini 2.5 Pro | 記載なし | 85.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "gemini-2.5-pro"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所gpqa_diamond.csv: Model version=gemini-2.5-pro, Best score (across scorers)=0.8529040404040404, stderr=0.02117010842348584, Started at=2025-11-16T19:00:08.124Z所在 gpqa_diamond.csv のデータ行 208 件目(ファイルの 299 行目)、id=cqUZ6gcq2HBnShFRWvKjGr、Model version=gemini-2.5-pro |
| 47 | Kimi K3 | Low | 84.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=kimi-k3_low, Best score (across scorers)=0.8484848484848485, stderr=0.025545650426603637, Started at=2026-08-07T00:54:16.000Z所在 gpqa_diamond.csv のデータ行 85 件目(ファイルの 138〜140 行目。複数行のレコード)、id=mvNb3hNgSZ2gS6jHMtvCdk、Model version=kimi-k3_low |
| 48 | Gemini 3.5 Flash-Lite | High | 83.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.5 Flash-Lite"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.5-flash-lite_high, Best score (across scorers)=0.8333333333333334, stderr=0.026552207828215258, Started at=2026-08-06T22:35:04.000Z所在 gpqa_diamond.csv のデータ行 126 件目(ファイルの 186 行目)、id=chbh6XstiqtUa5W9zuyfjS、Model version=gemini-3.5-flash-lite_high |
| 48 | Claude Fable 5 | High | 83.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-fable-5_high, Best score (across scorers)=0.8333333333333334, stderr=0.026552207828215258, Started at=2026-08-06T22:17:31.000Z所在 gpqa_diamond.csv のデータ行 142 件目(ファイルの 202 行目)、id=d23hYvSNGFo7rniLFyBWiu、Model version=claude-fable-5_high |
| 48 | Claude Sonnet 4.6 | High | 83.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.6 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-sonnet-4-6_high, Best score (across scorers)=0.8333333333333334, stderr=0.026552207828215258, Started at=2026-07-13T17:28:15.000Z所在 gpqa_diamond.csv のデータ行 162 件目(ファイルの 232 行目)、id=DmdKPD9Z9RXwYyATAoG4Uw、Model version=claude-sonnet-4-6_high |
| 48 | Claude Sonnet 4.6 | Med | 83.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.6 (medium)"。effort は Epoch の Model version 接尾辞 _medium。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-sonnet-4-6_medium, Best score (across scorers)=0.8333333333333334, stderr=0.026552207828215258, Started at=2026-07-13T17:28:00.000Z所在 gpqa_diamond.csv のデータ行 165 件目(ファイルの 235 行目)、id=e8MXnAM8HMF8eEzYtYA7xv、Model version=claude-sonnet-4-6_medium |
| 52 | Gemini 3 Flash Preview | 記載なし | 83.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3 Flash Preview"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所gpqa_diamond.csv: Model version=gemini-3-flash-preview, Best score (across scorers)=0.8320707070707071, stderr=0.019036353018587762, Started at=2025-12-17T22:39:00.278Z所在 gpqa_diamond.csv のデータ行 195 件目(ファイルの 277 行目)、id=oAu9CZSNPZgwiwKnoNpM8Q、Model version=gemini-3-flash-preview |
| 53 | GPT-5.6 Sol | None | 82.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Sol (none)"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-sol_none, Best score (across scorers)=0.8282828282828283, stderr=0.026869716187429872, Started at=2026-08-07T01:00:09.000Z所在 gpqa_diamond.csv のデータ行 83 件目(ファイルの 136 行目)、id=DDfYPyKQW7vgDtGgkwcKSi、Model version=gpt-5.6-sol_none |
| 54 | GPT-5.6 Luna | Low | 82.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Luna (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-luna_low, Best score (across scorers)=0.8232323232323232, stderr=0.027178752639044908, Started at=2026-08-07T00:08:31.000Z所在 gpqa_diamond.csv のデータ行 108 件目(ファイルの 166 行目)、id=nW39ZzuDQ3xTAGVoEfFG95、Model version=gpt-5.6-luna_low |
| 55 | Gemini 3.1 Flash-Lite | High | 81.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Flash-Lite"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.1-flash-lite_high, Best score (across scorers)=0.8181818181818182, stderr=0.027479603010538825, Started at=2026-08-06T22:26:07.000Z所在 gpqa_diamond.csv のデータ行 130 件目(ファイルの 190 行目)、id=nE4hmJo3QV6X5jeGWAeAze、Model version=gemini-3.1-flash-lite_high |
| 56 | Claude Opus 4.5 | 記載なし | 80.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.5 (no thinking)"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所gpqa_diamond.csv: Model version=claude-opus-4-5-20251101, Best score (across scorers)=0.8068181818181818, stderr=0.023909479653766753, Started at=2025-11-24T19:57:20.151Z所在 gpqa_diamond.csv のデータ行 205 件目(ファイルの 295 行目)、id=mEkZaYpiurQ6TEMAALK3su、Model version=claude-opus-4-5-20251101 |
| 57 | Claude Sonnet 4.6 | Max | 78.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.6 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-sonnet-4-6_max, Best score (across scorers)=0.7878787878787878, stderr=0.029126522834586777, Started at=2026-08-06T22:21:09.000Z所在 gpqa_diamond.csv のデータ行 134 件目(ファイルの 194 行目)、id=SEePRKRcv8oqn5HpD2KFxB、Model version=claude-sonnet-4-6_max |
| 57 | Claude Fable 5 | Low | 78.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=claude-fable-5_low, Best score (across scorers)=0.7878787878787878, stderr=0.029126522834586777, Started at=2026-08-06T22:17:37.000Z所在 gpqa_diamond.csv のデータ行 141 件目(ファイルの 201 行目)、id=U5PsUdX2ak4kJ2hgnQkWnX、Model version=claude-fable-5_low |
| 59 | GPT-5.5 | None | 77.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.5 (no thinking)"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.5_none, Best score (across scorers)=0.7727272727272727, stderr=0.029857515673386438, Started at=2026-08-07T00:57:11.000Z所在 gpqa_diamond.csv のデータ行 84 件目(ファイルの 137 行目)、id=KesKa5EXtFG7H4UMBFzgCh、Model version=gpt-5.5_none |
| 59 | GPT-5.6 Terra | None | 77.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Terra (none)"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-terra_none, Best score (across scorers)=0.7727272727272727, stderr=0.029857515673386438, Started at=2026-08-07T00:50:06.000Z所在 gpqa_diamond.csv のデータ行 87 件目(ファイルの 144 行目)、id=F7v3JtKFb27j2YVmsndLM5、Model version=gpt-5.6-terra_none |
| 61 | Gemini 3.5 Flash-Lite | Low | 75.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.5 Flash-Lite"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.5-flash-lite_low, Best score (across scorers)=0.7575757575757576, stderr=0.030532892233932022, Started at=2026-08-06T22:35:12.000Z所在 gpqa_diamond.csv のデータ行 124 件目(ファイルの 184 行目)、id=dgSJTFQ4UtuQKEhB9ss6K7、Model version=gemini-3.5-flash-lite_low |
| 62 | Gemini 3.5 Flash-Lite | Minimal | 74.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.5 Flash-Lite"。effort は Epoch の Model version 接尾辞 _minimal。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.5-flash-lite_minimal, Best score (across scorers)=0.7424242424242424, stderr=0.031156269519646826, Started at=2026-08-06T22:35:11.000Z所在 gpqa_diamond.csv のデータ行 125 件目(ファイルの 185 行目)、id=7aAKcnsCXoSumfAu8mr2un、Model version=gemini-3.5-flash-lite_minimal |
| 62 | Gemini 3.1 Flash-Lite | Low | 74.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Flash-Lite"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.1-flash-lite_low, Best score (across scorers)=0.7424242424242424, stderr=0.03115626951964683, Started at=2026-08-06T22:25:58.000Z所在 gpqa_diamond.csv のデータ行 131 件目(ファイルの 191 行目)、id=99ys2jgQiPQ5UwrqnazfqA、Model version=gemini-3.1-flash-lite_low |
| 64 | Gemini 3.1 Flash-Lite | Minimal | 73.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Flash-Lite"。effort は Epoch の Model version 接尾辞 _minimal。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gemini-3.1-flash-lite_minimal, Best score (across scorers)=0.7373737373737373, stderr=0.031353050095330834, Started at=2026-08-06T22:26:14.000Z所在 gpqa_diamond.csv のデータ行 129 件目(ファイルの 189 行目)、id=CmHy8cVECGkvQTwakfjRo2、Model version=gemini-3.1-flash-lite_minimal |
| 64 | Claude Sonnet 4.5 | 記載なし | 73.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.5 (no thinking)"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所gpqa_diamond.csv: Model version=claude-sonnet-4-5-20250929, Best score (across scorers)=0.7373737373737373, stderr=0.031353050095330834, Started at=2025-09-29T18:04:57.033Z所在 gpqa_diamond.csv のデータ行 221 件目(ファイルの 321 行目)、id=fsZmzw8jjyUgMQGwxodBwN、Model version=claude-sonnet-4-5-20250929 |
| 66 | GPT-5.6 Luna | None | 63.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, gpqa_diamond.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Luna (none)"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。出典の該当箇所gpqa_diamond.csv: Model version=gpt-5.6-luna_none, Best score (across scorers)=0.6363636363636364, stderr=0.03427308652999934, Started at=2026-08-07T00:35:08.000Z所在 gpqa_diamond.csv のデータ行 95 件目(ファイルの 153 行目)、id=bDKKx7zTdW5WwMCfwqsLi4、Model version=gpt-5.6-luna_none |