OTIS Mock AIME 2024-2025
AIME 形式の数学コンテスト問題(Epoch AI が実行)。
- 分類
- 数学
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 1グループ
- 今選べるモデルの順位・順位を付けた結果 9 件
- すべてのモデル(記録): 1 グループ・67 件
ランキング
出典区分(公式・第三者・論文)と測定条件が違う値は比べられないため、比較グループ(同じ出典か、同じ条件と確認できた出典の集まり)ごとに分けて順位を付けています。
今 Claude Code / Codex で選べるモデル(旧モデルを除く)だけで順位を付けています。
第三者の結果(Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.0)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GPT-6.1 Terra | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6.1-terra_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-10-26T20:00:37.000Z |
| 1 | GPT-6.1 Sol | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6.1-sol_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-09-29T22:00:34.000Z |
| 1 | Claude Sonnet 5.5 | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-sonnet-5-5_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-09-29T15:15:14.000Z |
| 1 | Claude Opus 5.5 | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-5-5_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-09-22T18:27:39.000Z |
| 1 | GPT-6 Astra | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Astra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6-astra_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-08-30T14:57:43.000Z |
| 6 | Claude Fable 5.2 | Max | 99.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5.2 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-fable-5-2_max, Best score (across scorers)=0.9972222222222222, stderr=0.002777777777777778, Started at=2026-11-06T01:14:45.000Z |
| 7 | Claude Haiku 5.5 | Xhigh | 98.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Haiku 5.5 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-haiku-5-5_xhigh, Best score (across scorers)=0.9888888888888889, stderr=0.005362818328685681, Started at=2026-10-07T21:16:36.000Z |
| 7 | GPT-6 Luna | Max | 98.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6-luna_max, Best score (across scorers)=0.9888888888888889, stderr=0.006674027922425511, Started at=2026-09-22T22:14:05.000Z |
| 9 | Claude Haiku 5.5 | High | 97.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Haiku 5.5 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-haiku-5-5_high, Best score (across scorers)=0.9722222222222222, stderr=0.013109441770118595, Started at=2026-10-07T21:16:25.000Z |
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(67 件)
第三者の結果(Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.0)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 4 Carbon | High | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 4 Carbon (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-4-carbon_high, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-11-02T23:17:42.000Z |
| 1 | GPT-6.1 Terra | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6.1-terra_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-10-26T20:00:37.000Z |
| 1 | Gemini 4 Argon | High | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 4 Argon (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-4-argon_high, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-10-13T17:14:57.000Z |
| 1 | GPT-6.1 Sol | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6.1 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6.1-sol_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-09-29T22:00:34.000Z |
| 1 | Claude Sonnet 5.5 | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-sonnet-5-5_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-09-29T15:15:14.000Z |
| 1 | Claude Opus 5.5 | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 5.5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-5-5_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-09-22T18:27:39.000Z |
| 1 | GPT-6 Astra | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Astra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6-astra_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-08-30T14:57:43.000Z |
| 1 | Kimi K3.1 Pro | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3.1 Pro (Together, max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。; Epoch は Together の推論 API 経由で実行(Model version kimi-k3.1-pro-together)出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=kimi-k3.1-pro-together_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-11-06T00:59:23.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 2 件目(ファイルの 3 行目)、id=8Qe2qf4Eg77PMfp2Eh7V6K、Model version=kimi-k3.1-pro-together_max |
| 1 | GPT-6 Sol | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6-sol_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-09-22T19:59:24.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 24 件目(ファイルの 48 行目)、id=VZAUcNkzeMSMm9paxBhj6B、Model version=gpt-6-sol_max |
| 1 | Claude Fable 5 | High | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-fable-5_high, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-08-06T22:18:19.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 149 件目(ファイルの 214 行目)、id=hwrnvtEbDAocFtjcsHqsQh、Model version=claude-fable-5_high |
| 1 | GPT-5.6 Sol | Max | 100.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Sol (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-sol_max, Best score (across scorers)=1.0, stderr=0.0, Started at=2026-07-09T02:07:13.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 178 件目(ファイルの 253 行目)、id=7RjsANKwwsePSstcZeSMhX、Model version=gpt-5.6-sol_max |
| 12 | Claude Fable 5.2 | Max | 99.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5.2 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-fable-5-2_max, Best score (across scorers)=0.9972222222222222, stderr=0.002777777777777778, Started at=2026-11-06T01:14:45.000Z |
| 12 | GPT-5.6 Terra | Max | 99.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Terra (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-terra_max, Best score (across scorers)=0.9972222222222222, stderr=0.002777777777777778, Started at=2026-07-09T17:07:54.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 176 件目(ファイルの 251 行目)、id=jUmmCNezoW7jWiK72SVCaP、Model version=gpt-5.6-terra_max |
| 12 | Claude Fable 5 | Max | 99.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-fable-5_max, Best score (across scorers)=0.9972222222222222, stderr=0.002777777777777778, Started at=2026-06-10T20:03:17.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 184 件目(ファイルの 259 行目)、id=eiLEpRUvK48wUKDh4sYkzV、Model version=claude-fable-5_max |
| 15 | Qwen3.8-Max | Xhigh | 99.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Qwen3.8 Max (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=qwen3.8-max_xhigh, Best score (across scorers)=0.9944444444444445, stderr=0.0038834738634418433, Started at=2026-08-04T16:28:46.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 152 件目(ファイルの 217 行目)、id=aGRKHaq9uSawfYVpC565zU、Model version=qwen3.8-max_xhigh |
| 15 | DeepSeek-V4.1-Flash-1017 | Max | 99.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4.1 Flash 1017 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=deepseek-v4.1-flash-1017_max, Best score (across scorers)=0.9944444444444445, stderr=0.003883473863441843, Started at=2026-10-19T22:39:00.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 12 件目(ファイルの 24 行目)、id=chayEvHvpt2Wcif7pg64hF、Model version=deepseek-v4.1-flash-1017_max |
| 17 | Grok 4.6 | Xhigh | 99.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.6 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=grok-4.6_xhigh, Best score (across scorers)=0.9916666666666667, stderr=0.004700633956814717, Started at=2026-08-14T13:47:42.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 82 件目(ファイルの 142 行目)、id=7crLvnfQc987dC6mr3iGbf、Model version=grok-4.6_xhigh |
| 18 | Claude Haiku 5.5 | Xhigh | 98.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Haiku 5.5 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-haiku-5-5_xhigh, Best score (across scorers)=0.9888888888888889, stderr=0.005362818328685681, Started at=2026-10-07T21:16:36.000Z |
| 18 | GPT-6 Luna | Max | 98.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-6-luna_max, Best score (across scorers)=0.9888888888888889, stderr=0.006674027922425511, Started at=2026-09-22T22:14:05.000Z |
| 18 | Gemini 3.8 Flash | High | 98.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.8 Flash (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.8-flash_high, Best score (across scorers)=0.9888888888888889, stderr=0.008724007409153888, Started at=2026-09-02T17:15:36.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 28 件目(ファイルの 52 行目)、id=NeYuqgQyWtFWAHEjQYPm5Z、Model version=gemini-3.8-flash_high |
| 21 | DeepSeek-V4-Pro-0813 | Max | 98.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4 Pro 0813 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=deepseek-v4-pro-0813_max, Best score (across scorers)=0.9861111111111112, stderr=0.00990980650017605, Started at=2026-08-18T21:03:23.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 79 件目(ファイルの 139 行目)、id=4HVvM9ZWKKPLQPcC8WYYMT、Model version=deepseek-v4-pro-0813_max |
| 22 | Mistral Large 4 | High | 98.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Mistral Large 4 Preview (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。; Epoch の表記は Mistral Large 4 Preview(2026-10-06 版。2026-10-29 の Mistral Large 4 は別の Model version mistral-large-4-0-oss で、ここには入れていない)出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=mistral-large-4-0_high, Best score (across scorers)=0.9833333333333333, stderr=0.006405884289881728, Started at=2026-10-12T21:38:35.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 15 件目(ファイルの 27〜38 行目。複数行のレコード)、id=Pby5WuP8Muu6Jzs2v5gB7F、Model version=mistral-large-4-0_high |
| 22 | GPT-5.6 Luna | Max | 98.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Luna (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-luna_max, Best score (across scorers)=0.9833333333333333, stderr=0.011650421590325524, Started at=2026-07-09T13:36:49.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 177 件目(ファイルの 252 行目)、id=AhtQ5ggs4pTfLDqHFjueGy、Model version=gpt-5.6-luna_max |
| 22 | Claude Opus 4.8 | Max | 98.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.8"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-4-8_max, Best score (across scorers)=0.9833333333333333, stderr=0.014101901870444154, Started at=2026-06-07T23:44:54.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 185 件目(ファイルの 260 行目)、id=37pJqPpXTE6ia9ikmmGPJ4、Model version=claude-opus-4-8_max |
| 22 | DeepSeek-V4.1-Flash | 記載なし | 98.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "DeepSeek V4.1 Flash (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。; 出典の effort 表記「max」は公式の effort 一覧を取得できていないため effort なし出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=deepseek-v4.1-flash_max, Best score (across scorers)=0.9833333333333333, stderr=0.006405884289881728, Started at=2026-10-08T19:02:32.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 17 件目(ファイルの 40〜41 行目。複数行のレコード)、id=7eHNiVQCzLcAyj5LxmeeSU、Model version=deepseek-v4.1-flash_max |
| 26 | Grok 4.7 | Xhigh | 98.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.7 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=grok-4.7_xhigh, Best score (across scorers)=0.9805555555555555, stderr=0.014299486306926387, Started at=2026-09-22T21:49:22.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 23 件目(ファイルの 47 行目)、id=Jhgwm7QpspGcvm7DUVqUDg、Model version=grok-4.7_xhigh |
| 27 | Claude Opus 4.7 | Xhigh | 97.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.7 (xhigh)"。effort は Epoch の Model version 接尾辞 _xhigh。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-4-7_xhigh, Best score (across scorers)=0.978, stderr=0.022, Started at=2026-04-17T18:26:45.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 190 件目(ファイルの 265 行目)、id=jyCZnpXG2bh9G43X8pT75m、Model version=claude-opus-4-7_xhigh |
| 28 | Grok 4.6 | High | 97.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Grok 4.6 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=grok-4.6_high, Best score (across scorers)=0.9777777777777777, stderr=0.00996275330534286, Started at=2026-08-12T19:39:52.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 83 件目(ファイルの 143 行目)、id=jtfdCURnwfZzak4BSiBKzx、Model version=grok-4.6_high |
| 28 | Claude Opus 4.8 | Low | 97.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.8"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-4-8_low, Best score (across scorers)=0.9777777777777777, stderr=0.022222222222222223, Started at=2026-08-06T22:20:24.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 146 件目(ファイルの 211 行目)、id=MEhV5sh6nbM8cKJGQ6HzcS、Model version=claude-opus-4-8_low |
| 28 | Claude Fable 5 | Low | 97.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Fable 5 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-fable-5_low, Best score (across scorers)=0.9777777777777777, stderr=0.022222222222222223, Started at=2026-08-06T22:18:24.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 148 件目(ファイルの 213 行目)、id=6E989Xxeuw925T7cCV3XGB、Model version=claude-fable-5_low |
| 31 | Claude Haiku 5.5 | High | 97.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Haiku 5.5 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-haiku-5-5_high, Best score (across scorers)=0.9722222222222222, stderr=0.013109441770118595, Started at=2026-10-07T21:16:25.000Z |
| 31 | Gemini 3.7 Flash | High | 97.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.7 Flash (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.7-flash_high, Best score (across scorers)=0.9722222222222222, stderr=0.018586784946171872, Started at=2026-08-14T18:29:12.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 80 件目(ファイルの 140 行目)、id=kQjrYCaa7yYyMXofeR23Dd、Model version=gemini-3.7-flash_high |
| 31 | Kimi K3 | Max | 97.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=kimi-k3_max, Best score (across scorers)=0.9722222222222222, stderr=0.011158359139033182, Started at=2026-07-16T21:59:40.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 159 件目(ファイルの 228〜230 行目。複数行のレコード)、id=A33om9MTYMC7xYeLv9X7Ha、Model version=kimi-k3_max |
| 34 | Gemini 3.1 Pro Preview | 記載なし | 95.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Pro Preview"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.1-pro-preview, Best score (across scorers)=0.956, stderr=0.031, Started at=2026-02-20T04:39:36.998Z所在 otis_mock_aime_2024_2025.csv のデータ行 196 件目(ファイルの 271 行目)、id=bXgZZgzRE3wXoSRUgrbsVf、Model version=gemini-3.1-pro-preview |
| 35 | GPT-5.6 Sol | Low | 95.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Sol (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-sol_low, Best score (across scorers)=0.9555555555555556, stderr=0.031067790907534736, Started at=2026-08-07T00:42:21.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 98 件目(ファイルの 162 行目)、id=Mifz96Jm442bn43Qnxj5rT、Model version=gpt-5.6-sol_low |
| 35 | Gemini 3.1 Pro Preview | High | 95.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Pro Preview"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.1-pro-preview_high, Best score (across scorers)=0.9555555555555556, stderr=0.031067790907534736, Started at=2026-08-06T23:59:11.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 129 件目(ファイルの 194 行目)、id=nhim2QCRgpir5cZdqrmUz3、Model version=gemini-3.1-pro-preview_high |
| 35 | Gemini 3 Flash Preview | High | 95.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3 Flash Preview"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3-flash-preview_high, Best score (across scorers)=0.9555555555555556, stderr=0.031067790907534743, Started at=2026-08-06T22:25:57.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 140 件目(ファイルの 205 行目)、id=a4uE6KgMhGSUjcnemRnbkA、Model version=gemini-3-flash-preview_high |
| 38 | Gemini 3.6 Flash | High | 94.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.6 Flash"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.6-flash_high, Best score (across scorers)=0.9416666666666667, stderr=0.030926354359015452, Started at=2026-08-02T00:21:27.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 155 件目(ファイルの 222 行目)、id=ajQFZGMjvyMTH2ULDZhwtz、Model version=gemini-3.6-flash_high |
| 39 | GLM-5.3-Flash | Max | 93.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GLM-5.3-Flash (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=glm-5.3-flash_max, Best score (across scorers)=0.9388888888888889, stderr=0.021622267380853318, Started at=2026-08-26T22:26:55.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 77 件目(ファイルの 135〜137 行目。複数行のレコード)、id=NCikvVWc5SEyMEbCqvVNb2、Model version=glm-5.3-flash_max |
| 40 | Kimi K3 | High | 93.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=kimi-k3_high, Best score (across scorers)=0.9333333333333333, stderr=0.03760507165451775, Started at=2026-08-07T00:46:05.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 94 件目(ファイルの 156〜158 行目。複数行のレコード)、id=4E5xGsuRMwMBhAfC4F2G4N、Model version=kimi-k3_high |
| 41 | Gemini 3 Flash Preview | 記載なし | 92.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3 Flash Preview"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3-flash-preview, Best score (across scorers)=0.9277777777777778, stderr=0.035196259111492545, Started at=2025-12-17T22:40:30.896Z所在 otis_mock_aime_2024_2025.csv のデータ行 202 件目(ファイルの 289 行目)、id=H3E7EjjXfGCPnm9ooLdmAo、Model version=gemini-3-flash-preview |
| 42 | GLM-5.3 | Max | 91.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GLM-5.3 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=glm-5.3_max, Best score (across scorers)=0.9111111111111111, stderr=0.03454754040013868, Started at=2026-08-24T19:44:18.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 78 件目(ファイルの 138 行目)、id=goZR5yGxZic9TZ23ezCL3w、Model version=glm-5.3_max |
| 42 | Claude Opus 4.6 | Max | 91.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.6 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-4-6_max, Best score (across scorers)=0.9111111111111111, stderr=0.04290254662948546, Started at=2026-08-06T23:58:17.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 132 件目(ファイルの 197 行目)、id=coxYk5vK5cBhQ7iZohMtA5、Model version=claude-opus-4-6_max |
| 44 | GPT-5.6 Terra | Low | 88.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Terra (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-terra_low, Best score (across scorers)=0.8888888888888888, stderr=0.04737793696791343, Started at=2026-08-07T00:20:21.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 104 件目(ファイルの 169 行目)、id=Z6S3nMC2tnkpKUixCPLiDj、Model version=gpt-5.6-terra_low |
| 45 | Claude Opus 4.7 | Max | 86.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.7 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-4-7_max, Best score (across scorers)=0.8666666666666667, stderr=0.051247074319053836, Started at=2026-08-06T22:19:46.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 147 件目(ファイルの 212 行目)、id=T4y4iGHMqA8tXCdBKr5GjS、Model version=claude-opus-4-7_max |
| 46 | Gemini 2.5 Pro | 記載なし | 84.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "gemini-2.5-pro"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-2.5-pro, Best score (across scorers)=0.8472222222222222, stderr=0.048143196054711346, Started at=2025-11-16T19:00:06.794Z所在 otis_mock_aime_2024_2025.csv のデータ行 216 件目(ファイルの 313 行目)、id=iJp7PgYZa3PiXAV8UWd7MC、Model version=gemini-2.5-pro |
| 47 | GPT-5.5 | Low | 84.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.5 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.5_low, Best score (across scorers)=0.8444444444444444, stderr=0.05463890236888291, Started at=2026-08-07T00:39:05.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 99 件目(ファイルの 163 行目)、id=CdmtwZ8NR8YeTXWiLVTRDJ、Model version=gpt-5.5_low |
| 47 | Claude Opus 4.8 | 記載なし | 84.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.8"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。; 出典の effort 表記「none」は公式の effort 一覧に無いため effort なし出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-4-8_none, Best score (across scorers)=0.8444444444444444, stderr=0.05463890236888291, Started at=2026-08-06T22:21:06.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 145 件目(ファイルの 210 行目)、id=adGE8rXdNuUFs96ioppbc5、Model version=claude-opus-4-8_none |
| 49 | Gemini 3.6 Flash | Low | 82.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.6 Flash"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.6-flash_low, Best score (across scorers)=0.8222222222222222, stderr=0.057637747950250916, Started at=2026-08-07T00:07:20.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 114 件目(ファイルの 179 行目)、id=6iEkMa88YjLDgcde4bLm8B、Model version=gemini-3.6-flash_low |
| 49 | Claude Sonnet 4.6 | Med | 82.2% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.6 (medium)"。effort は Epoch の Model version 接尾辞 _medium。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-sonnet-4-6_medium, Best score (across scorers)=0.8222222222222222, stderr=0.057637747950250916, Started at=2026-07-13T17:28:00.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 173 件目(ファイルの 248 行目)、id=kDNNbUYXhrAH5uDBGykFaf、Model version=claude-sonnet-4-6_medium |
| 51 | Gemini 3.6 Flash | Minimal | 80.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.6 Flash"。effort は Epoch の Model version 接尾辞 _minimal。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.6-flash_minimal, Best score (across scorers)=0.8, stderr=0.06030226891555273, Started at=2026-08-07T00:07:32.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 113 件目(ファイルの 178 行目)、id=cF97JqHbFxxp7ePjYVK9HV、Model version=gemini-3.6-flash_minimal |
| 51 | Gemini 3.1 Flash-Lite | High | 80.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Flash-Lite"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.1-flash-lite_high, Best score (across scorers)=0.8, stderr=0.06030226891555273, Started at=2026-08-06T22:29:57.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 139 件目(ファイルの 204 行目)、id=NMdaAXyqqPRmWfuxZUfHFF、Model version=gemini-3.1-flash-lite_high |
| 53 | Claude Sonnet 4.6 | High | 75.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.6 (high)"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-sonnet-4-6_high, Best score (across scorers)=0.7555555555555555, stderr=0.06478835438717, Started at=2026-07-13T17:28:15.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 170 件目(ファイルの 245 行目)、id=oXZ7ZVZtADrwFPKAe6zTvL、Model version=claude-sonnet-4-6_high |
| 54 | Gemini 3.5 Flash-Lite | High | 71.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.5 Flash-Lite"。effort は Epoch の Model version 接尾辞 _high。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.5-flash-lite_high, Best score (across scorers)=0.7111111111111111, stderr=0.0683294324254051, Started at=2026-08-06T22:35:36.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 135 件目(ファイルの 200 行目)、id=mqsc4vFuKtAHXxbYyX9WwK、Model version=gemini-3.5-flash-lite_high |
| 54 | Claude Sonnet 4.6 | Max | 71.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.6 (max)"。effort は Epoch の Model version 接尾辞 _max。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-sonnet-4-6_max, Best score (across scorers)=0.7111111111111111, stderr=0.06832943242540508, Started at=2026-08-06T22:21:16.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 143 件目(ファイルの 208 行目)、id=XnQVH5qSfxVjpzoPwUEmnh、Model version=claude-sonnet-4-6_max |
| 56 | GPT-5.6 Sol | None | 68.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Sol (none)"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-sol_none, Best score (across scorers)=0.6888888888888889, stderr=0.0697920592732311, Started at=2026-08-07T00:54:12.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 91 件目(ファイルの 151 行目)、id=g7czyLHudHegzP9yRD939X、Model version=gpt-5.6-sol_none |
| 56 | Kimi K3 | Low | 68.9% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Kimi K3 (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=kimi-k3_low, Best score (across scorers)=0.6888888888888889, stderr=0.06979205927323111, Started at=2026-08-07T00:46:06.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 93 件目(ファイルの 153〜155 行目。複数行のレコード)、id=frszScNxpHXXjSHawCt9Zb、Model version=kimi-k3_low |
| 58 | GPT-5.6 Luna | Low | 66.7% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Luna (low)"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-luna_low, Best score (across scorers)=0.6666666666666666, stderr=0.07106690545187014, Started at=2026-08-07T00:02:15.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 121 件目(ファイルの 186 行目)、id=ZgU8BagFmaj7BE94y3JDZA、Model version=gpt-5.6-luna_low |
| 59 | Gemini 3.5 Flash-Lite | Low | 60.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.5 Flash-Lite"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.5-flash-lite_low, Best score (across scorers)=0.6, stderr=0.07385489458759963, Started at=2026-08-06T22:36:02.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 133 件目(ファイルの 198 行目)、id=B3Kno3buYWRYbZxU33STiX、Model version=gemini-3.5-flash-lite_low |
| 60 | GPT-5.5 | None | 57.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.5 (no thinking)"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.5_none, Best score (across scorers)=0.5777777777777777, stderr=0.07446027270295805, Started at=2026-08-07T00:53:58.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 92 件目(ファイルの 152 行目)、id=QuqPmMUTbiEsUvoFYZx5Mk、Model version=gpt-5.5_none |
| 61 | GPT-5.6 Terra | None | 53.3% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Terra (none)"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-terra_none, Best score (across scorers)=0.5333333333333333, stderr=0.07521014330903548, Started at=2026-08-07T00:42:38.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 95 件目(ファイルの 159 行目)、id=cjUVqF2qQJ4qhFKBU5BQpW、Model version=gpt-5.6-terra_none |
| 62 | Gemini 3.5 Flash-Lite | Minimal | 51.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.5 Flash-Lite"。effort は Epoch の Model version 接尾辞 _minimal。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.5-flash-lite_minimal, Best score (across scorers)=0.5111111111111111, stderr=0.07535922203472521, Started at=2026-08-06T22:35:57.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 134 件目(ファイルの 199 行目)、id=ivr2LfmdZoCMfLME7jh2L8、Model version=gemini-3.5-flash-lite_minimal |
| 63 | Claude Opus 4.5 | 記載なし | 48.1% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Opus 4.5 (no thinking)"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-opus-4-5-20251101, Best score (across scorers)=0.48055555555555557, stderr=0.06405336755004033, Started at=2025-11-24T20:47:49.364Z所在 otis_mock_aime_2024_2025.csv のデータ行 211 件目(ファイルの 307 行目)、id=nSb2focDRMyPJXErk3MV94、Model version=claude-opus-4-5-20251101 |
| 64 | Gemini 3.1 Flash-Lite | Low | 44.4% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Flash-Lite"。effort は Epoch の Model version 接尾辞 _low。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.1-flash-lite_low, Best score (across scorers)=0.4444444444444444, stderr=0.07491109582924914, Started at=2026-08-06T22:30:07.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 138 件目(ファイルの 203 行目)、id=CFBCC2QrkCAFBAvFj5pqPF、Model version=gemini-3.1-flash-lite_low |
| 65 | GPT-5.6 Luna | None | 40.0% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "GPT-5.6 Luna (none)"。effort は Epoch の Model version 接尾辞 _none。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gpt-5.6-luna_none, Best score (across scorers)=0.4, stderr=0.07385489458759964, Started at=2026-08-07T00:20:15.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 105 件目(ファイルの 170 行目)、id=QYZ6wRuT7WMkaYPKc9dRPy、Model version=gpt-5.6-luna_none |
| 66 | Gemini 3.1 Flash-Lite | Minimal | 37.8% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Gemini 3.1 Flash-Lite"。effort は Epoch の Model version 接尾辞 _minimal。データ取得 2026-11-12。出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=gemini-3.1-flash-lite_minimal, Best score (across scorers)=0.37777777777777777, stderr=0.07309112127323451, Started at=2026-08-06T22:30:17.000Z所在 otis_mock_aime_2024_2025.csv のデータ行 137 件目(ファイルの 202 行目)、id=EoSFpgFhJB7iDPLcMNuLH4、Model version=gemini-3.1-flash-lite_minimal |
| 67 | Claude Sonnet 4.5 | 記載なし | 35.6% | — | Epoch AI | Epoch AI, Capabilities & benchmarking (benchmark_data.zip, otis_mock_aime_2024_2025.csv) CC BY 4.02026-11-12 取得・Epoch AI 自前実行(第三者計測)。出典表記 "Claude Sonnet 4.5 (no thinking)"。Model version に effort の接尾辞なし。データ取得 2026-11-12。; 出典に effort の記載が無いため effort なし出典の該当箇所otis_mock_aime_2024_2025.csv: Model version=claude-sonnet-4-5-20250929, Best score (across scorers)=0.35555555555555557, stderr=0.0721639236343101, Started at=2025-09-29T18:39:45.629Z所在 otis_mock_aime_2024_2025.csv のデータ行 230 件目(ファイルの 340 行目)、id=dEVgttSw8u6Tt2RsPWTc3C、Model version=claude-sonnet-4-5-20250929 |