Terminal-Bench-Science 0.1
ターミナル上で行うエージェント型の科学研究タスク評価(v0.1)。
- 分類
- エージェント型コーディング
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 2グループ
- 今選べるモデルの順位・順位を付けた結果 5 件
- すべてのモデル(記録): 4 グループ・14 件
ランキング
出典区分(公式・第三者・論文)と測定条件が違う値は比べられないため、比較グループ(同じ出典か、同じ条件と確認できた出典の集まり)ごとに分けて順位を付けています。
今 Claude Code / Codex で選べるモデル(旧モデルを除く)だけで順位を付けています。
公式の結果(Introducing Claude Opus 5.5)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GPT-6 Astra | 記載なし | 64.6% | — | OpenAI | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。表注: Unless otherwise noted, all Claude Opus 5.5 results use adaptive thinking at max effort. production safeguards 有効。 他社モデル値(Anthropic 掲載。effort 未記載のものは null)。 SE ±3.5–5pt。GPT-6 Astra は OpenAI 報告値。出典の該当箇所64.6%所在 表 Terminal-Bench-Science 0.1 行: 64.6 |
| 2 | Claude Opus 5.5 | Max | 58.7% | — | Anthropic | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。表注: Unless otherwise noted, all Claude Opus 5.5 results use adaptive thinking at max effort. production safeguards 有効。 SE ±3.5–5pt。GPT-6 Astra は OpenAI 報告値。出典の該当箇所58.7%所在 表 Terminal-Bench-Science 0.1 行: 58.7 |
公式の結果(Introducing Claude Fable 5.2 and Claude Mythos 5.2)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Claude Fable 5.2 | 記載なし | 74.6% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所74.6%所在 表 Terminal-Bench-Science 0.1 行: 74.6 |
| 2 | GPT-6 Astra | 記載なし | 68.1% | — | 記載なし | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted. 他社モデル値(Anthropic 掲載)。出典の該当箇所68.1%所在 表 Terminal-Bench-Science 0.1 行: 68.1 |
| 3 | Claude Opus 5.5 | 記載なし | 58.7% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所58.7%所在 表 Terminal-Bench-Science 0.1 行: 58.7 |
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(14 件)
公式の結果(Introducing Claude Opus 5.5)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | GPT-6 Astra | 記載なし | 64.6% | — | OpenAI | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。表注: Unless otherwise noted, all Claude Opus 5.5 results use adaptive thinking at max effort. production safeguards 有効。 他社モデル値(Anthropic 掲載。effort 未記載のものは null)。 SE ±3.5–5pt。GPT-6 Astra は OpenAI 報告値。出典の該当箇所64.6%所在 表 Terminal-Bench-Science 0.1 行: 64.6 |
| 2 | Claude Opus 5.5 | Max | 58.7% | — | Anthropic | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。表注: Unless otherwise noted, all Claude Opus 5.5 results use adaptive thinking at max effort. production safeguards 有効。 SE ±3.5–5pt。GPT-6 Astra は OpenAI 報告値。出典の該当箇所58.7%所在 表 Terminal-Bench-Science 0.1 行: 58.7 |
| 3 | Claude Fable 5.1 | 記載なし | 52.6% | — | Anthropic | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。表注: Unless otherwise noted, all Claude Opus 5.5 results use adaptive thinking at max effort. production safeguards 有効。 SE ±3.5–5pt。GPT-6 Astra は OpenAI 報告値。出典の該当箇所52.6%所在 表 Terminal-Bench-Science 0.1 行: 52.6 |
| 4 | Claude Opus 5 | 記載なし | 29.0% | — | Anthropic | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。表注: Unless otherwise noted, all Claude Opus 5.5 results use adaptive thinking at max effort. production safeguards 有効。 SE ±3.5–5pt。GPT-6 Astra は OpenAI 報告値。出典の該当箇所29.0%所在 表 Terminal-Bench-Science 0.1 行: 29.0 |
| 5 | GPT-5.6 Sol | 記載なし | 22.4% | — | 記載なし | Introducing Claude Opus 5.52026-11-12 取得・ベンダー発表値。表注: Unless otherwise noted, all Claude Opus 5.5 results use adaptive thinking at max effort. production safeguards 有効。 他社モデル値(Anthropic 掲載。effort 未記載のものは null)。 SE ±3.5–5pt。GPT-6 Astra は OpenAI 報告値。出典の該当箇所22.4%所在 表 Terminal-Bench-Science 0.1 行: 22.4 |
公式の結果(Introducing Claude Fable 5.2 and Claude Mythos 5.2)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Claude Mythos 5.2 | 記載なし | 75.3% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所75.3%所在 表 Terminal-Bench-Science 0.1 行: 74.6% 75.3% (Mythos 5.2) |
| 2 | Claude Fable 5.2 | 記載なし | 74.6% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所74.6%所在 表 Terminal-Bench-Science 0.1 行: 74.6 |
| 3 | GPT-6 Astra | 記載なし | 68.1% | — | 記載なし | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted. 他社モデル値(Anthropic 掲載)。出典の該当箇所68.1%所在 表 Terminal-Bench-Science 0.1 行: 68.1 |
| 4 | Gemini 4 Carbon | 記載なし | 64.8% | — | 記載なし | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted. 他社モデル値(Anthropic 掲載)。出典の該当箇所64.8%所在 表 Terminal-Bench-Science 0.1 行: 64.8 |
| 5 | Claude Opus 5.5 | 記載なし | 58.7% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所58.7%所在 表 Terminal-Bench-Science 0.1 行: 58.7 |
| 6 | Claude Fable 5.1 | 記載なし | 52.6% | — | Anthropic | Introducing Claude Fable 5.2 and Claude Mythos 5.22026-11-12 取得・ベンダー発表値。表注: Scores for Fable 5.2, Fable 5.1, and Opus 5.5 show results with safeguards on unless otherwise noted. All scores show each model’s highest-available effort unless otherwise noted.出典の該当箇所52.6%所在 表 Terminal-Bench-Science 0.1 行: 52.6 |
公式の結果(Gemini 4 Carbon (Google DeepMind models page, benchmark table))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 4 Carbon | High | 64.8% | — | Artificial Analysis | Gemini 4 Carbon (Google DeepMind models page, benchmark table)2026-11-12 取得・ベンダー発表値。Google 公表表。methodology PDF: Gemini 4 Carbon/Argon は Gemini API の最高 thinking 設定・pass@1・単一試行。行ごとの出典は Artificial Analysis 計測値出典の該当箇所Terminal-Bench Science 0.1: Gemini 4 Carbon 64.8 |
| 2 | Gemini 4 Argon | High | 52.9% | — | Artificial Analysis | Gemini 4 Carbon (Google DeepMind models page, benchmark table)2026-11-12 取得・ベンダー発表値。Google 公表表。methodology PDF: Gemini 4 Carbon/Argon は Gemini API の最高 thinking 設定・pass@1・単一試行。行ごとの出典は Artificial Analysis 計測値出典の該当箇所Terminal-Bench Science 0.1: Gemini 4 Argon 52.9 |
公式の結果(Kimi K3.1 Pro (Hugging Face model card, moonshotai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Kimi K3.1 Pro | Max | 38.1% | — | Moonshot AI | Kimi K3.1 Pro (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表の列見出し Kimi K3.1 Pro (max)、表注: all Kimi K3.1 Pro results use reasoning effort max, temperature 1.0, top-p 0.95。Claude Code で評価出典の該当箇所Terminal-Bench-Science 0.1 | 38.1所在 HF モデルカード「3. Evaluation Results」の表、Terminal-Bench-Science 0.1 行・Kimi K3.1 Pro (max) 列(左端の数値列)。根拠の脚注: Coding 2 |