Terminal-Bench 2.1

Terminal-Bench の 2.1 版。

分類
エージェント型コーディング
単位
パーセント(%)
高いほど良い
比較グループ
7グループ
すべてのモデルの順位(記録)・順位を付けた結果 9 件

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(9 件)

公式の結果(Gemini 3.8 Flash model card)

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Gemini 3.8 Flash記載なし89.4%—GoogleGemini 3.8 Flash model card2026-11-12 取得・ベンダー発表値。Google 自己申告(model card, 2026-09 時点)。thinking 設定の記載なし
出典の該当箇所Terminal-bench 2.1 | 89.4%

公式の結果(Kimi K3 (Hugging Face model card, moonshotai))

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Kimi K3Max88.3%—Moonshot AIKimi K3 (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Kimi Code ハーネス
出典の該当箇所Terminal-Bench 2.1 | 88.3所在 HF モデルカード「3. Evaluation Results」の表、Terminal-Bench 2.1 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Coding / Terminal-Bench 2.1

公式の結果(GLM-5.3 (Hugging Face model card, zai-org))

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1GLM-5.3記載なし88.2%—Z.aiGLM-5.3 (Hugging Face model card, zai-org)2026-11-13 取得・ベンダー発表値(Z.ai 自己申告)。カードの Note: reasoning_effort の既定は max、ベンチマーク再現には既定の max を使う。Claude Code 2.1.207・6h timeout。この脚注に effort の記載なし
出典の該当箇所Terminal Bench 2.1 | 88.2所在 HF モデルカード「Benchmark」の表、Terminal Bench 2.1 行・GLM-5.3 列(左端の数値列)。根拠: Footnotes の Terminal-Bench 2.1

公式の結果(Gemini 3.7 Flash model card)

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Gemini 3.7 Flash記載なし85.8%—GoogleGemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・既定ハーネス Terminus 2。thinking level の記載なし
出典の該当箇所Terminal-bench 2.1 Agentic terminal coding | 85.8%所在 Gemini 3.7 Flash model card の Evaluation 表、Terminal-bench 2.1 行・Gemini 3.7 Flash 列。自社計算の根拠は methodology PDF の Coding / Terminal-Bench 2.1
2Gemini 3.6 Flash記載なし78.0%—GoogleGemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・既定ハーネス Terminus 2。thinking level の記載なし
出典の該当箇所Terminal-bench 2.1 Agentic terminal coding | 78.0%所在 Gemini 3.7 Flash model card の Evaluation 表、Terminal-bench 2.1 行・Gemini 3.6 Flash 列。自社計算の根拠は methodology PDF の Coding / Terminal-Bench 2.1

公式の結果(Gemini 3.5 Flash model card)

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Gemini 3.5 Flash記載なし76.2%—GoogleGemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。3.5 Flash と 3 Flash は自社計算・Terminus 2 ハーネス(3.1 Pro はリーダーボードの値なので採らない)。thinking level の記載なし
出典の該当箇所Coding | Terminal-bench 2.1 Agentic terminal coding | Terminus-2 harness | 76.2%所在 Gemini 3.5 Flash model card の Evaluation 表、Terminal-bench 2.1 行・Gemini 3.5 Flash 列。自社計算の根拠は methodology PDF の Coding / Terminal-Bench 2.1
2Gemini 3 Flash Preview記載なし58.0%—GoogleGemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。3.5 Flash と 3 Flash は自社計算・Terminus 2 ハーネス(3.1 Pro はリーダーボードの値なので採らない)。列見出しは Gemini 3 Flash(Gemini API のモデル一覧で該当するのは gemini-3-flash-preview のみ)。thinking level の記載なし
出典の該当箇所Coding | Terminal-bench 2.1 Agentic terminal coding | Terminus-2 harness | 58.0%所在 Gemini 3.5 Flash model card の Evaluation 表、Terminal-bench 2.1 行・Gemini 3 Flash 列。自社計算の根拠は methodology PDF の Coding / Terminal-Bench 2.1

公式の結果(Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen))

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Qwen3.8-Max記載なし86.6%—Alibaba (Qwen)Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen)2026-11-13 取得・ベンダー発表値(Alibaba の Qwen チーム自己申告)。表の列は Qwen3.8-Max(カード: Qwen3.8-Max is the official version based on Qwen3.8-2.4T-A95B)。effort の記載なし(reasoning_effort の既定は xhigh)。Claude Code(avg@10)・5 時間 timeout・max_tokens=131,072
出典の該当箇所Terminal Bench 2.1 | 86.6所在 HF モデルカード「Benchmark Results」の表、Terminal Bench 2.1 行・Qwen3.8-Max 列(右端)。根拠: 表下の注 2

公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1DeepSeek-V4.1-Flash記載なし90.6%—DeepSeekDeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。DeepSeek Harness の Minimal モード・1M コンテキストで評価
出典の該当箇所Terminal-Bench 2.1 (Pass@1) | 90.6所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、Terminal-Bench 2.1 (Pass@1) 行・DS-V4.1-Flash 列(右端)