Terminal-Bench 3.0

Terminal-Bench の 3.0 版。

分類: エージェント型コーディング
単位: パーセント(%); 高いほど良い
比較グループ: 3グループ; すべてのモデルの順位(記録)・順位を付けた結果 4 件

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(4 件)

公式の結果(GLM-5.3 (Z.ai docs))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	GLM-5.3	記載なし	28.3%	—	Z.ai	GLM-5.3 (Z.ai docs)2026-11-12 取得・ベンダー発表値。Z.ai 自己申告。effort 記載なし(既定は max) 出典の該当箇所 Terminal-Bench 3.0 28.3

公式の結果(Gemini 3.7 Flash model card)

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Gemini 3.7 Flash	記載なし	14.9%	—	Google	Gemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・mini swe agent ハーネス(LiteLLM 1.96)。2 タスクに互換のための軽微な変更。thinking level の記載なし出典の該当箇所 Terminal-bench 3.0 General agent capabilities \| 14.9%所在 Gemini 3.7 Flash model card の Evaluation 表、Terminal-bench 3.0 行・Gemini 3.7 Flash 列。自社計算の根拠は methodology PDF の Coding / Terminal-Bench 3
2	Gemini 3.6 Flash	記載なし	5.4%	—	Google	Gemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・mini swe agent ハーネス(LiteLLM 1.96)。2 タスクに互換のための軽微な変更。thinking level の記載なし出典の該当箇所 Terminal-bench 3.0 General agent capabilities \| 5.4%所在 Gemini 3.7 Flash model card の Evaluation 表、Terminal-bench 3.0 行・Gemini 3.6 Flash 列。自社計算の根拠は methodology PDF の Coding / Terminal-Bench 3

公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	DeepSeek-V4.1-Flash	記載なし	30.0%	—	DeepSeek	DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。DeepSeek Harness の Minimal モード・1M コンテキストで評価出典の該当箇所 Terminal-Bench 3.0 (Pass@1) \| 30.0所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、Terminal-Bench 3.0 (Pass@1) 行・DS-V4.1-Flash 列(右端)