SWE-Bench Pro
ソフトウェアエンジニアリングのエージェント課題(公開セット)の解決率。出典ごとにタスクの修正やハーネスが違う(conditions に記載)。
- 分類
- エージェント型コーディング
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 3グループ
- すべてのモデルの順位(記録)・順位を付けた結果 5 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(5 件)
公式の結果(Gemini 3.5 Flash model card)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 3.5 Flash | 記載なし | 55.1% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・5 回平均・社内版の Antigravity ハーネス・単一試行。thinking level の記載なし出典の該当箇所SWE-Bench Pro (Public) Diverse agentic coding tasks | Single attempt | 55.1%所在 Gemini 3.5 Flash model card の Evaluation 表、SWE-Bench Pro (Public) 行・Gemini 3.5 Flash 列。自社計算の根拠は methodology PDF の Coding / SWE-Bench Pro | |
| 2 | Gemini 3.1 Pro Preview | 記載なし | 54.2% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・5 回平均・社内版の Antigravity ハーネス・単一試行。列見出しは Gemini 3.1 Pro(Gemini API のモデル一覧で該当するのは gemini-3.1-pro-preview のみ)。thinking level の記載なし出典の該当箇所SWE-Bench Pro (Public) Diverse agentic coding tasks | Single attempt | 54.2%所在 Gemini 3.5 Flash model card の Evaluation 表、SWE-Bench Pro (Public) 行・Gemini 3.1 Pro 列。自社計算の根拠は methodology PDF の Coding / SWE-Bench Pro | |
| 3 | Gemini 3 Flash Preview | 記載なし | 49.6% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・5 回平均・社内版の Antigravity ハーネス・単一試行。列見出しは Gemini 3 Flash(Gemini API のモデル一覧で該当するのは gemini-3-flash-preview のみ)。thinking level の記載なし出典の該当箇所SWE-Bench Pro (Public) Diverse agentic coding tasks | Single attempt | 49.6%所在 Gemini 3.5 Flash model card の Evaluation 表、SWE-Bench Pro (Public) 行・Gemini 3 Flash 列。自社計算の根拠は methodology PDF の Coding / SWE-Bench Pro |
公式の結果(Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Qwen3.8-Max | 記載なし | 67.7% | — | Alibaba (Qwen) | Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen)2026-11-13 取得・ベンダー発表値(Alibaba の Qwen チーム自己申告)。表の列は Qwen3.8-Max(カード: Qwen3.8-Max is the official version based on Qwen3.8-2.4T-A95B)。effort の記載なし(reasoning_effort の既定は xhigh)。Claude Code ハーネス・256K。問題のあるタスクを修正した版で全ベースラインを評価出典の該当箇所SWE-bench Pro | 67.7所在 HF モデルカード「Benchmark Results」の表、SWE-bench Pro 行・Qwen3.8-Max 列(右端)。根拠: 表下の注 3 |
公式の結果(Qwen3.8-27B (Hugging Face model card, Qwen))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Qwen3.8-27B | 記載なし | 61.7% | — | Alibaba (Qwen) | Qwen3.8-27B (Hugging Face model card, Qwen)2026-11-13 取得・ベンダー発表値(Alibaba の Qwen チーム自己申告)。effort の記載なし(reasoning_effort の既定は xhigh)。Claude Code ハーネス・256K。問題のあるタスクを修正した版出典の該当箇所Agentic codingSWE-bench Pro | 61.7所在 HF モデルカードのベンチマーク表、SWE-bench Pro 行・Qwen3.8-27B 列(左端)。根拠: 表下の注 SWE-bench Pro |