DeepSWE v1.1

長期のソフトウェアエンジニアリングタスクの成功率(v1.1)。

分類: エージェント型コーディング
単位: パーセント(%); 高いほど良い
比較グループ: 13グループ; すべてのモデルの順位(記録)・順位を付けた結果 14 件

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(14 件)

公式の結果(Gemini 4 Argon model card)

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Gemini 4 Argon	記載なし	77.9%	—	Google	Gemini 4 Argon model card2026-11-12 取得・ベンダー発表値。Google 自己申告(model card, 2026-10 時点)。thinking 設定の記載なし出典の該当箇所 DeepSWE v1.1 \| 77.9%

公式の結果(Gemini 3.8 Flash model card)

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Gemini 3.8 Flash	記載なし	73.7%	—	Google	Gemini 3.8 Flash model card2026-11-12 取得・ベンダー発表値。Google 自己申告(model card, 2026-09 時点)。thinking 設定の記載なし出典の該当箇所 DeepSWE v1.1 \| 73.7%

公式の結果(Grok 4.7 (xAI news))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Grok 4.7	High	71.0%	—	xAI	Grok 4.7 (xAI news)2026-11-12 取得・ベンダー発表値。xAI 自己申告。表見出しは Grok 4.7 (xHigh)。DeepSWE は脚注で high effort の値出典の該当箇所 DeepSWE v1.1 \| Grok 4.7 (xHigh) 71.0(footnote: high effort)
2	Grok 4.6	High	65.2%	—	xAI	Grok 4.7 (xAI news)2026-11-12 取得・ベンダー発表値。xAI 自己申告(Grok 4.7 発表ページ内の比較列) 出典の該当箇所 DeepSWE v1.1 \| Grok 4.6 (High) 65.2

公式の結果(GLM-5.3 (Z.ai docs))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	GLM-5.3	記載なし	66.9%	—	Z.ai	GLM-5.3 (Z.ai docs)2026-11-12 取得・ベンダー発表値。Z.ai 自己申告。effort 記載なし(既定は max) 出典の該当箇所 DeepSWE v1.1 66.9

公式の結果(Introducing Mistral Large 4)

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Mistral Large 4	記載なし	61.7%	—	Mistral AI	Introducing Mistral Large 42026-11-12 取得・ベンダー発表値。Mistral 自己申告(2026-10-06 プレビュー版時点。後の open weights 版は追加 RL で改善と別記事) 出典の該当箇所 DeepSWE v1.1: 61.7%

公式の結果(Kimi K3.1 Pro (Hugging Face model card, moonshotai))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Kimi K3.1 Pro	Max	75.5%	—	Moonshot AI	Kimi K3.1 Pro (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表の列見出し Kimi K3.1 Pro (max)、表注: all Kimi K3.1 Pro results use reasoning effort max, temperature 1.0, top-p 0.95。Claude Code で評価出典の該当箇所 DeepSWE v1.1 \| 75.5所在 HF モデルカード「3. Evaluation Results」の表、DeepSWE v1.1 行・Kimi K3.1 Pro (max) 列(左端の数値列)。根拠の脚注: Coding 5

公式の結果(Kimi K3 (Hugging Face model card, moonshotai))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Kimi K3	Max	67.5%	—	Moonshot AI	Kimi K3 (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。Kimi Code ハーネス・DeepSWE v1.1 のタスク(mini-SWE-agent では 67.3 と別記) 出典の該当箇所 DeepSWE \| 67.5所在 HF モデルカード「3. Evaluation Results」の表、DeepSWE 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Coding / DeepSWE

公式の結果(GLM-5.3-Flash (Z.ai docs))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	GLM-5.3-Flash	記載なし	63.4%	—	Z.ai	GLM-5.3-Flash (Z.ai docs)2026-11-13 取得・ベンダー発表値(Z.ai 自己申告)。本文の数値。評価条件は同じ発表の HF カード(zai-org/GLM-5.3-Flash、MIT)の Footnotes による。effort の記載なし(推奨設定は reasoning_effort: max)。mini-swe-agent ハーネス・6h timeout 出典の該当箇所 GLM-5.3-Flash … 63.4 … on DeepSWE v1.1所在 docs.z.ai の GLM-5.3-Flash ページ「Competitive Performance at Flash Cost」節の本文。条件は HF カード Footnotes の DeepSWE(We run DeepSWE using the mini-swe-agent harness)

公式の結果(Gemini 3.7 Flash model card)

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Gemini 3.7 Flash	High	65.3%	—	Google	Gemini 3.7 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.com/models/evals-methodology/gemini-3-7-flash): All of the results are run with the Gemini API ... with default sampling settings unless indicated otherwise。Results for Gemini 3.7 Flash are self computed, and use a mini swe agent harness with LiteLLM version 1.96 and high thinking(3.6 Flash は Datacurve のリーダーボードの値なので採らない) 出典の該当箇所 DeepSWE v1.1 Long-horizon software engineering \| 65.3%所在 Gemini 3.7 Flash model card の Evaluation 表、DeepSWE v1.1 行・Gemini 3.7 Flash 列。自社計算の根拠は methodology PDF の Coding / DeepSWE v1.1

公式の結果(Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Qwen3.8-Max	記載なし	56.6%	—	Alibaba (Qwen)	Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen)2026-11-13 取得・ベンダー発表値(Alibaba の Qwen チーム自己申告)。表の列は Qwen3.8-Max(カード: Qwen3.8-Max is the official version based on Qwen3.8-2.4T-A95B)。effort の記載なし(reasoning_effort の既定は xhigh)。Claude Code と mini-SWE-agent の高い方(Qwen3.8-Max は Claude Code) 出典の該当箇所 DeepSWE 1.1 \| 56.6所在 HF モデルカード「Benchmark Results」の表、DeepSWE 1.1 行・Qwen3.8-Max 列(右端)。根拠: 表下の注 4

公式の結果(Qwen3.8-27B (Hugging Face model card, Qwen))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Qwen3.8-27B	記載なし	42.2%	—	Alibaba (Qwen)	Qwen3.8-27B (Hugging Face model card, Qwen)2026-11-13 取得・ベンダー発表値(Alibaba の Qwen チーム自己申告)。effort の記載なし(reasoning_effort の既定は xhigh)。Claude Code ハーネス・256K 出典の該当箇所 Agentic codingDeepSWE 1.1 \| 42.2所在 HF モデルカードのベンチマーク表、DeepSWE 1.1 行・Qwen3.8-27B 列(左端)。根拠: 表下の注 DeepSWE 1.1

公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	DeepSeek-V4.1-Flash	記載なし	74.2%	—	DeepSeek	DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。mini-SWE ハーネスで評価出典の該当箇所 DeepSWE v1.1 (Resolved) \| 74.2所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、DeepSWE v1.1 (Resolved) 行・DS-V4.1-Flash 列(右端)

公式の結果(DeepSeek-V4.1-Flash-1017 (Hugging Face model card, deepseek-ai))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	DeepSeek-V4.1-Flash-1017	記載なし	77.0%	—	DeepSeek	DeepSeek-V4.1-Flash-1017 (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カードの注: We use the Claude Code harness for Terminal-Bench 4.0 and the Mini-SWE-V2 harness for DeepSWE v1.1。effort の記載なし。Mini-SWE-V2 ハーネス出典の該当箇所 DeepSWE v1.1 \| 77.0所在 HF モデルカード冒頭の比較表、DeepSWE v1.1 行・DS-V4.1-Flash-1017 列(左端の数値列)