ProgramBench(Almost Solved)
プログラムをゼロから作る課題で、ほぼ解けた(スコア 95% 以上)タスクの割合。
- 分類
- エージェント型コーディング
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 2グループ
- すべてのモデルの順位(記録)・順位を付けた結果 2 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(2 件)
公式の結果(Kimi K3.1 Pro (Hugging Face model card, moonshotai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Kimi K3.1 Pro | Max | 31.5% | — | Moonshot AI | Kimi K3.1 Pro (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表の列見出し Kimi K3.1 Pro (max)、表注: all Kimi K3.1 Pro results use reasoning effort max, temperature 1.0, top-p 0.95。各タスクの ProgramBench スコアが 95% 以上なら 1 とする二値の集計・Claude Code で評価出典の該当箇所Program Bench | 31.5所在 HF モデルカード「3. Evaluation Results」の表、Program Bench 行・Kimi K3.1 Pro (max) 列(左端の数値列)。根拠の脚注: Coding 4 |
公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | DeepSeek-V4.1-Flash | 記載なし | 20.3% | — | DeepSeek | DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。DeepSeek Harness の Minimal モードで評価出典の該当箇所ProgramBench (Almost@1) | 20.3所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、ProgramBench (Almost@1) 行・DS-V4.1-Flash 列(右端) |