AutomationBench(公開 600 タスク)
AutomationBench の公開 600 タスクのサブセット。
- 分類
- ツール利用
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 2グループ
- すべてのモデルの順位(記録)・順位を付けた結果 2 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(2 件)
公式の結果(Kimi K3 (Hugging Face model card, moonshotai))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Kimi K3 | Max | 30.8% | — | Moonshot AI | Kimi K3 (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表注: All Kimi K3 results are obtained with reasoning effort set to 'max' and temperature = 1.0。公開 600 タスクのサブセット・公式 GitHub の設定出典の該当箇所AutomationBench | 30.8所在 HF モデルカード「3. Evaluation Results」の表、AutomationBench 行・Kimi K3 (max) 列(左端の数値列)。根拠の脚注: Agentic / AutomationBench |
公式の結果(Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen))
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Qwen3.8-Max | 記載なし | 27.3% | — | Alibaba (Qwen) | Qwen3.8-2.4T-A95B (Hugging Face model card, Qwen)2026-11-13 取得・ベンダー発表値(Alibaba の Qwen チーム自己申告)。表の列は Qwen3.8-Max(カード: Qwen3.8-Max is the official version based on Qwen3.8-2.4T-A95B)。effort の記載なし(reasoning_effort の既定は xhigh)。公開 600 タスクのサブセット出典の該当箇所Automation-Bench (Pass@1) | 27.3所在 HF モデルカード「Benchmark Results」の表、Automation-Bench (Pass@1) 行・Qwen3.8-Max 列(右端)。根拠: 表下の注 16 |