AutomationBench v1.0.6

Zapier 作成の業務ワークフロー自動化(v1.0.6)。版の違う automationbench(Anthropic の図)や公開 600 タスク版とは分けている。

分類: ツール利用
単位: パーセント(%); 高いほど良い
比較グループ: 3グループ; すべてのモデルの順位(記録)・順位を付けた結果 3 件

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(3 件)

公式の結果(GLM-5.3 (Hugging Face model card, zai-org))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	GLM-5.3	記載なし	48.2%	—	Z.ai	GLM-5.3 (Hugging Face model card, zai-org)2026-11-13 取得・ベンダー発表値(Z.ai 自己申告)。カードの Note: reasoning_effort の既定は max、ベンチマーク再現には既定の max を使う。v1.0.6(PR #13 の修正を含む)。この脚注に effort の記載なし出典の該当箇所 AutomationBench (v1.0.6) \| 48.2所在 HF モデルカード「Benchmark」の表、AutomationBench (v1.0.6) 行・GLM-5.3 列(左端の数値列)。根拠: Footnotes の AutomationBench

公式の結果(GLM-5.3-Flash (Z.ai docs))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	GLM-5.3-Flash	記載なし	48.8%	—	Z.ai	GLM-5.3-Flash (Z.ai docs)2026-11-13 取得・ベンダー発表値(Z.ai 自己申告)。本文の数値。評価条件は同じ発表の HF カード(zai-org/GLM-5.3-Flash、MIT)の Footnotes による。effort の記載なし(推奨設定は reasoning_effort: max)。AutomationBench v1.0.6 出典の該当箇所 GLM-5.3-Flash … 48.8 … on AutomationBench所在 docs.z.ai の GLM-5.3-Flash ページ「Competitive Performance at Flash Cost」節の本文。版は HF カード Footnotes の AutomationBench(We evaluate on AutomationBench v1.0.6)

公式の結果(DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	DeepSeek-V4.1-Flash	記載なし	54.8%	—	DeepSeek	DeepSeek-V4.1-Flash (Hugging Face model card, deepseek-ai)2026-11-13 取得・ベンダー発表値(DeepSeek 自己申告)。カード「Instruct Model」: All instruct results below use the maximum effort setting (reasoning_effort=100)、temperature=1.0・top_p=0.95。reasoning_effort=100 は API の effort 名(low/high/max)との対応が公式に書かれていないため effort は null。公式の scaffold で評価。版はこのカードに無いが、DeepSeek-V4.1-Flash-1017 のカードの表は同じ 54.8 を「Automation-Bench v1.0.6」の行に載せている出典の該当箇所 AutomationBench (Pass@1) \| 54.8所在 HF モデルカード「Comparison with frontier models (Max reasoning effort)」の表、AutomationBench (Pass@1) 行・DS-V4.1-Flash 列(右端)