modelbench

τ²-bench retail (v1.0.1)

ツールを使う会話エージェントが、ユーザー役のシミュレータと対話して小売の顧客対応のタスクを方針どおりに完了できるか(pass^1)。tau2_bench_version v1.0.1 の提出(ユーザーシミュレータは gpt-5.2。提出の user_simulator)。1.0.0 で retail のタスク修正(CHANGELOG の [1.0.0] の "Retail task fixes (26 tasks)")があったが、ここに載せた提出の submission_date(2026-02-26〜03-02)は 1.0.0 のリリース(2026-03-18)より前で、修正を含むかは提出から分からない。v1.0.1 の採点の変更は banking_knowledge だけで、このドメインには及ばない(CHANGELOG の [1.0.1] の "Other domains are unaffected")。

公式サイトhttps://github.com/sierra-research/tau2-bench

分類
ツール利用
単位
パーセント(%)
高いほど良い
比較グループ
1グループ
すべてのモデルの順位(記録)・順位を付けた結果 8 件

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(8 件)

第三者の結果(τ²-bench v1.0.1(Sierra の実行))

Sierra が tau2_bench_version 1.0.1 で実行した提出のうち、リーダーボードの判定(trajectories_available が true・プロンプト調整なし・設問の省略なし)で検証済みのもの(ユーザーシミュレータ gpt-5.2)。ドメインごとに比べる。

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Qwen3.5-397B-A17B記載なし84.4%—Sierraτ²-bench leaderboard submission qwen3.5-397b-a17b-think_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 qwen3.5-397b-a17b-think_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Alibaba Cloud": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "enabled"(thinking 有効)。HF のモデルカードは thinking の有効・無効だけで effort の段階が無いため effort なし。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-02-27。注記の要旨: 4 試行・seed 300・temperature 1.0・top_p 0.95・vLLM で自前ホスト。
出典の該当箇所retail.pass_1=84.43所在 submissions/qwen3.5-397b-a17b-think_sierra_2026-03-02/submission.json の results.retail.pass_1(ファイルの 29 行目)。model_name "Qwen3.5-397B-A17B"。methodology.notes(56 行目)
2GPT-5.2High81.6%$0.072Average cost in USD to run one trajectory in this domainSierraτ²-bench leaderboard submission gpt-5-2_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-2_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2。4 試行(軌跡ファイル名の "_gpt-5.2_4trials" による)。notes と evaluation_date(2026-05-05)は banking_knowledge(AllTools)についての記載("Banking_knowledge domain only")で、このドメインの評価日・seed・シミュレータの effort は記載なし。
出典の該当箇所retail.pass_1=81.58; retail.cost=0.07156所在 submissions/gpt-5-2_sierra_2026-02-26/submission.json の results.retail.pass_1(ファイルの 29 行目)、results.retail.cost(33 行目)。model_name "GPT-5.2"。trajectory_files.retail(15 行目)、methodology.user_simulator(55 行目)。methodology.notes(56 行目)と evaluation_date(53 行目)は banking_knowledge(AllTools)についての記載
3Claude Opus 4.5High79.6%$0.39Average cost in USD to run one trajectory in this domainSierraτ²-bench leaderboard submission claude-opus-4-5_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-opus-4-5_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2。4 試行(軌跡ファイル名の "_gpt-5.2_4trials" による)。notes と evaluation_date(2026-05-05)は banking_knowledge(AllTools)についての記載("Banking_knowledge domain only")で、このドメインの評価日・seed・シミュレータの effort は記載なし。
出典の該当箇所retail.pass_1=79.61; retail.cost=0.38695所在 submissions/claude-opus-4-5_sierra_2026-02-26/submission.json の results.retail.pass_1(ファイルの 29 行目)、results.retail.cost(33 行目)。model_name "Claude Opus 4.5"。trajectory_files.retail(15 行目)、methodology.user_simulator(55 行目)。methodology.notes(56 行目)と evaluation_date(53 行目)は banking_knowledge(AllTools)についての記載
4Gemini 3 Flash PreviewHigh76.8%—Sierraτ²-bench leaderboard submission gemini-3-flash_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gemini-3-flash_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Google": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-03-02。注記の要旨: 4 試行・seed 123。
出典の該当箇所retail.pass_1=76.75所在 submissions/gemini-3-flash_sierra_2026-03-02/submission.json の results.retail.pass_1(ファイルの 29 行目)。model_name "Gemini 3 Flash"。methodology.notes(56 行目)
5Gemini 3 Pro PreviewHigh75.9%—Sierraτ²-bench leaderboard submission gemini-3-pro_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gemini-3-pro_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Google": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-03-02。注記の要旨: 4 試行・seed の記載なし・インフラエラーを失敗(0 点)扱い(20 件)。
出典の該当箇所retail.pass_1=75.88所在 submissions/gemini-3-pro_sierra_2026-03-02/submission.json の results.retail.pass_1(ファイルの 29 行目)。model_name "Gemini 3 Pro"。methodology.notes(56 行目)
6GPT-5.2None75.0%$0.048Average cost in USD to run one trajectory in this domainSierraτ²-bench leaderboard submission gpt-5-2-none_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-2-none_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "none"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。提出単位の evaluation_date 2026-05-26。注記の要旨: 4 試行・seed 300。
出典の該当箇所retail.pass_1=75.0; retail.cost=0.048219267434210525所在 submissions/gpt-5-2-none_sierra_2026-02-26/submission.json の results.retail.pass_1(ファイルの 29 行目)、results.retail.cost(33 行目)。model_name "GPT-5.2"。methodology.notes(56 行目)
7GLM-5記載なし73.7%—Sierraτ²-bench leaderboard submission glm-5-think_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 glm-5-think_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Zhipu AI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。出典の effort 表記「enabled」は公式の effort 一覧を取得できていないため effort なし(reasoning_effort "enabled")。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-02-27。注記の要旨: 4 試行・seed 300・temperature 1.0・top_p 0.95・インフラエラーは失敗(0 点)扱い(件数の記載なし)。
出典の該当箇所retail.pass_1=73.68所在 submissions/glm-5-think_sierra_2026-03-02/submission.json の results.retail.pass_1(ファイルの 29 行目)。model_name "GLM-5"。methodology.notes(56 行目)
8Claude Sonnet 4.5記載なし72.4%$0.25Average cost in USD to run one trajectory in this domainSierraτ²-bench leaderboard submission claude-sonnet-4-5_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-sonnet-4-5_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。出典の effort 表記「enabled」は公式の effort 一覧に無いため effort なし(reasoning_effort "enabled")。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-02-24。注記の要旨: 4 試行・seed 300・extended thinking を有効。
出典の該当箇所retail.pass_1=72.37; retail.cost=0.25494所在 submissions/claude-sonnet-4-5_sierra_2026-02-26/submission.json の results.retail.pass_1(ファイルの 29 行目)、results.retail.cost(33 行目)。model_name "Claude Sonnet 4.5"。methodology.notes(56 行目)