modelbench

τ²-bench telecom (v1.0.1)

ツールを使う会話エージェントが、ユーザー役のシミュレータと対話して通信会社の技術サポート(ユーザーも端末を操作する二重制御)のタスクを方針どおりに完了できるか(pass^1)。tau2_bench_version v1.0.1 の提出(ユーザーシミュレータは gpt-5.2。提出の user_simulator)。CHANGELOG の [1.0.0] には telecom のタスク修正の項は無い。v1.0.1 の採点の変更は banking_knowledge だけで、このドメインには及ばない(CHANGELOG の [1.0.1] の "Other domains are unaffected")。

公式サイトhttps://github.com/sierra-research/tau2-bench

分類
ツール利用
単位
パーセント(%)
高いほど良い
比較グループ
1グループ
すべてのモデルの順位(記録)・順位を付けた結果 8 件

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(8 件)

第三者の結果(τ²-bench v1.0.1(Sierra の実行))

Sierra が tau2_bench_version 1.0.1 で実行した提出のうち、リーダーボードの判定(trajectories_available が true・プロンプト調整なし・設問の省略なし)で検証済みのもの(ユーザーシミュレータ gpt-5.2)。ドメインごとに比べる。

順位モデルeffortスコア出典のコスト(指標)計測・報告出典
1Qwen3.5-397B-A17B記載なし97.8%—Sierraτ²-bench leaderboard submission qwen3.5-397b-a17b-think_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 qwen3.5-397b-a17b-think_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Alibaba Cloud": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "enabled"(thinking 有効)。HF のモデルカードは thinking の有効・無効だけで effort の段階が無いため effort なし。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-02-27。注記の要旨: 4 試行・seed 300・temperature 1.0・top_p 0.95・vLLM で自前ホスト。
出典の該当箇所telecom.pass_1=97.81所在 submissions/qwen3.5-397b-a17b-think_sierra_2026-03-02/submission.json の results.telecom.pass_1(ファイルの 36 行目)。model_name "Qwen3.5-397B-A17B"。methodology.notes(56 行目)
2Claude Opus 4.5High92.3%$0.72Average cost in USD to run one trajectory in this domainSierraτ²-bench leaderboard submission claude-opus-4-5_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-opus-4-5_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2。4 試行(軌跡ファイル名の "_gpt-5.2_4trials" による)。notes と evaluation_date(2026-05-05)は banking_knowledge(AllTools)についての記載("Banking_knowledge domain only")で、このドメインの評価日・seed・シミュレータの effort は記載なし。
出典の該当箇所telecom.pass_1=92.32; telecom.cost=0.71992所在 submissions/claude-opus-4-5_sierra_2026-02-26/submission.json の results.telecom.pass_1(ファイルの 36 行目)、results.telecom.cost(40 行目)。model_name "Claude Opus 4.5"。trajectory_files.telecom(16 行目)、methodology.user_simulator(55 行目)。methodology.notes(56 行目)と evaluation_date(53 行目)は banking_knowledge(AllTools)についての記載
3Gemini 3 Flash PreviewHigh91.2%—Sierraτ²-bench leaderboard submission gemini-3-flash_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gemini-3-flash_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Google": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-03-02。注記の要旨: 4 試行・seed 123・20 件が too_many_errors で打ち切られ 0 点。
出典の該当箇所telecom.pass_1=91.23所在 submissions/gemini-3-flash_sierra_2026-03-02/submission.json の results.telecom.pass_1(ファイルの 36 行目)。model_name "Gemini 3 Flash"。methodology.notes(56 行目)
4Gemini 3 Pro PreviewHigh91.0%—Sierraτ²-bench leaderboard submission gemini-3-pro_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gemini-3-pro_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Google": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-03-02。注記の要旨: 4 試行・seed の記載なし・インフラエラーを失敗(0 点)扱い(2 件)。
出典の該当箇所telecom.pass_1=91.01所在 submissions/gemini-3-pro_sierra_2026-03-02/submission.json の results.telecom.pass_1(ファイルの 36 行目)。model_name "Gemini 3 Pro"。methodology.notes(56 行目)
5GPT-5.2High89.7%$0.093Average cost in USD to run one trajectory in this domainSierraτ²-bench leaderboard submission gpt-5-2_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-2_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "high"。ユーザーシミュレータ gpt-5.2。4 試行(軌跡ファイル名の "_gpt-5.2_4trials" による)。notes と evaluation_date(2026-05-05)は banking_knowledge(AllTools)についての記載("Banking_knowledge domain only")で、このドメインの評価日・seed・シミュレータの effort は記載なし。
出典の該当箇所telecom.pass_1=89.69; telecom.cost=0.09312所在 submissions/gpt-5-2_sierra_2026-02-26/submission.json の results.telecom.pass_1(ファイルの 36 行目)、results.telecom.cost(40 行目)。model_name "GPT-5.2"。trajectory_files.telecom(16 行目)、methodology.user_simulator(55 行目)。methodology.notes(56 行目)と evaluation_date(53 行目)は banking_knowledge(AllTools)についての記載
6GLM-5記載なし86.8%—Sierraτ²-bench leaderboard submission glm-5-think_sierra_2026-03-02 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 glm-5-think_sierra_2026-03-02(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Zhipu AI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。出典の effort 表記「enabled」は公式の effort 一覧を取得できていないため effort なし(reasoning_effort "enabled")。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-02-27。注記の要旨: 4 試行・seed 300・temperature 1.0・top_p 0.95・インフラエラーは失敗(0 点)扱い(件数の記載なし)。
出典の該当箇所telecom.pass_1=86.84所在 submissions/glm-5-think_sierra_2026-03-02/submission.json の results.telecom.pass_1(ファイルの 36 行目)。model_name "GLM-5"。methodology.notes(56 行目)
7Claude Sonnet 4.5記載なし84.9%$0.49Average cost in USD to run one trajectory in this domainSierraτ²-bench leaderboard submission claude-sonnet-4-5_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 claude-sonnet-4-5_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "Anthropic": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。出典の effort 表記「enabled」は公式の effort 一覧に無いため effort なし(reasoning_effort "enabled")。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。評価日 2026-02-24。注記の要旨: 4 試行・seed 300・extended thinking を有効。
出典の該当箇所telecom.pass_1=84.87; telecom.cost=0.48769所在 submissions/claude-sonnet-4-5_sierra_2026-02-26/submission.json の results.telecom.pass_1(ファイルの 36 行目)、results.telecom.cost(40 行目)。model_name "Claude Sonnet 4.5"。methodology.notes(56 行目)
8GPT-5.2None57.2%$0.049Average cost in USD to run one trajectory in this domainSierraτ²-bench leaderboard submission gpt-5-2-none_sierra_2026-02-26 (sierra-research/tau2-bench, MIT)2026-11-13 取得・τ²-bench リーダーボードの提出 gpt-5-2-none_sierra_2026-02-26(submission_type standard、tau2_bench_version 1.0.1)。提出者 "Sierra"、model_organization "OpenAI": τ²-bench を運営する Sierra の実行(第三者計測)。リーダーボードで検証済み(軌跡あり・プロンプト調整なし・設問の省略なし)。値は pass^1(%)。reasoning_effort "none"。ユーザーシミュレータ gpt-5.2(reasoning_effort low)。提出単位の evaluation_date 2026-05-26。注記の要旨: 4 試行・seed 300。
出典の該当箇所telecom.pass_1=57.23684210526315; telecom.cost=0.04937742280701755所在 submissions/gpt-5-2-none_sierra_2026-02-26/submission.json の results.telecom.pass_1(ファイルの 36 行目)、results.telecom.cost(40 行目)。model_name "GPT-5.2"。methodology.notes(56 行目)