OSWorld-Verified
実コンピュータ操作のタスク(検証済み版)。出典ごとに実行方法が違う(conditions に記載)。
- 分類
- コンピュータ操作
- 単位
- パーセント(%)
- 高いほど良い
- 比較グループ
- 2グループ
- すべてのモデルの順位(記録)・順位を付けた結果 4 件
すべてのモデルの順位(記録)
旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。
旧モデル・選べないモデルを含む順位を開く(4 件)
公式の結果(Gemini 3.5 Flash model card)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Gemini 3.5 Flash | 記載なし | 78.4% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・5 回平均(各 1 試行)・最大 100 ステップ。thinking level の記載なし出典の該当箇所UI Control | OSWorld-Verified Agentic computer use | 78.4%所在 Gemini 3.5 Flash model card の Evaluation 表、OSWorld-Verified 行・Gemini 3.5 Flash 列。自社計算の根拠は methodology PDF の UI Control / OSWorld-Verified | |
| 2 | Gemini 3.1 Pro Preview | 記載なし | 76.2% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・5 回平均(各 1 試行)・最大 100 ステップ。列見出しは Gemini 3.1 Pro(Gemini API のモデル一覧で該当するのは gemini-3.1-pro-preview のみ)。thinking level の記載なし出典の該当箇所UI Control | OSWorld-Verified Agentic computer use | 76.2%所在 Gemini 3.5 Flash model card の Evaluation 表、OSWorld-Verified 行・Gemini 3.1 Pro 列。自社計算の根拠は methodology PDF の UI Control / OSWorld-Verified | |
| 3 | Gemini 3 Flash Preview | 記載なし | 65.1% | — | Gemini 3.5 Flash model card2026-11-13 取得・ベンダー発表値。Google の model card の表。methodology PDF(deepmind.google/models/evals-methodology/gemini-3-5-flash): All of the results are all run with the Gemini API ... with default sampling settings unless indicated otherwise。Gemini は自社計算・5 回平均(各 1 試行)・最大 100 ステップ。列見出しは Gemini 3 Flash(Gemini API のモデル一覧で該当するのは gemini-3-flash-preview のみ)。thinking level の記載なし出典の該当箇所UI Control | OSWorld-Verified Agentic computer use | 65.1%所在 Gemini 3.5 Flash model card の Evaluation 表、OSWorld-Verified 行・Gemini 3 Flash 列。自社計算の根拠は methodology PDF の UI Control / OSWorld-Verified |
公式の結果(Introducing Claude Opus 4.8)
| 順位 | モデル | effort | スコア | 出典のコスト(指標) | 計測・報告 | 出典 |
|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | 記載なし | 82.3% | — | Anthropic | Introducing Claude Opus 4.82026-11-13 取得・ベンダー発表値(Anthropic の発表)。本文・脚注の文字の値(表と図は画像のため使っていない)。実行方法の変更後の値。effort の記載なし出典の該当箇所OSWorld-Verified: We made changes to how we run the OSWorld-Verified evaluation in order to more accurately reflect the model’s performance in the real world, and have updated the Opus 4.7 score to 82.3%.所在 Opus 4.8 発表ページの Footnotes の OSWorld-Verified の項 |