ExploitGym

脆弱性エクスプロイトの成功率。

分類: その他
単位: パーセント(%); 高いほど良い
比較グループ: 2グループ; すべてのモデルの順位(記録)・順位を付けた結果 3 件

すべてのモデルの順位(記録)

旧モデルと Claude Code / Codex で選べないモデルを含めて、比較グループごとに順位を付け直したものです。順位を付ける顔ぶれが違うので、上の順位とは違います。

旧モデル・選べないモデルを含む順位を開く(3 件)

公式の結果(Gemini 4 Carbon (Google DeepMind models page, benchmark table))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Gemini 4 Carbon	High	54.8%	—	Google	Gemini 4 Carbon (Google DeepMind models page, benchmark table)2026-11-12 取得・ベンダー発表値。Google 公表表。methodology PDF: Gemini 4 Carbon/Argon は Gemini API の最高 thinking 設定・pass@1・単一試行。行ごとの出典は自己計測。Antigravity ハーネス・単一試行・インターネットなし・既定 6 時間タイムアウト(Fairwind Program 経由での性能) 出典の該当箇所 ExploitGym: Gemini 4 Carbon 54.8
2	Gemini 4 Argon	High	42.0%	—	Google	Gemini 4 Carbon (Google DeepMind models page, benchmark table)2026-11-12 取得・ベンダー発表値。Google 公表表。methodology PDF: Gemini 4 Carbon/Argon は Gemini API の最高 thinking 設定・pass@1・単一試行。行ごとの出典は自己計測。Antigravity ハーネス・単一試行・インターネットなし・既定 6 時間タイムアウト(Fairwind Program 経由での性能) 出典の該当箇所 ExploitGym: Gemini 4 Argon 42.0

公式の結果(Kimi K3.1 Pro (Hugging Face model card, moonshotai))

順位	モデル	effort	スコア	出典のコスト(指標)	計測・報告	出典
1	Kimi K3.1 Pro	Max	20.7%	—	Moonshot AI	Kimi K3.1 Pro (Hugging Face model card, moonshotai)2026-11-13 取得・ベンダー発表値(Moonshot AI 自己申告)。表の列見出し Kimi K3.1 Pro (max)、表注: all Kimi K3.1 Pro results use reasoning effort max, temperature 1.0, top-p 0.95。Kimi Code・1 タスク 6 時間出典の該当箇所 ExploitGym \| 20.7所在 HF モデルカード「3. Evaluation Results」の表、ExploitGym 行・Kimi K3.1 Pro (max) 列(左端の数値列)。根拠の脚注: Cyber 2