自前LLMのジェイルブレイク耐性を108件でリグレッションテストするOSS登場、OWASP新Top10ではExcessive Agencyが6位→3位に急浮上

自前運用LLM向けのジェイルブレイク耐性リグレッションキットが登場

GitHubで2026年8月17日、MITライセンスのオープンソースツール『jailbreak-kit』が公開されました。自前ホスティングしているLLM(OpenAI互換API経由)を対象に、ジェイルブレイク(脱獄)攻撃への耐性をリグレッションテストできるキットです。『参考答案岗(reference-answer role)』と呼ぶ基準応答フレームワークを使い、環境変数API_BASE/API_KEY/MODELを設定するだけで横断ドメインのテストを回せます。

108件の想定と110分の110という表記のズレ

READMEによれば、フルマトリクステストは18種類の攻撃・防御ケース×9ドメイン×2種類の温度設定(0.7と1.0)×3回実行という構成で、掛け算すると108件になります。しかしREADMEの結果表記は『Pass Rate: 110/110 = 100%(after budget adjustment)』となっており、108件という積算値と110という母数が一致しません。0.7と1.0の結果は完全に対称だったとも記載されています。合格率100%という数字はプロジェクト自身が設計したテストに対する自己申告であり、第三者機関による監査ではない点には注意が必要です。

同じ週にOWASPのLLM Top10 2026が改訂

偶然にも同じ時期、OWASP Gen AI Security Projectが2026年8月6日付で『OWASP Top 10 for LLM Applications 2026』を公開しました。今回から順位はコミュニティ投票75%と、実インシデント約6,639件の分析25%を組み合わせて決定されており、Prompt Injectionは引き続き1位を維持、Excessive Agency(過剰な自律行動)は2025年版の6位から2026年版で3位へ急上昇しました。

誰におすすめ

• 自前ホスティングのLLM/AIエージェントをリリース前にセキュリティ観点で検査したいエンジニア
• OWASPの最新リスクランキングを踏まえてテスト項目を見直したいチーム
• 自作の安全性テストの数字をそのまま信じてよいか判断材料が欲しい人

何をすべきか

• 自作・自前運用のテスト結果(今回なら合格率100%)は、掛け算した想定件数と実際の母数が一致するかをまず確認する
• OWASP Top10 2026でExcessive Agencyが3位に上がったことを踏まえ、単なる有害発言だけでなくエージェントの自律行動リスクもテスト項目に含める
• 可能であればNVIDIA garakのような第三者OSSツールでも同じモデルを検査し、自作テストの結果と突き合わせる

注意点

jailbreak-kitは2026年8月17日に公開されたばかりの個人プロジェクトで、READMEの自己申告以外に第三者によるレビューや採用実績は確認できていません。108件という積算値と『110/110』というREADME表記の食い違いは未説明のままです。OWASPの新順位についても、投票の生データそのものは今回未確認で、公式ページの説明を一次情報として採用しています。