プロンプトインジェクション検査

概要

プロンプトインジェクションは、未信頼の入力をプロンプトに無防備に混ぜた瞬間に作り込まれます。「安全に書いて」とLLMに頼むだけでは保証になりません。実装の段階で危険な連結を洗い出し、入力の隔離・指示とデータの分離を作り込むための入口です。

効果

• 未信頼入力のプロンプト素連結・指示とデータの混在・LLM出力の再投入を実装前に検出し、乗っ取り耐性を作り込む。
• 各検出に「なぜ危ういか」と「どう隔離するか」を添え、その場で直せる。
• 決定的層は鍵不要・同入力同出力なので、CIのブロッキングゲートにできる。
• 隔離済み・定数のみのプロンプトは陰性とする保守的判定で、誤検出のノイズを抑える。
• それでも残る誤検出は report_outcome で報告すればallowlistに載り、以後は自動で抑制される（サーバは何も保存しないステートレス設計）。

インプット

• 実装コード

汎用LLMとの違い

どのソースを未信頼とみなすか、どの呼び出しをLLM呼び出しとみなすか、どの隔離で抑制するかの判定手順と危険連結カタログが bubo 独自の中核です。汎用LLMに頼るより、汚染の伝播を追って同入力同出力で漏れなく拾い、隔離の作り込み方まで一貫して提示します。

実際の入力と、返ってきた出力

同じコードと問いかけを、汎用AIと prompt-injection-lint にそのまま渡した実際のやりとりです（要約ではありません）。

def summarize_support_ticket(customer_message, client):
    prompt = f"Please summarize this customer complaint: {customer_message}"
    return client.chat(prompt)

def summarize_with_instructions(ticket_body, client):
    prompt = f"あなたはサポート要約アシスタントです。次の内容を要約してください: {ticket_body}"
    return client.generate_content(prompt)

instruction_data_mixing（システム指示とユーザ入力の混在）は的中させましたが、1関数目の untrusted_prompt_concat（未信頼入力を隔離せず連結）は見出しでは触れたものの、本ツールと同じ形での明確な指摘としては拾いきれず、スコアリング上は2件中1件の一致にとどまりました（recall=0.5）。

verdict=block。2件検出（ともにhigh）
- untrusted_prompt_concat — 未信頼入力を隔離せず連結
- instruction_data_mixing — システム指示とユーザ入力の混在

recall=1.0。

基本形では汎用LLMがラベルの半分しか拾えませんでした（recall=0.5）。1段目のLLM出力を検証せず2段目のプロンプトへ再投入する「間接プロンプトインジェクション」を含む多段パイプラインの難所ケースでも、本ツールは untrusted_prompt_concat と indirect_injection の2件を検出します。プロンプトインジェクションの検出は問いかけ方や文脈次第で汎用LLMの再現性が揺れやすく、決定的な検出ルールを持つ本ツールは同じ入力なら常に同じ観点を機械的に網羅できる点が異なります。

社外秘のコードを、どう守るか

ワンタイムコードは単回使用・有効期限7日・サーバーに平文保存はしません。発行したトークンは設定ファイルに直書きせず環境変数で参照します。既存のMCP設定がある場合も、壊さず冪等にマージします。

どう申し込み、どうつなぐのか

← QA向けMCPツール一覧へ戻る