目次 › 第3章 › 3-6

第3章 アプリケーション開発 / 想定学習時間:30〜40分 / 最終確認:2026年8月

3-6. ガードレール実装(入力/出力の制御)

1. ガードレールとは何か:なぜ必要か

ガードレール(guardrails)とは、LLMアプリケーションの入力と出力を検査・制御する仕組みの総称です。LLMは確率的にテキストを生成するため、悪意ある入力(プロンプトインジェクション)、トピック外の質問、有害な出力、個人情報(PII)の漏えい、根拠のない回答(ハルシネーション)といったリスクを完全にはゼロにできません。そこで、モデルの前後に「検問所」を設けて、望ましくない入出力を検出・遮断・修正します。

重要な設計原則は多層防御(defense in depth)です。単一の対策に依存せず、複数の層を重ねることで、1つの層が突破されても全体としての安全性を保ちます。

2. 入力側ガードレール

入力側のガードレールは、ユーザーの入力がLLM本体に届く前に検査を行います。代表的な手法は次の3つです。

2-1. トピック外・悪意ある入力の検出

アプリの目的から外れた質問(off-topic)や、システムプロンプトの上書きを狙う入力(prompt injection)を、分類器または軽量なLLMによる事前チェックで検出します。

guard_prompt = """あなたは入力検査器です。次のユーザー入力が
「社内IT規程に関する質問」かどうかを判定し、
'ALLOW' または 'BLOCK' のみを出力してください。

入力: {user_input}"""

verdict = llm.invoke(guard_prompt.format(user_input=query))
if "BLOCK" in verdict.content:
    return "この質問にはお答えできません。IT規程に関する質問をどうぞ。"
# ALLOW の場合のみメインのRAGチェーンへ進む

2-2. PII のマスキング

ユーザー入力に含まれる氏名・電話番号・メールアドレス・カード番号などのPII(個人識別情報)を、LLMに渡す前に検出してマスク(例:[EMAIL] に置換)します。これにより、PIIが外部モデルへ送信されたり、ログやトレースに平文で残ったりするリスクを下げられます。正規表現による単純な検出から、専用のPII検出モデル・ライブラリの利用まで、要件に応じて選択します。

2-3. 長さ・形式のバリデーション

極端に長い入力はコスト増・コンテキスト超過・攻撃(大量の指示の埋め込み)の温床になります。最大文字数・トークン数の制限、期待する形式(例:質問文であること、特定フィールドの存在)の検証を、LLMを呼ぶ前の軽量なコードで行います。これは最も安価なガードレールであり、必ず入れておくべき層です。

3. 出力側ガードレール

出力側のガードレールは、LLMが生成した応答をユーザーに返す前に検査します。

import json

def validate_output(raw: str) -> dict:
    try:
        data = json.loads(raw)
    except json.JSONDecodeError:
        raise ValueError("出力がJSONではありません")
    required = {"category", "answer", "sources"}
    if not required.issubset(data.keys()):
        raise ValueError(f"必須キーが不足: {required - data.keys()}")
    if not data["sources"]:
        raise ValueError("出典が空です(根拠なし回答は返さない)")
    return data

セーフティモデルは、有害性判定に特化して学習されたモデルです。代表例の Llama Guard は、入力(ユーザープロンプト)と出力(モデル応答)のどちらも判定でき、違反カテゴリの分類も返します。汎用LLMに「これは有害ですか?」と聞くよりも一貫した判定が期待できるため、有害性チェック層の部品としてよく使われます。

4. Databricks Unity AI Gateway によるエンドポイントレベルの制御

アプリケーションのコード内にチェックを実装する方法に加えて、Databricks では Unity AI Gateway のガードレール機能を使って、Model Serving エンドポイントのレベルで入出力を制御できます。エンドポイントの設定として有効化するため、そのエンドポイントを使うすべてのアプリケーションに一律に適用されるのが特徴です。

• セーフティフィルタ(Safety filter) — 有害・不適切なコンテンツを入出力で検出・遮断する
• 無効なキーワード(Invalid keywords) — 指定したキーワードを含む入出力をブロックする
• PII検出 — 入力・出力に含まれるPIIを検出し、ブロックまたはマスクする

アプリケーション層のガードレール(この節の2〜3)とエンドポイント層のガードレール(Unity AI Gateway)は排他ではなく併用します。アプリ固有のロジック(トピック制限、出典の強制、スキーマ検証)はアプリ層で、組織共通の安全基準(有害性、PII)はゲートウェイ層で、という役割分担が実務的です。Unity AI Gateway の全体像(レート制限・使用状況トラッキングなどを含む)は 4-4 で扱います。

5. 実装位置の設計:チェーンにチェックステージを挟む

1-5 で学んだマルチステージのチェーン設計の応用として、ガードレールはチェーンの前後に独立したステージとして挿入します。

このように独立したステージにしておくと、各ガードを個別にテスト・改善・差し替えできるうえ、ブロックした件数やブロック理由をログとして記録し、運用改善(第5章のモニタリング)につなげられます。安価なチェック(長さ検証)を先頭に、コストの高いチェック(LLM判定)を後段に置くと、無駄なLLM呼び出しを減らせます。

練習問題