目次 › 第2章 › 2-5

第2章 データ準備 / 想定学習時間:30〜40分 / 最終確認:2026年8月

2-5. コンテンツフィルタリング・前処理(ノイズ除去、重複排除)

1. 前処理はインデックス品質への投資

2-2で抽出、2-3・2-4でチャンキングを学びましたが、その間にもう1つ重要な工程があります。抽出したテキストを索引化に値する状態に磨く前処理です。Databricks AI Search(旧 Vector Search)は「入っているものの中から」最も類似したチャンクを返すだけなので、ノイズ・重複・古い情報がインデックスに入っていれば、それがそのまま検索結果に現れ、LLMの回答を汚染します。前処理は地味ですが、モデルやプロンプトの改善よりも先に効く、費用対効果の高い品質改善手段です。

2. ノイズ除去:ボイラープレートを取り除く

文書には本文の理解に寄与しない定型要素(ボイラープレート)が含まれます。代表例は次のとおりです。

• ヘッダー・フッター — 全ページに繰り返される社名・文書名・機密表示など
• ページ番号 — 「12 / 45」のような断片
• ナビゲーション・メニュー・広告 — HTML由来の定型リンク群(2-2参照)
• 定型免責文・署名ブロック — メール由来コーパスの署名や免責事項

これらを残すと、①チャンクの意味密度が下がり埋め込みの質が落ちる、②全文書に共通する文言が「どの質問にもそこそこ似ている」チャンクを量産し検索を汚染する、③プロンプトに入って無駄なトークンを消費する、という三重の害があります。PDFなら「全ページに同一行が現れる」ことを手がかりにヘッダー・フッターを機械的に検出・除去できます。

3. 重複排除(デデュプリケーション)

企業コーパスには重複がつきものです。同一文書の複数版(ファイルサーバーの「最終版」「最終版v2」問題)、部署ごとのコピー、テンプレート文の繰り返し(全文書に同じ定型章が入っている)などです。

重複を放置すると、検索結果のtop-kがほぼ同じ内容のチャンクで埋まるという実害が出ます。top-k=5がすべて同一文書の版違いなら、LLMに渡る情報の多様性は実質1件分です。また、版ごとに内容が微妙に異なると、矛盾した情報が同時にプロンプトへ入り、回答の一貫性を損ないます。

対策は、①完全一致の重複はハッシュ(例:テキストのMD5/SHA)で検出して1件に絞る、②「ほぼ同じ」近似重複は正規化後のハッシュや類似度で検出する、③同一文書の版違いは最新版のみをインデックス対象にするルールをメタデータ(更新日時・版番号)で実装する、が基本です。

4. 不要文書のフィルタリングと正規化

「何をインデックスに入れないか」の設計も前処理の一部です。

あわせて、テキストの正規化も行います。連続する空白・改行の圧縮、文字コードの統一(Unicode正規化。全角/半角の揺れなど)、制御文字の除去といった地道な整形は、埋め込みの安定性とトークンの節約に寄与します。またメタデータでの鮮度管理(更新日時を持たせ、古い文書を除外・降格できるようにする)は、フィルタリングを一度きりの作業ではなく継続的な運用にするための土台です。

なお、個人情報(PII)のマスキング・スクラビングも索引化の前に行うべき前処理です。インデックスに入った後から消すのは困難だからです。手法の詳細は6-1で扱います。

5. Deltaテーブル上でのパイプライン化(メダリオン的整理)

ここまでの前処理は、1回のスクリプト実行ではなく、Deltaテーブルを段階的に磨いていくパイプラインとして構成するのがDatabricksの定石です。構造化データで使われるメダリオンアーキテクチャ(ブロンズ→シルバー→ゴールド)の考え方を、文書データに当てはめます。

段階を分ける利点は2-1で述べたとおりです。前処理ロジックを変更したときにブロンズから再生成できる(原本を汚していないから)、各段階の品質を検査できる、リネージで追跡できる。前処理は一度で完成せず改善を繰り返すものなので、この「やり直せる構造」が特に効きます。

# シルバー層の例:正規化・フィルタ・重複排除をDeltaテーブルに適用
import re
from pyspark.sql import functions as F

bronze = spark.table("prod.hr_qa.docs_bronze")
silver = (bronze
    .withColumn("text", F.regexp_replace("text", r"\s+", " "))   # 空白の正規化
    .filter(F.length("text") > 200)                              # 実質空の文書を除外
    .filter(F.col("status") == "active")                         # 廃止文書を除外
    .dropDuplicates(["content_hash"]))                           # ハッシュで重複排除
silver.write.mode("overwrite").saveAsTable("prod.hr_qa.docs_silver")

練習問題