Databricks Certified Generative AI Engineer Associate 教科書
第1章 生成AIアプリケーション設計(Design Applications, 14%)
🎯 この節の学習目標
LLMの出力をアプリ要件に適合させる主な手段は3つあります。この使い分けは試験範囲の中でも中心的な判断問題のひとつです。
| アプローチ | 何をするか | 変わるもの |
|---|---|---|
| プロンプトのみ(Prompt Engineering) | 指示・例示の書き方で出力を制御する(1-3) | 入力だけ。モデルもデータ基盤も変えない |
| RAG(Retrieval-Augmented Generation) | 外部知識ベースから関連情報を検索し、プロンプトに含めて生成する | モデルに渡す文脈(知識) |
| ファインチューニング(Fine-tuning) | 独自データでモデルを追加学習する | モデルの重み(振る舞い) |
モデルが事前学習で既に持っている知識・能力で足りるタスク(一般的な要約、翻訳、文章の書き換え、汎用的な分類など)は、プロンプトエンジニアリングだけで達成できます。
RAGは、質問に関連する文書を検索(Retrieval)し、それを文脈としてプロンプトに含めて生成(Generation)するアーキテクチャです。次のシグナルがあればRAGを選びます。
コスト面では、ファインチューニングのような学習コストは不要ですが、検索基盤(Databricks AI Search(旧 Vector Search)、第2章・第4章)の構築・運用と、検索結果をプロンプトに含めることによる入力トークン増加が発生します。
ファインチューニングは、独自の学習データでモデルの重みを追加学習し、振る舞い自体を変える手法です。次のシグナルがあれば検討します。
一方で、重要な限界を必ず押さえてください。ファインチューニングは知識注入には不向きです。新しい事実を確実に覚えさせる手段としては信頼性が低く、学習後に知識が変わるたびに再学習が必要でコストがかさみ、根拠の提示もできません。最新・更新頻度の高い知識はRAGが原則です。
| 観点 | プロンプトのみ | RAG | ファインチューニング |
|---|---|---|---|
| 初期コスト | 最小 | 中(検索基盤の構築) | 大(学習データ整備+学習) |
| 知識の鮮度への対応 | 不可(モデルの知識のまま) | インデックス更新だけで最新化 | 再学習が必要で高コスト |
| 根拠・説明可能性 | 低い | 高い(引用元を提示できる) | 低い(重みに溶け込む) |
| スタイル・形式の一貫性 | 中(プロンプト次第) | 中 | 高い |
| 必要なデータ | 不要(例が数個あれば十分) | 参照文書 | 質の高い学習データ(相応の量) |
判断の流れを表にすると次のようになります。上から順に確認してください。
| 問い | Yesなら |
|---|---|
| 1. モデルの既存知識・能力+プロンプト工夫で品質要件を満たせるか? | プロンプトのみで完了(最速・最安) |
| 2. 足りないのは「外部・社内・最新の知識」か? 根拠提示が必要か? | RAGを追加 |
| 3. 足りないのは「スタイル・形式・ドメイン語彙などの振る舞い」か? プロンプトが長すぎるか? | ファインチューニングを検討 |
| 4. 知識も振る舞いも両方足りないか? | RAG+ファインチューニングの併用(FTで文体を整え、RAGで知識を供給) |
💼 例:3つの要件、3つの答え
📝 試験のポイント
設問文のキーワードで即断できるようにしておきましょう。「頻繁に更新される」「社内ナレッジ」「引用・根拠」「ハルシネーション低減」→ RAG。「トーン・文体・形式の一貫性」「ドメイン固有の語彙」「プロンプトが長くなりすぎた」→ ファインチューニング。「一般的なタスク」「まず何を試すか」→ プロンプトのみ。誤答の典型は「最新知識のためにファインチューニング」(再学習コストと信頼性の問題)と「文体統一のためだけにRAG」(検索は文体を変えない)です。
✅ この節のまとめ
問1. 人事部門が「毎月改定される社内福利厚生規程について、従業員の質問に根拠箇所を示しながら答えるボット」を求めている。最も適切なアプローチはどれか。
正解:B
「毎月改定」(高い更新頻度)と「根拠箇所の提示」はRAGを選ぶ二大シグナルです。改定のたびにインデックスを更新するだけで済みます。Aは改定のたびに再学習が必要でコストが高く、根拠提示もできず、知識注入自体の信頼性も低い誤答です。Cはモデルが社内規程を知らないため回答できません。Dは規程が大きいとコンテキストとコストの面で非現実的で、更新管理も煩雑です。
問2. 保険会社が「査定報告書を、社内独自の様式・専門用語・文体で一貫して生成したい」と考えている。知識は既にプロンプトで与えられるが、フューショット例を大量に入れても文体が安定せず、プロンプトが長大化してコストも問題になっている。最も適切なアプローチはどれか。
正解:A
「文体・様式・専門用語の一貫した習得」「フューショットで達成できない」「プロンプト長大化によるコスト」はいずれもファインチューニングを選ぶシグナルです。学習後は長い例示が不要になりプロンプトも短縮できます。Bの検索は知識を供給する仕組みであり、文体は変わりません。Cは既に効果がないと示されており、コスト問題も悪化します。Dは品質がさらに下がる方向です。
問3. 「受信メールの丁寧な返信文への書き換え」という一般的なタスクのアプリを、できるだけ早く低コストで立ち上げたい。最初に試すべきアプローチはどれか。
正解:C
丁寧な書き換えはモデルの既存能力で十分達成できる一般的タスクであり、まずプロンプトのみで試すのが原則です(最速・最安)。A・Bは、プロンプトで足りるかを確認する前に行う投資としては過剰です。Dは費用・期間ともに桁違いで論外です。
問4. RAGとファインチューニングの比較として正しい記述はどれか。
正解:B
RAGの2つの強み(根拠提示、インデックス更新だけで知識を最新化)を正しく述べています。Aはインデックス更新で対応できるのはRAGであり、記述が入れ替わっています。CはRAGが重みを更新するとしており誤り(重みを更新するのはファインチューニング)。Dは逆で、ファインチューニングされた知識は学習時点で固定され、更新には再学習が必要です。