LLMを本番に載せた後、品質を伸ばす主戦場はリリース前の評価データではなく、実運用で集めるオンライン評価です。ユーザーの実入力とフィードバックは、事前に用意した正解セットでは捉えきれない挙動を映します。
一方で、フィードバックの偏り、ログ保存の法的制約、少人数運用でも回せる運用設計を無視すると、オンライン評価は「集めたが使えない」データに変わります。
この記事では、オンライン評価をA/Bテスト・暗黙フィードバック・明示フィードバックの3方式で整理し、中小企業でも回せる指標と担当・頻度まで落とし込みます。
自社の現在地に合わせて、最初に見る指標と次の行動を決めます。すべてを一度にやろうとしないでください。
| 読者の課題 | 最初に見る指標 | 確認すること | 次の行動 |
|---|---|---|---|
| 本番リリース後に品質を追えていない | ユーザー修正率、失敗ケース件数 | 出力ログと修正履歴が残っているか | 明示フィードバックUIを1導線だけ用意 |
| 変更のたびに影響が読めない | プロンプト別成功率、応答時間、コスト | プロンプト版とリクエストを紐付けているか | A/Bテストの基準指標を1つに絞る |
| ユーザー体験の劣化に気づけない | 再問合率、離脱率、再生成率 | 暗黙フィードバックのイベントを取得しているか | セッションログを可観測性基盤に集約 |
※オンライン評価に絶対解はありません。業務・データ・体制に合わせ、指標を1〜2個から始めて拡張します。
オンライン評価は、本番稼働中のLLMを、実ユーザーの入力・行動・フィードバックで継続的に評価する運用です。リリース前の評価（オフライン評価）と対にして使います。
本記事で使う主要用語を短く整理します。
| 用語 | 意味 |
|---|---|
| オフライン評価 | 事前に用意した正解データ（ゴールデンデータセット）で品質を測る |
| オンライン評価 | 本番の実入力・実応答・実フィードバックで品質を継続測定する |
| 暗黙フィードバック | ユーザー行動から間接的に推定する（再生成、離脱、修正など） |
| 明示フィードバック | ユーザーが直接残す評価（👍👎、コメント、修正内容） |
| A/Bテスト | 複数バージョンを同時運用し、指標差を測って良い方を採る手法 |
| シャドウ評価 | 新バージョンの応答を裏で生成し、本番出力と比較する評価 |
オフライン評価は「事前に決めた正解に対する再現性」を、オンライン評価は「実ユーザー体験と業務効果」を測ります。両者は代替関係ではなく、直列で運用するのが基本です。
本番のLLMは、実ユーザーの入力多様性・時間的ドリフト・外部モデル更新にさらされます。事前データセットだけでは、これらの影響を追えません。
ゴールデンデータは開発時に想定した典型例が中心です。実ユーザーは想定外の入力を必ず出します。
誤字、長文貼付、業界固有の略語、多言語混在などが日常的に混ざります。オフライン評価では拾えないため、オンラインでの失敗ログとユーザー修正を集めることが次の改善候補になります。
外部LLMのモデル更新、社内のプロンプト差し替え、参照ドキュメント更新は、それぞれ品質に影響します。しかも影響の大きさはユースケースごとに違います。
変更前後の実利用データを比較できる仕組みを持たない組織は、劣化に気づかないまま数週間走ります。オンライン評価はこの「気づく速度」を決めます。
売上、業務時間、顧客満足度への影響は、LLM単体では測れません。しかし、再問合率、再生成率、修正率などの業務プロキシ指標は、日次で追えます。
オンライン評価は、目的に応じて3方式を組み合わせます。すべてを最初から入れる必要はありません。
| 方式 | 一言でいうと | 向くケース | 注意点 |
|---|---|---|---|
| A/Bテスト | 新旧バージョンを同時運用し統計比較 | 差分のある変更、母数が十分あるとき | 小トラフィックでは統計有意になりにくい |
| 暗黙フィードバック | ユーザー行動から品質を推定 | 明示評価が集まらない業務、UI変更が難しいとき | 行動と品質の相関に業務理解が要る |
| 明示フィードバック | ユーザーに評価やコメントを求める | 重要ユースケース、社内利用、業務内蔵UI | 偏りが強い、無回答が大半、UIコスト |
3方式は、次の観点で自社に合う組み合わせを決めます。
| 比較軸 | 確認すること | 実務上の意味 |
|---|---|---|
| 導入コスト | UI改修、ログ基盤、A/B配信基盤の有無 | 初期整備の期間と担当工数 |
| データ量 | 1日あたりリクエスト数、明示評価率 | 統計判断に必要な母数を満たせるか |
| 業務影響度 | 誤回答が業務に与える損失の大きさ | 明示フィードバック必須かの判断軸 |
| プライバシー | 入力に個人情報や機密が含まれるか | ログ保存範囲と保存期間の設計に影響 |
中小企業や初回導入の現場では、明示フィードバックを1導線だけ入れ、暗黙フィードバックの再生成率と併用する構成が始めやすい選択です。A/Bテストは統計母数が確保できてから追加します。
オンライン評価は、ツール選定より運用の担当・頻度・閾値が定着を決めます。導入前チェックリストと運用開始後の指標を分けます。
品質・コスト・体験の3系統で、まず最小構成を作ります。
| 系統 | 指標 | 見る頻度 | 参考の閾値 |
|---|---|---|---|
| 品質 | 明示👎率、ユーザー修正率、失敗ケース件数 | 日次 | 直近1週間比で±30%以上の変動で確認 |
| コスト | 1リクエストあたりコスト、入出力トークン数 | 週次 | 直近4週の平均+20%超で調査 |
| 体験 | 応答時間p50/p95、再問合率、再生成率 | 日次 | p95が業務許容の1.5倍超で確認 |
閾値は業務・母数・許容度で変わります。最初は「変動を見つけて調査に入るきっかけ」として設定し、運用しながら実データで調整してください。
改善ループは、5つの工程を1週間サイクルで回します。
注意
オンライン評価の結果でプロンプトを頻繁に書き換えると、履歴が追えなくなります。プロンプト版管理と紐付けたうえで変更してください。関連する運用は プロンプトバージョニングとコスト最適化も参考にできます。
※コスト観点の運用は エンタープライズAIコストガバナンス、可用性は LLMマルチプロバイダフェイルオーバー設計とあわせて設計するのが実務的です。
オンライン評価は万能ではありません。設計を誤ると、集めても使えない、または誤った意思決定を招くデータになります。
※上記条件に該当する場合は、まずオフライン評価と限定的な明示フィードバックから始め、運用基盤が整ってからオンライン評価を拡張してください。
関連する評価設計は LLM-as-a-Judgeによる企業評価設計とAIエージェント可観測性も参考にできます。
Blackford Technologiesは、LLM運用の評価設計を「ツール導入」ではなく、データ基盤と業務改善のループとして整えることを勧めています。
見解の要点は次の3点です。
DataRoidは、社内文書・業務ログ・フィードバックを統一データレイヤに束ねる社内設置型のAIデータ基盤です。LLMの評価データセットや改善用ナレッジとして扱いやすくします。
既存クラウド上に展開したい場合は DataRoid Cloud を選べます。
導入判断や運用設計の相談は、Blackfordに相談するから個別にお受けします。
※LLM関連サービスの料金、データ保持条件、提供機能は変更される場合があります。導入前に公式情報で最新条件を確認してください。
※本記事の情報は2026年7月28日時点のものです。
必要です。実ユーザー入力は事前データセットより広く、品質劣化は本番でしか気づけません。
まずは明示フィードバックのボタン1つと再生成率の記録から始め、週次で失敗ログを見る担当を1人決めるだけでも運用は回ります。
意思決定に使うには不十分です。統計有意にならない差分で採否を決めると誤判断につながります。
母数が少ない段階では、明示フィードバックの割合と暗黙フィードバック（再生成率・再問合率）で改善候補を絞り、A/Bは変化が明らかに大きい改修に限定してください。
個人情報・機密情報のマスキング範囲と、LLMプロバイダへの送信可否です。マスキング前ログを外部APIに送る運用が事故の起点になります。
保存期間、削除依頼への対応、監査ログの取り扱いを法務と合意してから収集を開始してください。
3個で十分です。品質（明示👎率または修正率）、コスト（1リクエストあたりコスト）、体験（応答時間p95）から1つずつ選び、変動を見て調査に入る運用にしてください。
最初はスプレッドシートでも回せます。ただし、リクエストログとプロンプト版IDを紐付けられる形にしてください。
運用件数が増え、A/Bや自動評価を回し始める段階で、プロンプト管理・バージョニングの仕組み化を検討してください。
LLMのオンライン評価は、事前データセットで捉えきれない本番品質の変化と業務体験を追うための運用です。方式はA/Bテスト・暗黙フィードバック・明示フィードバックの3つですが、母数と体制に応じて1〜2方式から始めれば十分です。
ただし、担当・頻度・閾値・マスキング範囲・保存期間の運用設計を先に決めないと、集めたログは使えないデータに変わります。
守るべき最小要件は次の3点です。
この3点を守ることが、オンライン評価を成果につなぐ現実的な出発点になります。
自社での運用可否や、既存クラウド・社内データ基盤との接続に迷う場合は、業務課題と扱うデータを整理したうえで、専門家に相談することをおすすめします。
＼AI・LLM運用の評価設計を相談できます／
Blackfordに相談する
