LLMを本番に載せると、応答品質、遅延、コスト、失敗の原因を「後から追える状態」にしておく必要があります。この「後から追える状態」を作るのが可観測性(Observability)ツールです。
一方で、ツール選定を誤ると、月額費用が跳ね上がったり、機密プロンプトが社外SaaSに送られたりします。ツール比較で最初に見るべきは、機能ではなくライセンスとデータ送信先です。
この記事では、代表的な4つのLLM可観測性ツールを比較し、中小企業がまず何を確認し、どの順で導入するかを整理します。
LLM可観測性ツール比較2026｜Langfuse・LangSmith・Arize Phoenix・Datadogの選び方
この記事でわかること
- LLM可観測性ツールで何を管理するのか
- Langfuse・LangSmith・Arize Phoenix・Datadogの違い
- セルフホストと商用クラウドの判断軸
- 導入前チェックリストと運用開始後の指標
- 採用しないほうがよい条件
結論サマリー：まず見るべき3つの軸
読者の状況ごとに、最初に見るべき軸と次の行動を整理します。
| 読者の状況 | 最初に見る軸 | 次の行動 |
|---|---|---|
| 機密プロンプトを扱う | データ送信先とセルフホスト可否 | セルフホスト可能なOSSから検証する |
| すでに監視SaaSを契約中 | 既存基盤との統合 | 契約中の監視SaaSのLLM対応を先に確認する |
| 少人数で低コスト運用 | 無料枠と課金単位 | 無料枠が大きいOSSクラウド版を試す |
ツール比較の前に、扱うプロンプトの機密度と現在の監視契約を先に整理するのが安全です。
LLM可観測性とは何を管理する仕組みか
LLM可観測性とは、LLMアプリの入出力、途中経過、遅延、コスト、失敗をログとして残し、可視化・評価できる状態にする仕組みです。従来のアプリ監視と違い、確率的な出力と多段のツール呼び出しを追う必要があります。
主な用語を先に整理します。
| 用語 | 意味 |
|---|---|
| トレース | 1回のユーザー要求に紐づく全ステップの記録 |
| スパン | トレースの中の1ステップ(モデル呼び出し、ツール実行など) |
| 評価(Evaluation) | 応答の正答性、幻覚率、有害性などを採点する仕組み |
| OpenTelemetry | 分散トレーシングのオープン標準 |
| データ主権 | データを自社の管理下に置き続けられる状態 |
なぜ今、可観測性ツールを選ぶ論点が重要か
LLMアプリは、リリース後に品質・コスト・セキュリティの問題が同時に発生します。可観測性ツールを後付けにすると、原因調査ができず改善が止まります。
具体的には次が起きやすくなります。
- ユーザーが「回答がおかしい」と報告しても、当時のプロンプトと応答が残っていない
- 月末のAPI請求だけが急増し、どの経路でトークンが増えたのかわからない
- 機密情報が入力された履歴が追えず、ガイドライン整備が後手になる
最初に決めるべきは可視化ダッシュボードの見た目ではなく、ログの保管先と保持期間です。
主要ツールの一言比較
まず4ツールを一言で比較します。
| ツール | 一言でいうと | 向くケース | 注意点 |
|---|---|---|---|
| Langfuse | MITライセンスのOSSリーダー | データ主権を重視し自社運用したい | セルフホスト時はClickHouse運用が必要 |
| LangSmith | LangChain公式で統合が最短 | LangChain/LangGraphで開発中 | セルフホストはEnterpriseのみ |
| Arize Phoenix | OpenTelemetry標準に強いOSS | 既存の監視基盤と統一したい | チーム機能や本番規模は上位版Arize AXで補う |
| Datadog LLM Observability | 既存Datadog契約の延長で導入 | すでにDatadogで統合監視中 | LLMスパン検出で追加課金が発生する |
Langfuseは2026年1月にClickHouse社に買収されましたが、MITライセンスは維持されています(Langfuse)。
実務判断向けの比較軸
導入判断に使う軸で整理します。数値はいずれも2026年8月時点の公開情報を基にしており、変更される場合があります。
| 比較軸 | Langfuse | LangSmith | Arize Phoenix | Datadog LLM Obs. |
|---|---|---|---|---|
| ライセンス | MIT | 商用 | Apache 2.0 | 商用 |
| セルフホスト | 無料(全機能) | Enterpriseのみ | 無料(全機能) | 不可 |
| クラウド無料枠 | 5万イベント/月 | 5千トレース/月 | ローカル/自社ホスト前提 | 4万LLMスパン/月 |
| 有料開始価格 | $59/seat | $39/seat(Plus) | Arize AX別料金 | $160/月(Pro, 10万スパン) |
| データ送信先 | 自社(セルフホスト時) | LangChain社/自社 | 自社 | Datadog社 |
| 標準トレース形式 | OpenTelemetry対応 | 独自 + OTel | OpenTelemetry + OpenInference | OpenTelemetry対応 |
料金の出典は、Langfuse Cloud Pricing、LangSmith Pricing、Arize Phoenix、Datadog LLM Observability Costを参照してください。
Datadogは2026年5月1日から新料金が適用され、LLMスパンを検出すると$120/日のプレミアム課金が自動で発生します(Datadog LLM Observability Cost)。既存のDatadog契約と合算して総額を確認してください。
実装・運用で確認すべき項目
導入前に、次の項目を担当者・担当部署ごとに埋めます。
導入前チェックリスト
- 取り扱うプロンプトに含まれる機密情報の種別
- ログの保管先(自社インフラ/SaaS事業者)
- ログの保持期間と削除ポリシー
- 監査ログ、アクセス権限、SSOの要件
- 既存の監視SaaS(Datadog、New Relic等)との重複可否
- 想定トレース数と月次コスト上限
- 障害発生時の一次対応担当
運用開始後に見る指標
- 1リクエスト当たりの入出力トークン数
- 1リクエスト当たりの推定コスト
- モデル別・エンドポイント別の呼び出し比率
- 応答遅延(P50、P95)
- 失敗率とタイムアウト率
- 評価スコア(正答率、幻覚率、ユーザー修正率)
指標は「何を測るか」と「誰がいつ見るか」をセットで決めることが重要です。ダッシュボードだけを作っても、当番と閾値がないと放置されます。
リスクと限界
可観測性ツールは万能ではありません。過大評価しないよう、限界を先に把握します。
- ログ自体が機密情報になる: プロンプトと応答をそのまま保管すると、扱いを誤ると漏洩リスクが増える
- 評価スコアは絶対値ではない: LLM-as-a-Judgeの評価は誤差を含む。定期的に人手レビューと突き合わせる
- ツールロックイン: 独自トレース形式に依存すると、他ツールへ移行しにくくなる。OpenTelemetry標準を優先する
- 多段課金: SaaS版はスパン数、シート数、保持期間、評価回数で個別に課金される。総額を試算する
- 本番負荷への影響: 全リクエストをフルログ保存するとストレージが跳ねる。サンプリング設計を先に決める
注意
※LLM関連サービスの料金、データ保持条件、提供機能は変更される場合があります。導入前に公式情報で最新条件を確認してください。
採用しないほうがよい条件
次の場合は、そのツール採用を見直します。
- LangSmith: LangChain/LangGraphを使わない場合は、統合上の利点が薄い
- Datadog LLM Observability: 既存Datadog契約がない場合、監視SaaSを新規に増やす合理性は乏しい
- Langfuse セルフホスト: ClickHouseやPostgreSQLの運用体制がなく、外部委託の予算もない場合
- Arize Phoenix 本番大規模: 大規模チーム運用が必要なのに、無償版だけで済ませようとする場合
Blackfordの見解
Blackfordは、LLM可観測性を単独ツール導入ではなく、業務データ基盤、既存クラウド、運用責任者の設計と一体で検討することを勧めます。
判断の起点は次です。
- 業務課題: どの業務でLLMが使われ、失敗の影響が誰に及ぶか
- 扱うデータ: 顧客データ、契約情報、社外秘資料の混入可能性
- コスト上限: 月次API費用とログ保存費用の総額
- セキュリティ要件: データ送信先、監査ログ、権限管理
- 既存クラウド: AWS、Azure、GCPの既存契約とVPC構成
- 運用責任者: 障害時の一次対応と週次レビューの担当
たとえば、社内ナレッジ検索や顧客対応にLLMを組み込む場合を考えます。DataRoidのようなデータ活用基盤と可観測性ログを連携させると、評価データの整備と改善サイクルが回しやすくなります。
既存クラウドやVPC内で完結させたい場合はDataRoid Cloudの構成検討が候補になります。
自社にどの組み合わせが向くかを整理したい場合は、業務範囲とデータの種類を洗い出したうえでBlackfordに相談してください。
よくある質問
LLM可観測性ツールは中小企業でも必要ですか？
必要です。ただし、規模が小さいうちは無料枠の広いOSSクラウド版か、セルフホスト可能なOSSから始められます。まずは全トレースを保存するのではなく、失敗ログと高コストトレースだけをサンプリング保存する運用でも十分に効果があります。
既存のDatadogやNew Relicと重複させるべきですか？
原則、既存契約側のLLM機能を先に確認します。LLM専用ツールを別途契約すると、コストとログ保管先が二重化します。ただし、機密プロンプトの取り扱いや評価機能で不足がある場合は、専用ツールを併用する判断が合理的です。
プロンプトログをそのまま保存しても大丈夫ですか？
そのまま保存するのは推奨できません。プロンプトには顧客名、契約情報、社外秘資料が含まれ得ます。個人情報のマスキング、保持期間の制限、アクセス権限の分離を先に設計し、必要なら評価用データセットは別基盤に分けて管理します。
OpenTelemetry標準に揃えるメリットは何ですか？
将来ツールを乗り換えるコストを下げられます。独自形式のログは、ツール変更時に取り直しになりがちです。OpenTelemetry+OpenInferenceに揃えておくと、Arize Phoenix、Langfuse、DatadogなどOTel対応ツール間の移行が現実的になります。
まとめ
LLM可観測性ツールの選定は、ライセンス、データ送信先、既存監視基盤、想定コストの順に判断すると失敗しにくくなります。機能比較を先にすると、後からセキュリティ要件で覆ることが多いためです。
Langfuse・LangSmith・Arize Phoenix・Datadogは、それぞれ得意な状況が異なります。まずは自社が扱うプロンプトの機密度、既存クラウド、監視SaaS契約を棚卸ししてから、ツール検証に進みましょう。
自社に合う可観測性ツールと運用体制の設計に迷う場合は、業務要件を整理したうえで専門家に相談することをおすすめします。
＼LLM運用の可観測性とデータ基盤を相談できます／
Blackfordに相談する
