RAGは作ったのに使われない。運用で止まる会社に共通する3つの原因

社内向けのRAGを作った。デモは動いた。でも現場では使われていない——こうした会社は想定以上に多いです。

「モデルの精度が足りないのか」「プロンプトの問題か」と思われがちですが、止まる原因の大半はそこではありません。この記事では、RAGが運用に乗らない会社に共通する3つの原因を整理します。

RAGが「作っただけ」で止まる会社は多い

生成AI活用が加速した結果、PoCレベルのRAGを作った会社は増えています。でも実運用に乗っているかというと、かなり違います。

「デモはできるが、現場で使う気になれない」「問い合わせに使わせようとしたが、外れた回答が多くて信頼されない」——こうした声が出るのは、作った後の運用設計が追いついていないからです。

問題はモデルの性能より前の段階にあります。

RAGの回答品質は、ベクトルストアに入れたデータの品質に直結します。ところが多くの会社では、社内資料の管理が統一されていません。

こうした状態のまま資料を入力しても、RAGは古い情報・矛盾した情報・意味のない重複を参照してしまいます。「資料は大量にあるのに、回答がおかしい」という状態の多くは、ここに原因があります。

「資料を全部入れたのになぜ答えない」という相談でよく見つかるのが、チャンク設計の問題です。

PDFやExcelを単純に文字分割してベクトル化すると、次のようなことが起きます。

テキストを「意味のある単位」で分割していないと、検索で拾ってきたチャンクが文脈として機能しません。正しい資料を参照していても、回答が的外れになります。

「なんとなく試したら悪くなかった」でPoCを終えると、精度をどう評価するかの基準がないまま実運用への判断を迫られます。

検証の仕組みがないと、問題が起きても原因が特定できず、改善も進みません。結果として「デモ止まり」のまま放置されます。

原因が3つに分かれるので、詰まっている箇所によって対処が変わります。

入力データが不安定な場合

まず資料の棚卸しから始めます。有効な資料の特定・重複の整理・更新ルールの設計が先です。

チャンク設計が粗い場合

PDFやExcelの構造を読み、意味単位での分割方法を設計し直します。メタデータの付与（日付・部署・対象読者など）もこの段階で整えます。

検証の仕組みがない場合

テストデータを用意して、正誤判定の基準を作るところから始めます。改善前後で比較できる評価指標があると、社内への説明も通りやすくなります。

ロコアシのRAGメンテナンスは、以下の工程を担当します。

データ整備 散在した資料の収集・整理・クリーニング。RAGに入力できる形への変換と構造化。

RAG構築サポート チャンク設計の見直し。意味単位での分割方法の設計とメタデータ付与。

精度検証・採点 テストデータの作成、回答の正誤検証、改善提案。継続的な精度確認の運用設計。

PoCで止まっているRAGの立て直し、運用中だが精度が安定していないRAGの改善、どちらにも対応しています。

RAGが使われない原因は、モデルではなく「データ整備・チャンク設計・検証運用」の不足であることが多いです。

「デモは動いたが本番に進めない」「精度が安定しない」「何から直せばいいか分からない」——これらの状況でも、どこが詰まっているかを整理することから始められます。