大規模言語モデル(LLM)に精度・知識の更新速度・回答の透明性などを与える「RAG(検索拡張生成)」

ChatGPTやGoogleのBard、MicrosoftのBing AIなど、2023年はチャットAIが急速に普及する1年となりました。そんなチャットAIのベースとなる大規模言語モデル(LLM)は、「幻覚を引き起こす」「知識更新が遅い」「回答の透明性が欠如する」といった問題を抱えているのですが、これらを解消することができるテクノロジーが「RAG」です。
[2312.10997] Retrieval-Augmented Generation for Large Language Models: A Survey
https://arxiv.org/abs/2312.10997

GitHub - Tongji-KGLLM/RAG-Survey
https://github.com/Tongji-KGLLM/RAG-Survey
ChatGPTなど急速に普及するチャットAIのベースとなるLLMは非常に強力ですが、実用的な応用において事実とは異なる内容を出力する「ハルシネーション(幻覚)」を起こすことが度々問題視されています。AIが引き起こす幻覚は大きな話題となり、ケンブリッジ大学が出版するケンブリッジ辞典の「2023年を象徴する言葉」にも選出されました。
ChatGPTが幻覚により存在しない判例を作成し、これを知らずに採用してしまった弁護士が罰金の支払いを命じられるという事態も発生しています。
ChatGPTがでっちあげた存在しない過去の判例をそのまま採用した弁護士に5000ドルの支払いが命じられる - GIGAZINE

AmazonのAIチャットサービスである「Amazon Q」が、幻覚によりAWSデータセンターの場所などの機密データを漏えいしているとの指摘も。
AmazonのAI「Amazon Q」は重度の幻覚によってAWSデータセンターの場所などの機密データを漏えいしているとの指摘 - GIGAZINE

そのため、LLMが幻覚を引き起こすリスクを客観的に検証できる評価モデルが開発されたり、幻覚の発生率を大幅に減らすことができるLLMの「Gorilla」が誕生したりと、AI研究者はLLMの幻覚対策を進めています。
この他、LLMは「知識更新が遅い」「回答の透明性が欠如する」といった問題も抱えています。これは、LLMが一般的にパラメーター数がモデルの複雑さを表しており、パラメーター数が増えると複雑なタスクに対して高い性能を発揮できるようになるものの、学習にかかる時間や計算リソースが増加したり、過学習に陥ってしまったり、ブラックボックス化してしまったりするためです。
LLMが抱えるこれらの問題を解決するために開発されたのが、「Retrieval-Augmented Generation(RAG：検索拡張生成)」です。RAGはLLMで何かしらのプロンプト(質問)に答える前に、外部の知識ベースから関連情報を検索するというもので、生成ベースのLLMに検索ベース機能を追加することで欠点を補うというアイデアがベースになっています。
RAGについて、半導体大手のNVIDIAは「研究論文の脚注のように引用できるソースをモデルに与えます」と説明しています。RAGを用いることでLLMの出力に外部のデータベース由来のソース(引用元)を付け加えることが可能となり、回答の精度や透明性を高めることができるそうです。RAGについて研究するYunfan Gao氏ら研究チームは、「LLMを用いた知識集約的なタスクにおいて、特に回答精度を大幅に向上させることが可能となり、同時に幻覚の発生率を減らすことにもつながることが実証されています」と言及しています。
また、LLMが出力する回答のソースを引用することが可能となるため、ユーザーは回答の正当性を検証することができるようになります。つまり、LLMの出力に対する信頼性を高めることにもつながるわけです。他にも、外部のデータベースを利用できるため、「LLMの知識ベースの更新」や「LLMにドメイン固有知識を導入」することも容易です。
開発者チームはRAGについて、「RAGはLLMのパラメーター化された知識をパラメーター化されていない外部の知識ベースと効果的に組み合わせることで、LLM実装の最も重要な手法のひとつとなるでしょう」と主張しています。
なお、ソーシャルニュースサイトのHacker Newsでは「自前のドキュメントでカスタムLLMかChatGPTをトレーニングするにはどうしたらいい？」という質問への回答で、RAGが挙げられていました。