o3-miniもやばいけど、 Googleの「DataGemma」がやばい。 RAGに加えて「RIG」の技術を使用。 RIGについては長くなるのでリプ欄↓

事前知識：Data Commonsとは？ Data Commonsは、信頼性の高い公的情報源（国連、世界保健機関、アメリカ疾病予防管理センター、各国の国勢調査局など）から収集された、2400億を超えるデータポイントと数十万に及ぶ統計変数を統合した知識グラフです。 この膨大なデータベースは、健康、経済、人口統計、環境など、多岐にわたるトピックについての正確で最新の情報を提供し、政策立案者、研究者、さらには一般ユーザーが自然言語でデータにアクセスできるよう支援します。

DataGemmaの概要と狙い DataGemmaは、GoogleのData Commonsの広範なデータリソースを活用し、LLMの幻覚問題に対処するために開発されました。 従来のLLMは、訓練データに基づいて応答を生成するため、最新の統計情報や信頼性の高い実世界のデータを反映しにくいという課題がありました。 DataGemmaは、この点を克服すべく、以下の2つのアプローチを採用しています。

DataGemmaの仕組み 1. RIG（Retrieval-Interleaved Generation） RIGは、LLMが応答生成中に、信頼できる情報源から積極的にデータを取得し、事実確認を行う仕組み。 たとえば、モデルが「世界における再生可能エネルギーの利用は増加しているか？」という質問に対して回答する際、内部でData Commonsのデータを検索し、統計情報に基づいた正確な回答を導き出します。 このプロセスにより、モデルが自らの内部知識に頼りすぎることなく、現実世界の信頼性の高いデータを参照することで、幻覚のリスクが軽減されます。

2. RAG（Retrieval-Augmented Generation） RAGは、応答生成前に関連する文脈情報をData Commonsから取得し、より広い文脈を反映した回答を生成する手法。 Gemini 1.5 Proの長いコンテキストウィンドウを活用することで、モデルは従来の訓練データだけではなく、最新かつ多角的なデータ情報を取り入れた回答が可能となる。 これにより、数値や統計情報の正確性が向上し、回答に対する注釈や出典も明示されるため、利用者がより納得できる情報が提供されます。

何がやばいのか結論。 初期の実験結果では、RIGおよびRAGの手法を導入することで、数値や統計に関する情報の精度が大幅に向上し、幻覚現象が顕著に減少することが確認されています。 これにより、研究用途、意思決定支援、単に好奇心を満たすための利用においても、より信頼性の高い結果が得られると期待される。 今後は、これらの手法をさらに洗練させ、GemmaおよびGeminiモデルへの段階的な統合を進めることで、広範なユーザーに対して正確で信頼性のある生成AIの提供を目指しているそう。 また、オープンなモデルとして公開することで、研究者や開発者が自由に実験・改良を行い、より多くの場面で現実世界のデータに基づく正確な情報提供が実現されることが期待される。

詳細はこちら↓

toBやってるAIの会社はこの情報追った方がいい。統計とか分析とか大好きやろ🫵

With Balanced Breeding Sires from #STgenetics, you can create your own balance! #GAMEON is +3167 GTPI +1.63 GPTAT +1822 lbs Milk #LOGIC is +3217 GTPI +1.75 UDC +2157 lbs Milk #PATAN is +3013 GTPI +2.78 GPTAT +2354 lbs Milk All available in #Ultraplus™.