LLMの事実想起は「モデルサイズ」と「訓練データ頻度」で予測可能
原題: Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency
・38個のLLMモデルに対し8,900以上の学術文献参照で評価した結果、事実想起の品質がモデルパラメータ数と訓練データ内のトピック出現頻度の対数線形結合に従うシグモイド曲線を示した。 ・この2つの変数だけで分散の約60%を説明でき、事実回想能力の予測可能な拡張法則を初めて確立。 ・LLMの幻想（confabulation）が単なるランダムなエラーではなく、モデルサイズと学習データ構成に依存した予測可能なパターンで発生することを実証。
ゼロビズAX View — 日本企業ならどう活かすか
企業のLLM導入時、回答精度を事前評価する指標が得られた。業務文書や業界用語の頻度が低い領域ではより大規模モデルが必要になる可能性、逆に頻出データが豊富な領域では中規模モデルでも信頼性が高いことが予想される。検証スコアの組み込みや、ファインチューニング時の学習データ偏りを意識した設計に活用できる。具体的な導入支援ツールの情報は本報告から不足。
Next step
この記事を自社の案件に当てはめる
ナレッジ検索、業務自動化、社内AIエージェントなど、現場オペレーションに寄せた導入を設計します。
AI導入・業務AI開発
一次ソース: https://arxiv.org/abs/2605.18732v1
本記事は海外の一次ソースを基に AI が要約したものです。誤訳・誤要約の可能性があり、実装判断の前に必ず原文をご確認ください。「ゼロビズAX View」は当社による応用見立てであり、特定の成果を保証するものではありません。
← 一覧に戻る