公開
動的環境下のLLMエージェント向けメモリ進化追跡フレームワーク
・LLMエージェントが静的環境での評価に依存しており、実務の動的環境に対応できない課題を指摘 ・EvoArenaベンチマークスイートを提案。段階的な環境変化を通じてエージェントのメモリ進化を評価 ・エージェントが知識・スキル・行動を継続的に更新し、変化する条件に適応する能力を測定する仕組みを構築
AI
Archive 記事を横断検索
自社に関係するAI情報を、すぐ見つける。
キーワードだけでなく、業界・用途・情報種別・公開時期を組み合わせて検索できます。気になるテーマから、自社で試すヒントまでまとめて辿れます。
← AI Intel トップに戻る70件
2 / 3ページ
- Source
- 公開Source
現代 LLM の見えない依存関係：モデル系統の監査方法
・現代の大規模言語モデル（LLM）は、学習データ生成・フィルタリング・評価の各段階で他のモデルに依存している ・これらの依存関係は再帰的で、複数のリリースと文書にまたがり、全体像を把握することが困難になっている ・公開されている各種の成果物から依存構造を追跡することは、複雑性と深さから人間による確認が実質的に不可能な状況に直面している ・LLM の透明性と信頼性向上のため、こうした見えない依存関係を体系的に監査・記録する必要がある
- 公開Source
LLM自動化の効果を巡る研究上の課題
・LLMが人間レベルの専門知識を持つとの主張は、ベンチマークタスクでの平均的なパフォーマンスに基づいているが、これらの評価手法には根本的な限界がある。 ・多くのベンチマークはLLMの学習データに直接含まれるコンテンツに基づいており、真の性能測定とは言えない。 ・LLMのパフォーマンス信頼性を評価していないベンチマークでは、実務運用での有効性を判断できない可能性がある。 ・標準化データセットでの測定結果と実業務での応用可能性にギャップが存...
- 公開Source
自己蒸留における反応調整の役割
・言語モデルが追加の文脈（前の試みへのフィードバック）を受け取ると応答が向上するが、自己蒸留はそれを文脈なしでも保持させる訓練方法。 ・学生モデルと教師モデルの出力分布を一致させることで、フィードバックなしで改善を維持させる仕組み。 ・モデルが学習する内容は教師が受け取る文脈の内容に大きく依存し、その選択が自己蒸留の効果を左右する。
- 公開Source
複数データセット対応のテスト時プロンプト学習フレームワーク EEVEE
・LLMエージェントが実行時に複数のデータセット・ドメインから異なる入力を処理できるプロンプト学習フレームワーク EEVEE を提案 ・既存手法は単一データセット想定だが、実世界ではデータの多様性に対応が必須で応用性に課題がある ・異なるデータセット間の干渉を軽減する仕組みを導入し、実タスクストリーム下でのプロンプト学習を実現
- 公開Source
大規模言語モデルの確率推論精度を検証：サイコロ問題を中心に
・8つの最先端LLMを対象に、標準的な確率問題と直感に反する問題の2種類を用いて検証 ・標準問題では平均精度96%だが、直感に反する問題での精度は著しく低下 ・Chain-of-Thoughtプロンプティングの効果を測定し、推論能力の限界を明示 ・離散確率問題におけるLLMの信頼性と偏りを体系的に評価
- 公開Source
MemDreamer：長時間動画理解のための知覚と推論の分離と階層グラフメモリ
・視覚言語モデルが長時間動画の処理でトークン数爆増と注意散漫に直面する問題に対し、MemDreamerが知覚と推論を分離する手法を提案。 ・動画をインクリメンタルにストリーミング処理し、セマンティック抽象化を行う3層階層グラフメモリを構築することで効率化を実現。 ・エージェント的検索メカニズムにより、長時間動画の理解を段階的な探索プロセスに再構成。 ・プラグアンドプレイフレームワークとして既存モデルに統合可能な設計。
- 公開Source
エージェント社会における長期生活シミュレーションと学習
・LLMベースのエージェントが社会的相互作用を通じて学習するシミュレーション環境を研究 ・従来は日単位の短期シミュレーションに限定されていたが、長期的な成長と深い相互作用を可能にする手法を提案 ・シミュレートされた社会経験からLLMが人間行動の理解と再現を学習できるか検証 ・複数エージェント間の時間スパンを拡張することで、より現実的な社会的ダイナミクスを実現
- 公開Source
LLMは信念の表現方法に左右される─言語形式による応答性の違いを評価
・ユーザーがLLMに述べた信念（前提条件・証拠表現・確実性マーカーなど）に対して、LLMの応答パターンが異なることを指摘。 ・同じ内容でも「言い方」（言語形式）によって、LLMが信念を受け入れるか・既知知識を優先するかが変動。 ・信念表現の言語的多様性を分類する体系を導入し、LLMの説得可能性（persuasiveness）を系統的に評価。 ・ユーザー指示への応答一貫性とLLM信頼性に関わる重要な課題。
- 公開Source
自動運転車の脆弱性情報を構造化するオープンソースLLMの評価
・接続型・自動運転車（CAV）のセンサーや制御ユニット、通信システムなどに存在する脆弱性が、平文テキストのCVEデータベースに記録されている現状を指摘。 ・セキュリティ実務者が必要とする「影響範囲資産の構造化情報」を、オープンウェイトLLMで自動生成する可能性を検討。 ・自動運転車領域での脆弱性管理効率化に向けた、LLM活用の実現性を評価する研究。
- 公開Source
予測市場の再現検証：LLM予測モデルの評価手法
・LLM（大言語モデル）の予測精度を評価する際、バックテスト手法で過去の予測問題を再実行するが、データリーク問題が存在する。 ・検索機能を持つモデルは事後的に執筆されたレポートを参照でき、予測ではなく情報検索になる可能性がある。 ・年次更新によるトレーニングデータの差異も、公平な予測評価を阻害する要因となる。 ・こうしたバイアスを制御した評価フレームワーク（Hindcast）の必要性が示唆されている。
- 公開Source
深い相互作用：大規模推論モデルの効率的な人間-AI対話手法
・Chain-of-Thought（段階的思考）推論の活用により、LLMは複雑な多段階タスク対応が可能になったが、エラー発生時の現在の対話手法は不十分である ・既存手法では完全な再生成による再び誤る可能性、またはユーザーが誤りステップを指摘しても同じ誤りが繰り返される課題がある ・本研究は人間-AI相互作用の効率化を目的とした新手法を提案している
- 公開Source
参照回答がない場合、LLMジャッジは甘すぎる可能性がある
・LLMを評価者として使う際、正解がない「ノーリファレンス評価」では、LLMが甘い採点をする傾向がある ・キャリブレーション実験と感度実験の2段階パイプラインで、LLMジャッジの信頼性を検証 ・タスク知識の不足や入力変動への過敏さが、評価の一貫性と精度を損なう可能性を指摘
- 公開Source
集約精度の落とし穴：タスク無関係な文脈下での予測の不安定性
・大規模言語モデル（LLM）が本来のタスクと無関係な長いテキストを前置きされても、全体的な精度は変わらないように見える現象を報告 ・しかし個別の回答は不安定で、同じ質問でも無関係な文脈により回答が反転するケースが多数存在 ・集約精度という表面的な指標では、モデルの実際の脆弱性が隠蔽される可能性を指摘 ・実務運用では無関係な情報に左右されるリスクを考慮した評価が必要
- 公開Source
AI エージェントはタスクの難易度を認識できるか──複雑性を考慮した推論と実行に向けて
・LLM エージェントは単純な 1 行の編集でも、すでに読んだファイルや依存関係を何度も再読込みする「最大コンテキスト優先戦略」を採用している。 ・タスクの実際の難易度や必要な情報範囲を事前に推定できず、結果として不要な処理オーバーヘッドが発生。 ・研究は「タスク認識スコープ推定」という能力の重要性を指摘し、効率的で適応的なエージェント動作の実現を目指している。
- 公開Source
AI エージェントによる IoT 脆弱性の自動探索・検証技術
・IoT デバイスは限定的なハードウェア・古いファームウェア・不適切な初期設定により脆弱性が多発している課題を指摘 ・大規模言語モデル（LLM）ベースのAIエージェントをペネトレーションテストに適用し、IoT固有の脆弱性検証を自動化する研究 ・複数エージェントの協調動作により、手作業では対応困難なIoTシステムの包括的なセキュリティテストを実現する提案
- 公開Source
WebSwarm：複数AIエージェントを階層的に連携させた深く広いWebサーチシステム
・LLMベースのWeb検索エージェントが、単なる質問応答から深く複雑な調査タスクへ進化している ・従来の単一エージェントは長い推論経路と限定的なコンテキストで深さと広さの両立が困難 ・複数エージェント並列実行は広さに対応するが、深さの探究に課題が残っている ・WebSwarmは再帰的な階層構造でエージェント間の協調を実現し、課題解決を目指す
- 公開Source
論文引用検証に最先端モデルは必要か：ルーブリック型LLMのベンチマーク研究
・深い調査を行うAIシステムで、LLMが主張を支持する根拠として引用を提示する際の引用品質を評価。 ・強化学習の報酬モデルとして機能するLLM判定者の性能と偏りを検証するためのベンチマーク調査。 ・引用品質という構造化されたルーブリックタスクについて、異なるLLM規模での判定能力を比較検討。 ・実装前に判定者LLMがどの程度の能力を必要とし、どの程度バイアスを持つかを明確にする枠組みを提示。
- 公開Source
LLMのデータ注釈者としての妥当性：AMARIAによる権威性評価
・ポルトガル語特化の9Bパラメータ言語モデル「AMALIA」が、道徳的基盤（権威性）の分類でF1スコアで人間のコーダーに接近した性能を示す ・8～13倍大規模なオープンモデルとの比較で、単純な一致率では競争力を持つが、理論的構成概念の妥当性測定には別の検証が必要 ・言語モデルの注釈精度と妥当性の区別が、多言語・地域特化モデルの信頼性評価の鍵となる
- 公開Source
UniClawBench：実世界タスクで主体的に動作するエージェントの評価ベンチマーク
・大規模言語モデル（LLM）と多モーダルLLMの発展により、実環境で日常のツールを操作する主体的エージェント（Proactive Agent）が登場。 ・既存ベンチマークはサンドボックス環境・単一ターン評価に限定されており、複雑な実世界タスク評価に対応不足。 ・UniClawBenchはこの課題に対応し、複数のモデル能力を分離した新しい評価タスク分類を提案。
- 公開Source
AnthropicがClaudeの内部構造を可視化する新技術を開発
・AnthropicがLLM内部の動作メカニズムを観察する「Jacobian lens（J-lens）」ツールを開発。 ・Claude Opus 4.6内で「J-space」と呼ぶ隠れた領域を発見し、モデルが概念を処理する過程を解明。 ・発見内容は予想外の振る舞いから一般的な動作まで多岐にわたり、LLMの透明性向上に寄与。
- 公開Source
LLMの学習忘却における局所化精度を評価するテストベッド「LACUNA」
・LLMが学習データ内の個人識別情報（PII）を記憶する問題に対し、「学習忘却」による事後的な削除方法の需要が高まっている ・既存の学習忘却手法は特定モデルパラメータを対象とする「局所化→忘却」パラダイムに従うが、評価ベンチマークは出力レベルのみに限定されている ・LACUNAは、学習忘却が実際に知識を完全に消去しているかを検証するテストベッドを提供する新しい評価フレームワークである ・パラメータレベルの精度測定により、既存SOTA手法...
- 公開Source
LLMの記憶管理を学習可能なスキルとして自動最適化するAutoMem
・LLMに対して、ファイルシステム操作をタスク実行と同等の選択肢として提供し、モデル自身が記憶の管理方法を学習できる枠組みを提案。 ・認知科学の「メタメモリ」（何をいつ記憶し、どう整理するか）という概念をLLMに適用。 ・プロンプトの工夫と構造的改善の双方で記憶スキルが向上することを示唆。 ・長期的な推論やマルチステップタスクにおけるLLMの性能向上に寄与する可能性。
- 公開Source
LLMが表データを誤読する問題：データ参照エラーの測定と削減方法
・大規模言語モデル（LLM）が表形式データを処理する際、表構造は理解しているにもかかわらずデータ参照エラー（値の誤引用・省略）を起こす問題を初めて体系的に評価。・このエラーは最終的な答えの正確性だけでなく、中間的な推論ステップの信頼性も損なう。・従来研究は限定的で小規模な分析にとどまっていたが、本研究でより包括的な評価フレームワークを提示。