公開
現代 LLM の見えない依存関係：モデル系統の監査方法
・現代の大規模言語モデル（LLM）は、学習データ生成・フィルタリング・評価の各段階で他のモデルに依存している ・これらの依存関係は再帰的で、複数のリリースと文書にまたがり、全体像を把握することが困難になっている ・公開されている各種の成果物から依存構造を追跡することは、複雑性と深さから人間による確認が実質的に不可能な状況に直面している ・LLM の透明性と信頼性向上のため、こうした見えない依存関係を体系的に監査・記録する必要がある
AI
Archive 記事を横断検索
自社に関係するAI情報を、すぐ見つける。
キーワードだけでなく、業界・用途・情報種別・公開時期を組み合わせて検索できます。気になるテーマから、自社で試すヒントまでまとめて辿れます。
← AI Intel トップに戻る158件
3 / 7ページ
- Source
- 公開Source
LLM自動化の効果を巡る研究上の課題
・LLMが人間レベルの専門知識を持つとの主張は、ベンチマークタスクでの平均的なパフォーマンスに基づいているが、これらの評価手法には根本的な限界がある。 ・多くのベンチマークはLLMの学習データに直接含まれるコンテンツに基づいており、真の性能測定とは言えない。 ・LLMのパフォーマンス信頼性を評価していないベンチマークでは、実務運用での有効性を判断できない可能性がある。 ・標準化データセットでの測定結果と実業務での応用可能性にギャップが存...
- 公開Source
原子力技術を応用した冷却システム、データセンターの省電力化へ
・AI需要の急増に伴い、米国のデータセンター電力消費は2030年代に総電力の9～17％に達する見込み。・現在、データセンター電力の約3分の1が冷却に費やされており、エネルギー効率が重要課題。・MIT関連のスタートアップが原子力冷却技術からインスパイアされたシステムを開発し、データセンターの消費電力削減が可能に。
- 公開Source
自己蒸留における反応調整の役割
・言語モデルが追加の文脈（前の試みへのフィードバック）を受け取ると応答が向上するが、自己蒸留はそれを文脈なしでも保持させる訓練方法。 ・学生モデルと教師モデルの出力分布を一致させることで、フィードバックなしで改善を維持させる仕組み。 ・モデルが学習する内容は教師が受け取る文脈の内容に大きく依存し、その選択が自己蒸留の効果を左右する。
- 公開Source
複数データセット対応のテスト時プロンプト学習フレームワーク EEVEE
・LLMエージェントが実行時に複数のデータセット・ドメインから異なる入力を処理できるプロンプト学習フレームワーク EEVEE を提案 ・既存手法は単一データセット想定だが、実世界ではデータの多様性に対応が必須で応用性に課題がある ・異なるデータセット間の干渉を軽減する仕組みを導入し、実タスクストリーム下でのプロンプト学習を実現
- 公開Source
Piper：分散学習システムのプログラマブル化に向けた新フレームワーク
・大規模モデル学習では、データ並列・パイプライン並列・エキスパート並列とZeROなどの省メモリ化を組み合わせる必要があり、専門家による設計・実装が適応の負担になっている。 ・Piperは戦略と実行基盤を分離し、少数のモデル注釈とスケジューリング指示から、計算と通信を表す統合DAGを介してデバイス別の実行計画を生成する。 ・論文ではZeROなど既存戦略で同等性能を保ちつつ、計算と通信の共同スケジューリングにより、DualPipeのような複...
- 公開Source
iOSWorld：個人情報を活用するスマートフォンエージェントのベンチマーク
・iOSWorld は、ユーザーの身元・履歴・好みを学習する「個人知能型」フォンエージェントの初の専用ベンチマークであり、単発の指示ではなく継続的な個人情報を活用する必要性を提唱している。 ・26個の新規構築iOS アプリを含むネイティブ iOS シミュレーターで、アプリ間のデータ連携（クロスアプリ参照）を実現し、現実的なスマートフォン操作環境を再現した。 ・既存のモバイルエージェント評価ツールの多くが「個人情報ゼロの砂箱環境」という制...
- 公開Source
大規模言語モデルの確率推論精度を検証：サイコロ問題を中心に
・8つの最先端LLMを対象に、標準的な確率問題と直感に反する問題の2種類を用いて検証 ・標準問題では平均精度96%だが、直感に反する問題での精度は著しく低下 ・Chain-of-Thoughtプロンプティングの効果を測定し、推論能力の限界を明示 ・離散確率問題におけるLLMの信頼性と偏りを体系的に評価
- 公開Source
MemDreamer：長時間動画理解のための知覚と推論の分離と階層グラフメモリ
・視覚言語モデルが長時間動画の処理でトークン数爆増と注意散漫に直面する問題に対し、MemDreamerが知覚と推論を分離する手法を提案。 ・動画をインクリメンタルにストリーミング処理し、セマンティック抽象化を行う3層階層グラフメモリを構築することで効率化を実現。 ・エージェント的検索メカニズムにより、長時間動画の理解を段階的な探索プロセスに再構成。 ・プラグアンドプレイフレームワークとして既存モデルに統合可能な設計。
- 公開Source
AI駆動型HPC ワークフロー設計の12の実践的指針
・従来の高性能計算（HPC）クラスタは決定論的な線形パイプラインに最適化されているが、AIと基盤モデルの統合により確率的・反復的なワークフローが新たに求められている ・AI駆動型ワークフローは従来のHPC最適化手法では対応できない特有の課題を抱えており、設計段階での配慮が重要 ・arXiv掲載の研究論文で、科学計算環境におけるAI統合の具体的な設計原則が提示される
- 公開Source
エージェント社会における長期生活シミュレーションと学習
・LLMベースのエージェントが社会的相互作用を通じて学習するシミュレーション環境を研究 ・従来は日単位の短期シミュレーションに限定されていたが、長期的な成長と深い相互作用を可能にする手法を提案 ・シミュレートされた社会経験からLLMが人間行動の理解と再現を学習できるか検証 ・複数エージェント間の時間スパンを拡張することで、より現実的な社会的ダイナミクスを実現
- 公開Source
次世代AI開発を支える材料科学イノベーション
・AI性能向上の裏側には、アルゴリズムや半導体投資以上に、材料科学の革新が不可欠である。 ・新世代AI技術は処理性能、メモリ容量、省エネ性、信頼性の向上を同時に要求し、これらは先端材料開発と直結している。 ・AIの物理的制約（熱、消費電力、チップの劣化）を解決するには、半導体製造よりも基礎素材の開発段階が重要となる。
- 公開Source
LLMは信念の表現方法に左右される─言語形式による応答性の違いを評価
・ユーザーがLLMに述べた信念（前提条件・証拠表現・確実性マーカーなど）に対して、LLMの応答パターンが異なることを指摘。 ・同じ内容でも「言い方」（言語形式）によって、LLMが信念を受け入れるか・既知知識を優先するかが変動。 ・信念表現の言語的多様性を分類する体系を導入し、LLMの説得可能性（persuasiveness）を系統的に評価。 ・ユーザー指示への応答一貫性とLLM信頼性に関わる重要な課題。
- 公開Source
ロボットが混雑空間を安全に移動するための適応的な安全マージン学習
・屋内の混雑空間でロボットナビゲーションが失敗する主因は、固定的な安全マージンの不適切なキャリブレーションにあることを指摘 ・保守的すぎるマージンは迂回・タイムアウト、緩いマージンは知覚偏差による危険な近道につながる ・拡散型プランナーが RGB-D センサーから複数の軌道案を生成するものの、信頼性の高い選択が課題 ・文脈を考慮した安全評価器（safety critic）により、状況に応じた適応的なマージン学習を実現する手法を提案
- 公開Source
自動運転車の脆弱性情報を構造化するオープンソースLLMの評価
・接続型・自動運転車（CAV）のセンサーや制御ユニット、通信システムなどに存在する脆弱性が、平文テキストのCVEデータベースに記録されている現状を指摘。 ・セキュリティ実務者が必要とする「影響範囲資産の構造化情報」を、オープンウェイトLLMで自動生成する可能性を検討。 ・自動運転車領域での脆弱性管理効率化に向けた、LLM活用の実現性を評価する研究。
- 公開Source
マルチモーダル医療AI：リーダーボード順位を超えた信頼性設計
・医療用マルチモーダル AI（画像と テキストを組み合わせた質問応答システム）の信頼性と解釈可能性に関する設計原則を検証 ・消化管内視鏡検査データを用いた実例研究で、9つのシステムの回答品質と説明の正確性を比較分析 ・パラメータ効率的な既存モデル活用は性能向上をもたらすが、臨床推論の忠実性や完全性には必ずしも結びつかないという課題を指摘 ・ベンチマークスコアと実臨床での信頼性にギャップがあることを実証
- 公開Source
検索システムの静的評価が多段階エージェント検索の実用性を予測しない理由
・現在のレトリーバルシステムは「文書が直接的に質問に答えるか」という静的な有用性で評価・訓練されている ・しかしAIエージェントが複数回クエリを発行し段階的に推論する場合、同じ有用性指標が有効でないことが実証された ・文書の価値が「次のステップで何ができるか」という因果的効用に依存するため、既存の評価方法では捉えられない部分が存在する
- 公開Source
アスペクト特化型感情分析における制約条件を考慮した反事実編集手法
・アスペクト特化型感情分析（ABSA）では、文全体の感情ではなく特定要素への感情判定が求められます。・反事実データ生成時、対象アスペクトの感情のみを反転させ、他要素の感情・意味・流暢性・事実性を保持する必要があり、既存手法ではこれらの制約を満たしにくいという課題があります。・制約条件を明示的に組み込んだ編集手法を提案し、より信頼性の高い評価データ生成を実現します。
- 公開Source
予測市場の再現検証：LLM予測モデルの評価手法
・LLM（大言語モデル）の予測精度を評価する際、バックテスト手法で過去の予測問題を再実行するが、データリーク問題が存在する。 ・検索機能を持つモデルは事後的に執筆されたレポートを参照でき、予測ではなく情報検索になる可能性がある。 ・年次更新によるトレーニングデータの差異も、公平な予測評価を阻害する要因となる。 ・こうしたバイアスを制御した評価フレームワーク（Hindcast）の必要性が示唆されている。
- 公開Source
GitHub プロジェクトによる AI コード生成エージェントの初期採用動向
・GitHub 上の 2,361 個の人気リポジトリから 25,264 件の AI エージェント生成プルリクエストを分析 ・AI エージェントがコード生成と PR 自動提出を行う新しい開発形態の実態を調査 ・プロジェクト単位での AI ツール導入パターンと管理方法の差異を明らかに ・従来の個別 PR 評価ではなく、組織レベルでの採用戦略の重要性を示唆
- 公開Source
AI活用による職業スキル高速習得の統合フレームワーク
・2030年までに労働者100人中59人がスキル再構築を必要とする一方、企業のスキルギャップ解消期間は2014年の3日から2018年には36日に増加している。 ・既存フレームワークは単一段階に限定され、業界実証が不足している。 ・研究チームが知識習得から評価までの5段階全体にAIを統合した統合フレームワークを提案。 ・各段階（知識取得、コンテンツ開発、検証、教授、評価）をAIで加速化し、スキルアップ全体の効率化を目指す。
- 公開Source
深い相互作用：大規模推論モデルの効率的な人間-AI対話手法
・Chain-of-Thought（段階的思考）推論の活用により、LLMは複雑な多段階タスク対応が可能になったが、エラー発生時の現在の対話手法は不十分である ・既存手法では完全な再生成による再び誤る可能性、またはユーザーが誤りステップを指摘しても同じ誤りが繰り返される課題がある ・本研究は人間-AI相互作用の効率化を目的とした新手法を提案している
- 公開Source
参照回答がない場合、LLMジャッジは甘すぎる可能性がある
・LLMを評価者として使う際、正解がない「ノーリファレンス評価」では、LLMが甘い採点をする傾向がある ・キャリブレーション実験と感度実験の2段階パイプラインで、LLMジャッジの信頼性を検証 ・タスク知識の不足や入力変動への過敏さが、評価の一貫性と精度を損なう可能性を指摘
- 公開Source
集約精度の落とし穴：タスク無関係な文脈下での予測の不安定性
・大規模言語モデル（LLM）が本来のタスクと無関係な長いテキストを前置きされても、全体的な精度は変わらないように見える現象を報告 ・しかし個別の回答は不安定で、同じ質問でも無関係な文脈により回答が反転するケースが多数存在 ・集約精度という表面的な指標では、モデルの実際の脆弱性が隠蔽される可能性を指摘 ・実務運用では無関係な情報に左右されるリスクを考慮した評価が必要