大規模言語モデルの領域別ハルシネーション検出手法
・大規模言語モデル(LLM)が生成するテキストに含まれる不正確な主張(ハルシネーション)を検出するパイプラインを提案。 ・DeBERTa-v3の微調整分類、モンテカルロドロップアウト不確度定量化、温度スケーリング較正を組み合わせた多信号検出アプローチ。 ・HaluEvalベンチマークで一般領域タスクF1=0.915、AUROC=0.977を達成し、領域別タスクでも高精度を確保。 ・LLMの信頼性が求められる業務適用場面での品質管理に活用...
Archive 記事を横断検索
キーワードだけでなく、業界・用途・情報種別・公開時期を組み合わせて検索できます。気になるテーマから、自社で試すヒントまでまとめて辿れます。
← AI Intel トップに戻る1 / 3ページ
・大規模言語モデル(LLM)が生成するテキストに含まれる不正確な主張(ハルシネーション)を検出するパイプラインを提案。 ・DeBERTa-v3の微調整分類、モンテカルロドロップアウト不確度定量化、温度スケーリング較正を組み合わせた多信号検出アプローチ。 ・HaluEvalベンチマークで一般領域タスクF1=0.915、AUROC=0.977を達成し、領域別タスクでも高精度を確保。 ・LLMの信頼性が求められる業務適用場面での品質管理に活用...
・AI安全性(アライメント)研究で知られるポール・クリスチアーノ氏がOpenAI Foundationのボードメンバーに就任 ・AI技術の発展と安全保障のバランスを取る姿勢を組織内に明示 ・ソースに具体的な役割・方針・影響範囲に関する記載なし
・Legora が GPT-6 Astra を用いて 41 文書の財務審査を数分で完了し、4 つの意図的な誤りをすべて検出した ・同ワークフローでの処理性能が約 40% 向上した ・大量文書の自動検証が迅速化され、金融・監査業務の効率化を実現
・Amazon Qの概念実証(POC)は小規模パイロットチームでは成功しても、本番化時にセキュリティ・コンプライアンスレビューで停滞することが多い ・パイロット段階の権限モデルが、複数部門への拡張時に機能しなくなり、エージェントの意図しないデータ返却や監査追跡の困難が課題 ・AWSがAgents、Flows、Spacesの統合セキュリティ方針を提示し、POCから本番への移行パターンを解説している
・AIR が 5,000 万ドルの資金調達を実施。企業内で稼働する AI エージェントの発見・検証を目的とした新プラットフォーム ・プラットフォームは社内 AI エージェントを自動発見し、スキルとプラグイン(拡張機能)を継続的に検証 ・不正な動作をブロックする機能を備え、企業のリスク管理と AI ガバナンスを強化
・WhisperXは音声文字起こし速度を向上させるが、音声セグメントを分離するため句読点や用語の一貫性が失われる課題がある ・標準Whisperは文脈を保持するが推論が遅く、幻覚(誤出力)ループが発生しやすい ・提案手法はVAD(音声区間検出)由来のセグメント境界を利用し、両方式の長所を兼ね備えたアプローチを実現
・AWS が Agent Registry を正式リリース。エージェント・ツール・スキルを一元管理する検索可能なカタログ機能を提供 ・従来は各チームが孤立して開発・管理していたため、重複や統治の欠落が課題だった ・単一の管理基盤により、所有者の明確化とレビュー履歴の記録が可能に ・組織規模での AI エージェント導入時の管理・ガバナンス課題に対応
・OpenAIが提供する教育向けChatGPT「ChatGPT for Teachers」の対象を米国55学区に拡大 ・10万人超の教育関係者がセキュアなAIツール、研修、サポートにアクセス可能に ・学校内での安全なAI導入環境を整備し、教員の業務効率化を支援
・機械生成テキスト(MGT)と人間が書いたテキスト(HWT)を識別する手法を研究。従来の教師あり検出器は学習域外データで性能低下が課題。 ・線形プローブを用いることで、複数の検出手法を上回る精度を実現し、必要な学習データ量も大幅に削減可能。 ・MGT と HWT の潜在表現の線形性と品質を分析し、シンプルなアプローチが有効であることを実証。
・ニューヨーク発のAI検出企業Pangramは、Menlo Ventures主導で900万ドルを調達し、AI生成コンテンツを見分ける需要拡大を見込んで事業拡大を進める。 ・同社はテキスト検出モデル「Pangram 4」と画像検出モデル「Pangram Image」を発表。画像版は研究プレビュー段階で、幅広い提供は今後を予定している。 ・TechCrunchによると、Web版は月額20ドルで、APIやChrome拡張も提供。Substac...
・OpenAI が ChatGPT に Health 機能を追加し、米国の対象ユーザーが医療記録と Apple Health を安全に接続可能に ・個人の医療データを ChatGPT に統合することで、よりパーソナライズされた健康情報の提供を実現 ・医療情報の安全な取り扱いと、ユーザーの健康管理の効率化が目的
・大規模言語モデル(LLM)の価値観調整は西洋的規範に偏った設計になっており、スリランカなどの多言語社会の固有の文化的価値を適切に処理できていない。 ・既存ベンチマークはシンハラ語による文脈化された価値観の評価を欠いており、文化的に配慮した評価と微調整を実現できない状況が存在する。 ・本研究はスリランカの価値観を反映した最初の調査ベースの評価リソーススイート「LKValues」を提案し、地域固有の文化的感応性を向上させることを目指してい...
・OpenAI が中小企業向けの ChatGPT プログラムを新たに立ち上げ ・プログラムは起業家の AI スキル構築・業務自動化・事業成長を支援 ・ChatGPT Work を活用した実装が中心となる見込み
・ユーザーがLLMに述べた信念(前提条件・証拠表現・確実性マーカーなど)に対して、LLMの応答パターンが異なることを指摘。 ・同じ内容でも「言い方」(言語形式)によって、LLMが信念を受け入れるか・既知知識を優先するかが変動。 ・信念表現の言語的多様性を分類する体系を導入し、LLMの説得可能性(persuasiveness)を系統的に評価。 ・ユーザー指示への応答一貫性とLLM信頼性に関わる重要な課題。
・現在のレトリーバルシステムは「文書が直接的に質問に答えるか」という静的な有用性で評価・訓練されている ・しかしAIエージェントが複数回クエリを発行し段階的に推論する場合、同じ有用性指標が有効でないことが実証された ・文書の価値が「次のステップで何ができるか」という因果的効用に依存するため、既存の評価方法では捉えられない部分が存在する
・Amazon Bedrock Managed Knowledge Base により、エンタープライズデータを基盤とするエージェント・生成 AI アプリケーション構築の複雑性を低減 ・従来はコネクタ、パーサ、ベクトルストア、ナレッジグラフ、検索ロジックを自社で統合・運用する必要があった構成を一元化 ・データソース接続、マルチモーダル文書の解析、ベクトル/グラフデータベースの選定・スケーリングといった各工程の課題を内包型サービスで対処
・101社の調査から、AI エージェント向けのコンテキスト基盤が信頼性を伴わないまま急速に構築されている実態が判明 ・検索拡張生成(RAG)がデフォルトのコンテキスト源となり、ベクトルDB から プロバイダー純正検索へシフトが進行中 ・多くの企業で、欠落・不一致したコンテキストに起因する誤った確信回答(confident wrong answer)が既に発生 ・ガバナンス付きセマンティック層の導入が解決策として提示される
・アスペクト特化型感情分析(ABSA)では、文全体の感情ではなく特定要素への感情判定が求められます。・反事実データ生成時、対象アスペクトの感情のみを反転させ、他要素の感情・意味・流暢性・事実性を保持する必要があり、既存手法ではこれらの制約を満たしにくいという課題があります。・制約条件を明示的に組み込んだ編集手法を提案し、より信頼性の高い評価データ生成を実現します。
・Chain-of-Thought(段階的思考)推論の活用により、LLMは複雑な多段階タスク対応が可能になったが、エラー発生時の現在の対話手法は不十分である ・既存手法では完全な再生成による再び誤る可能性、またはユーザーが誤りステップを指摘しても同じ誤りが繰り返される課題がある ・本研究は人間-AI相互作用の効率化を目的とした新手法を提案している
・不動産金融企業Built Technologiesが、Amazon BedrockとAWSのサービスを活用したAI駆動の文書処理エンジンを構築 ・年間5000億ドル規模の不動産プロジェクト処理において、複雑で手作業が多い文書処理を自動化 ・AIエージェント基盤により、融資判断や契約審査などの重要な業務意思決定を迅速化
・LLMを評価者として使う際、正解がない「ノーリファレンス評価」では、LLMが甘い採点をする傾向がある ・キャリブレーション実験と感度実験の2段階パイプラインで、LLMジャッジの信頼性を検証 ・タスク知識の不足や入力変動への過敏さが、評価の一貫性と精度を損なう可能性を指摘
・大規模言語モデル(LLM)が本来のタスクと無関係な長いテキストを前置きされても、全体的な精度は変わらないように見える現象を報告 ・しかし個別の回答は不安定で、同じ質問でも無関係な文脈により回答が反転するケースが多数存在 ・集約精度という表面的な指標では、モデルの実際の脆弱性が隠蔽される可能性を指摘 ・実務運用では無関係な情報に左右されるリスクを考慮した評価が必要
・予測・計画・意思決定を支援する AI システムは増加しているが、組織固有の詳細情報が不足し、実用性が限定されている課題を指摘。 ・MIT の研究グループが、組織内データとモデルの適合性向上に取り組む。 ・業務現場で AI の効果を引き出すには、単なるモデル性能より実装環境への適応が重要。
・8言語の慣用表現・比喩表現160件を、認知言語学の概念特徴(包含、隠蔽、感情、社会など)でアノテーション ・各表現間の類似度をグラフ化し、コミュニティ検出により言語を超えた意味構造を解析 ・解釈可能なネットワーク手法により、言語タイプが異なる表現の普遍的パターンを抽出可能