事前学習と同じオプティマイザでファインチューニングすると忘却が少ない
原題: Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
・大規模言語モデルの事前学習とファインチューニングで同じオプティマイザを使用することで、新タスク学習と既存知識の保持のバランスが向上することを実証。 ・従来のLoRAなど他のファインチューニング手法と比べ、忘却（catastrophic forgetting）を抑制しながら同等以上の新タスク性能を達成。 ・オプティマイザの選択がLLMの学習ダイナミクスに与える影響を示唆する基礎研究。
ゼロビズAX View — 日本企業ならどう活かすか
LLMの導入・カスタマイズを検討する企業にとって、ファインチューニング戦略の選択が重要であることを示す知見。事前学習済みモデル（ChatGPT相当）を自社データで継続学習させる場合、オプティマイザの統一がメモリ効率（LoRA比）と性能維持のバランスに寄与する可能性。ただし実装難度や追加学習コストは不明確のため、ベンダーに要確認。
Next step
この記事を自社の案件に当てはめる
ナレッジ検索、業務自動化、社内AIエージェントなど、現場オペレーションに寄せた導入を設計します。
AI導入・業務AI開発
一次ソース: https://arxiv.org/abs/2605.06654v1
本記事は海外の一次ソースを基に AI が要約したものです。誤訳・誤要約の可能性があり、実装判断の前に必ず原文をご確認ください。「ゼロビズAX View」は当社による応用見立てであり、特定の成果を保証するものではありません。
← 一覧に戻る