DoRA (重み分解LoRA)読み: どーら じゅうみぶんかいろーら

DoRA (重み分解LoRA)とは（詳しく解説）

DoRA(Weight-Decomposed Low-Rank Adaptation)は、2024年にNVIDIAの研究チームが提案したLoRAの発展形で、重み行列を「大きさ(magnitude)」と「方向(direction)」に分解し、方向の更新に低ランク行列を使い、大きさは別の学習可能ベクトルとして扱う。フルファインチューニングの学習挙動に近づけることで、同じランクでもLoRAより精度が上がりやすいとされ、Hugging Face PEFTでも use_dora=True で有効化できる。一方、実運用では注意点がある。大きさの計算が加わるため、学習時のメモリと時間はLoRAよりやや増える。推論時は重みへマージできるため追加の遅延は生じないとされる。現場での選び方としては、まず通常のLoRAやQLoRAで試し、精度が足りず低ランクのままで改善したいときにDoRAへ切り替えるのが無難。2026年時点ではコストの相場感として、GPU時間の増加分と精度向上の見合いを小さな検証で確かめてから本番に広げるのがよい。

DoRA (重み分解LoRA)の使用例

• Hugging Face PEFTのLoraConfigでuse_dora=Trueを指定し、既存のLoRA学習設定のまま精度比較を行う。
• ランクr=8のLoRAで精度が伸び悩むとき、同じランクのままDoRAに切り替えて評価データでの差を確かめる。

DoRA (重み分解LoRA)に関連するAIツール

DoRA (重み分解LoRA)の関連記事

ガイド8/21 更新15分で読めますRAGとベクトルDBの入門｜Pinecone・pgvectorなど5種を比較 (2026年版)Pinecone・Weaviate・Qdrant・Chroma・pgvectorの5つを実装コード例つきで比較しながら、RAGの仕組みをゼロから理解できる入門ガイド。自社データをAIアプリに組み込むまでの流れを、ベクトルDB選定の判断基準とセットで示す。