LLMファインチューニング新手法「MoRA」の登場

マイクロソフトと北京航空航天大学の研究者らは、大規模言語モデル(LLM)のファインチューニングを従来よりも格段に低コストで実現する新しい手法「MoRA」を開発しました。

MoRAは、パラメータ効率的なファインチューニング(PEFT)手法の一種で、従来手法であるLoRA(Low-Rank Adaptation)の限界を克服することを目指しています。

LoRAは低ランク行列を用いてモデルを更新するため、新しい知識を効果的に学習・記憶する能力に制限がありました。一方のMoRAは、正方行列を用いることで高ランク更新を実現し、同じ数のトレーナブルパラメータでLoRAを上回る性能を発揮します。

指示チューニングや数学的推論タスクではLoRAとほぼ同等の性能でしたが、バイオメディカルや金融分野の継続的な事前トレーニングではLoRAを上回りました。

MoRAの高ランク更新機能が、新しい知識を効果的に記憶する上で有利に働いたと考えられています。企業でのLLM活用が広がる中、MoRAはアプリケーション開発者にとって重要な選択肢となる可能性があります。

参考記事：VentureBeat