Metaの新技術、AI評価を劇的に効率化

Meta FAIRの研究者たちは、AI評価における新たなアプローチ「Self-Taught Evaluators（セルフタウト・エバリュエーター）」を発表しました。

この手法は、LLM（大規模言語モデル）を評価する際に、人間による注釈が不要で、合成データを用いてモデルを訓練します。

これにより、評価プロセスの効率とスケーラビリティが大幅に向上する可能性があります。

従来、LLMの評価には多くの手間と費用がかかっていましたが、この新技術は、モデルが自身の評価を自動で行う仕組みを取り入れています。

研究では、Llama 3-70B-Instructモデルを用い、広範なデータセットを対象にテストを実施。

その結果、RewardBenchベンチマークにおいて、正確性が75.4%から88.7%に向上しました。

これは、人間の注釈を用いたモデルに匹敵する性能です。

この技術は、大量の未ラベルデータを保有する企業が、手動による評価を大幅に削減しつつ、独自のモデルを効率的に開発する手助けとなるでしょう。

ただし、標準化されたベンチマークが実際のタスクを完全に反映していない場合もあるため、企業はモデルのパフォーマンスを自ら検証する必要があります。

参考記事：arXiv