Google、小型AIモデルGemma 2 2B発表

Googleは、コンパクトで強力なAIモデル「Gemma 2 2B」を発表しました。

この新しい言語モデルは、わずか26億のパラメータでありながら、OpenAIのGPT-3.5やMistral AIのMixtral 8x7Bなど、はるかに大きなモデルと同等以上の性能を示します。

Gemma 2 2Bは、特にオンデバイスアプリケーションに適しており、モバイルAIやエッジコンピューティングに大きな影響を与える可能性があります。

独立したAI研究機関LMSYSのテストでは、Gemma 2 2Bが1130のスコアを達成し、GPT-3.5-Turbo-0613（1117）やMixtral-8x7B（1114）を上回りました。

さらに、MMLUベンチマークで56.1、MBPPで36.6のスコアを記録し、前モデルよりも大幅に性能が向上しています。

この成果は、AI開発における「大きなモデルが常に優れている」という従来の考え方に挑戦しています。

Googleは、効率的なトレーニング技術や高品質なデータセットが、パラメータ数を補完できることを示しました。

このブレークスルーは、今後のAI分野において、小型で効率的なモデルの開発が主流になる可能性を示唆しています。

また、Gemma 2 2Bの開発は、モデル圧縮および蒸留技術の重要性を強調しています。

大規模なモデルから知識を蒸留することで、計算要件を削減し、環境への影響も軽減。

Googleは、2兆のトークンを用いてこのモデルをトレーニングし、グローバルな応用に向けた多言語モデルを実現しました。

Gemma 2 2Bはオープンソース化され、Hugging Faceを通じて利用可能です。

これにより、AI技術の民主化が進み、小型モデルが高機能を持つ新しい時代が到来する可能性があります。

参考記事：Google