小型LLMとは？これから世界の中心となる最先端技術を先取り解説

2023年9月、Microsoft社より小型LLMの最新版である「phi-1.5」が発表されました。

LLMとして有名なGPT-3.5のパラメータ数が175Bなのに対し、phi-1.5はたったの1.3B。なんとGPT-3.5の1/100未満のサイズなのです！
しかもphi-1.5はこれだけ小型化しているにも関わらず、性能はGPT-3.5とそこまで大差ないってすごくないですか！？

小型LLMの開発が今後進んでいけば、将来的にはスマホでLLMを操作できるようになり、AIがより生活に身近な存在になるでしょうね。

というわけで、この記事では小型LLMの特徴やメリット、将来性について詳しく解説します。
ぜひ最後まで読んでいただき、小型LLMに関する知見を深めてください！

小型LLMとは？

小型LLMとは、「パラメータ数が小さいLLM」を指します。

LLMのパラメータ数とは、簡単に言うと「人間の脳の神経細胞を数学的に表現」したようなものです。
LLMはパラメータ数が大きいほど、より高度なデータ処理が可能になるものの、その分容量やコストも大きくなってしまいます。

従来のLLMは、開発過程のトレーニングで膨大な量のデータセットが使用されており、これがパラメータ数増大の原因となっていました。

一方小型LLMは、トレーニングに用いる「データセットの質」に重きを置いた技術です。
つまり、データセットの質を上げて量を減らすことで、「データ処理の精度を下げずにパラメータ数だけを小さくする」ことが可能になるのです。

ここで小型LLMに関する参考情報として、「Textbooks Are All You Need」という研究論文を紹介します。

Textbooks Are All You Need

この論文では、「phi-1」という小型LLMと従来のLLMのデータ処理精度を比較した研究結果をまとめています。

その結果は以下のとおりです。

※HumanEval・MBPP：データ処理精度の優劣をはかる指標

引用：Textbooks Are All You Need

phi-1と従来のLLMを比較してみると、phi-1のパラメータ数は1.3Bと非常に小さい値であるにも関わらず、データ処理の精度はむしろ優れているという結果になったのです。

さらに、phi-1に使用されたデータセットはたったの7Bであり、トレーニングに要した期間はわずか4日間でした。

以上の結果より、LLMは質の高いデータセットでトレーニングすることで、「パラメータ数を小さく抑えつつデータ処理精度も高められる」ということがわかります。

なお、小型でかつデータ処理精度も高いLLM「Stable LM-3B」について知りたい方はこちらをご覧ください。
→【Stable LM-3B】30億パラメーターなのに、小型端末でも動作する超軽量LLM

小型LLMのメリット

小型LLMの主なメリットは以下3点です。

• 開発期間を短縮できる
• 開発コストを削減できる
• 汎用性が広がる

開発期間を短縮できる

小型LLMはトレーニングに使用するデータセットの量が少ない分、開発にかかる期間を大幅に短縮できます。

例えば先ほど紹介したphi-1の場合、開発に用いられたデータセットは7Bで、トレーニングにかかった期間はたったの4日間です。

ちなみに従来のLLMだと、トレーニングだけで数ヶ月かかるものも珍しくありません。

これだけ開発にかかる時間が短縮できれば、コスト削減やエネルギー効率向上につながるのはもちろん、LLMの修正や再トレーニングも容易になるでしょう。

開発コストを削減できる

LLMの開発は一般的に、トレーニングに用いられるデータセットの量が多いほど、開発にかかるコストも高くなってしまいます。

しかし小型LLMの場合、使用するデータセットの量が少ないため、開発コストを従来よりも大幅に削減できます。

実際に海外では、Alpaceという7BパラメータのLLMをiPhone14で作動させた事例があり、このときにかかったコストはたったの600ドル以下だったそうです。

これまでのLLM開発は、資金力のある大企業しかできないとされてきました。

しかし小型LLMであれば、資金力のない中小企業はもちろん、個人でも開発が容易になるでしょう。

汎用性が広がる

従来のLLMは容量が大きすぎて、使用できる用途もある程度限られていました。

一方、小型LLMは容量が小さいため、汎用性がさらに広がると予想されます。

例えば、スマホへLLMを内蔵させ、ユーザーがデバイス上で自由に操作させることも可能になるでしょう。

今や国民のほとんどが日常的にスマホを使っているので、小型LLMが実現すれば、AIがより身近で便利なツールになるに違いありません。

小型LLMの将来性

小型LLMを開発する上で、最も重要な技術は「高品質なデータセットでトレーニングを行う」ことです。

この技術が進化していけば、将来的には現在のChatGPTよりも小型なのにも関わらず、はるかに高品質なLLMが開発される可能性も十分あります。

また先ほども述べたとおり、小型LLMは汎用性も非常に高く、今後はエッジコンピューティングやスマホへの搭載が進んでいくはずです。

例えば、SiriのようなAIアシスタントに小型LLMが搭載されれば、声だけでLLMを動かせる時代になるでしょう。

今後も小型LLMの研究・開発から目が離せませんね！

小型LLMの代表例Phi-1.5とは？

「phi-1.5」は先ほど紹介したphi-1の進化版で、Microsoft社が研究向けに開発した最新の小型LLMです。

phi-1.5のパラメータ数は1.3Bと非常に小型ですが、常識や言語理解においては、10Bパラメータ未満のLLMの中では最先端の性能を誇ります。

phi-1.5を使えば、例えば以下のような作業を自動で行ってくれます。

• 作詞
• メールやストーリーの作成
• テキストの要約
• Pythonプログラミング

phi-1.5のデータ処理精度は、GPT-3.5などの大型LLMと比べると、残念ながらまだまだ劣る部分もたくさんあります。

しかし今後技術が進んでいくことで、GPT-3.5やGPT-4よりもはるかに小型で精度の高いLLMが生まれるかもしれませんよ！

なお、phi-1.5について知りたい方はこちらをご覧ください。
→【phi-1.5】人気1位の超軽量、コスパ最強LLMを使ってみた

まとめ

• 小型LLMとは、「パラメータ数が小さいLLM」を指す。トレーニングに質の高いデータセットを使用し、「データ処理の精度を下げずにパラメータ数だけを小さくする」ことを目指す。
• 小型LLMの主なメリットは、「開発期間の短縮」「開発コストの削減」「汎用性の拡大」の3点。
• 小型LLMは容量が小さい分汎用性も非常に高く、今後はエッジコンピューティングやスマホへの搭載が進んでいくと予想される。
• 小型LLMの代表例として、Microsoft社の「phi-1.5」が挙げられる。phi-1.5は1.3Bパラメータと非常に小型ではあるものの、常識や言語理解においては、10Bパラメータ未満のLLMの中ではほぼ最先端の性能を誇る。

小型LLMの開発が進むことで、将来的にはきっとAIがより身近で便利なツールになるでしょう。

今後も小型LLMの研究・開発から目が離せませんね！

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、サービス紹介資料もご用意しておりますので、併せてご確認ください。

無料で相談する

資料をダウンロードする