完全オープンソース版ChatGPT「FreeWilly」とは？｜Stability AIの狙いと性能を解説
GPT3.5に匹敵する大規模言語モデル（LLM）が登場！
7月21日、Stable Diffusionで有名なStability AIとその研究所であるCarper AIがLLM「FreeWilly」と「FreeWilly2」を公開。
7月19日に一般公開されたMetaのLLM、Llama2を元に開発されたことで話題となっています。
今回の記事では、FreeWillyの凄さから、開発に使われたOrca Methodについて、そしてStability AIとLLMの開発元Carper AIという会社について解説していきます。
FreeWillyとは
FreeWillyは、Stability AIとそのラボであるCarperAIが開発した新しい大規模言語モデル(LLM)で、FreeWilly1とその後継モデルであるFreeWilly2が存在します。
FreeWilly1は、MetaのLLaMaを基に作られており、FreeWilly2は最新のLlama 2 70Bベースモデルを活用しています。また、Orca Methodという学習方法を使うことで様々なベンチマークで優れたパフォーマンスを発揮しています。
現在は、研究実験の一環として公開され、非商用ライセンスの下でオープンソースでリリースされています。
以下に詳しく、FreeWillyは何がすごいのか、そしてFreeWillyの学習方法ついて解説していきます。
FreeWillyは何がすごい？
FreeWillyが注目を浴びている理由は
・MetaのLLaMaを基盤として作られていること
・GPT3.5に匹敵するレベルで高いパフォーマンスを発揮していること
・オープンソースで公開されている
・FreeWillyの学習方法
にあります。
FreeWilly1は、LLaMa 65Bベースモデルを利用し、新たに生成された合成データセットを用いてSupervised Fine-Tune (SFT)というファインチューニングを行い、人間に使いやすいように微調整されました。
また、FreeWilly2は「Llama 2 70B」のベースモデルを活用し、同様にファインチューニングが行われています。
Llama 2 70Bは7月19日にMetaからリリースされたばかりのモデルです。そのパフォーマンスの高さで注目されており、様々なタスクでGPT3.5を上回る結果となっています。
そのため、Llama2を基盤にしているFreeWilly2も、GPT3.5に匹敵するパフォーマンスを発揮できています。
Stability AI公式ブログ「Meet FreeWilly, Our Large And Mighty Instruction Fine-Tuned Models」によると、FreeWilly2は一部の論理タスクでChatGPTと同等の結果を達成しています。また、マルチタスク性能を調査する「MMLU」では、GPT-3.5の70.0％に肉薄する68.8％という性能を示しています。
さらに、大規模言語モデルのベンチマークソフトウェア「AGIEval」で性能の比較を行った結果、GPT-3.5と同等、またはそれ以上の性能をFreeWilly2が記録しています。
その他にも、言語のニュアンスの理解や法律や数学など専門的な領域の質問への回答など、多くの分野で優れているとも報告されています。
こういった高品質なLLMがオープンソースで公開されていること自体、注目を呼ぶ理由の一つでしょう。
MetaのLlama2もそうでしたが、オープンソースにすることで世界中の開発者がサービスを使用し、新たな機能の追加やバグの迅速な修正などが可能になります。
さらに、FreeWillyのようなオープンソースのサービスを基盤とした新しいサービスが生まれることもあり、オープンソースは現在注目を浴びています。
もしかしたら、FreeWillyを元にしたサービスが近々出てくるかもしれません。
次に、FreeWillyがGPT3.5に匹敵するほどのハイパフォーマンスを発揮できる理由を解説します。
FreeWillyに使われたOrca Methodとは
FreeWIllyが高性能な理由は、MetaのLlamaを基盤にしていることに加え、その学習方法にあります。
FreeWillyはMicrosoftの論文「Orca: Progressive Learning from Complex Explanation Traces of GPT-4」で解説されている、「Orca Method」という方法を学習に使用しています。
論文によると、Orca Methodとは複雑な問題を複数のステップに分け、段階的に推論をしていく方法を指します。
例えば、「人間が一生の間に平均して何回まばたきをするかを計算しなさい」という問題があります。Orca Methodを使うと以下のように問題を解決します。
1. まず、人間が1分間に平均して15から20回まばたきをするという情報を考慮します。
2. 次に、人間の平均寿命が約72年であるという情報を考慮します。
3. これらの情報を基に、72年間に含まれる分数を計算します。1年は60分×24時間×365日なので、これを72年分計算します。
4. そして、1分間に15から20回まばたきをするという情報を使って、72年間で何回まばたきをするかを計算します。
この学習方法をFreeWillyに使ったことで、FreeWillyは高いパフォーマンスを発揮できるようになりました。
FreeWillyの名前の由来
余談になりますが、FreeWillyというネーミング、面白いと思いませんか？
個人的に気になってしまい、FreeWillyの名前の由来を調べてみました。が、公式な記事は出てきませんでした。しかし、おそらくこれだろうと思われる、FreeWIllyの名前の由来を見つけることができました。
前述したように、FreeWillyはOrca Methodという学習方法を使って開発されました。Orcaは日本語でシャチという意味。
1993年にアメリカで公開された「Free Willy」という映画があります。この映画は、捕獲されたシャチ（Orca）が主人公の少年との友情を通じて自由を取り戻す物語です。
ストーリーとの関連性はあまりありませんが、Orca（シャチ）をモチーフにしており、名前がFree Willyであることから、この映画がStability AIが開発したFree Willyの名前の由来だと考えられます。
参考文献：Free Willy
FreeWillyを開発したStability AIとCarperAIとは
最後に、FreeWIllyを開発したStability AIとCarperAIについて紹介します。
Stability AIは、Stable Diffusionという画像生成AIで知られるオープンソースの生成AI企業です。2021年に生成AI市場に参入して以来、14万人以上の開発者コミュニティと世界中に7つの研究ハブを所有しています。
また、Stable Diffusionは世界第5位の規模を誇るスーパーコンピュータ「Ezra-1 UltraCluster」で教育されており、これはAWSでも使用されています。
Stability AIは、オープンソースの精神が最先端の研究のために必要と考え、FreeWillyを始めその他のサービスもオープンソースとしています。
一方、CarperAIは、非営利AI研究機関であるEleutherAIからスピンアウトした企業です。現在は、Stability AIの研究機関として機能しています。
CaroerAIは、ソースコードを無償で公開するFOSSと人間のフィードバックからの強化学習を行うRLHFを重要視しています。
CarperAIについてはほとんど情報がありませんでした。しかし、2022年10月にEleutherAI, Scale AI, Multi, Humanloop and Hugging Faceと連携をして、GPT3レベルの言語モデルをリリースしようとしているという旨の記事があり、その技術力の高さが伺えます。
参考文献：CarperAI wants to bring a more secure open source alternative to GPT-3
今回のFreeWillyの開発もあり、今後大きく注目をされる企業になることが予想されます。
まとめ
Stability AIとCarper AIによって開発された大規模言語モデル（LLM）「FreeWilly」と「FreeWilly2」が公開されました。このモデルはMetaのLLM、Llama2を元に作成され、Orca法と呼ばれる学習方法を用いて高いパフォーマンスを発揮しています。
FreeWilly2はマルチタスク性能やベンチマークテストにおいて、GPT-3.5と同等またはそれ以上の結果を示しており、特にOrca Methodを用いた学習がその性能向上に寄与しています。
また、Stability AIはオープンソースの生成AI企業であり、Carper AIは非営利AI研究機関EleutherAIからスピンアウトした企業です。これらの企業によるFreeWillyの開発により、彼らの技術力と今後の注目が高まると考えられます。
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
