LLMの進化:コンテキストウィンドウ100万トークン
AIスタートアップのGradientとクラウドコンピュートプラットフォームのCrusoeが、Llama-3モデルの「コンテキストウィンドウ」を100万トークンに拡張しました。
- GradientがLlama-3のコンテキストを拡大
- オープンソースLLMが新たなアプリを可能に
- LLMの商業化で研究共有が減少
コンテキストウィンドウとは、大規模言語モデル(LLM)が処理できる入力と出力のトークン数を指します。
現在、大手テクノロジー企業や最先端のAI研究所はLLMのコンテキストウィンドウを拡張する競争に参加し、たった数ヶ月で、モデルは数千のトークンから100万以上に進化しました。
しかし、非常に長いコンテキストウィンドウを持つLLMは、Anthropic ClaudeやOpenAI GPT-4、Google Geminiなどのプライベートモデルに限られています。
これに対し、オープンソースの長いコンテキストを持つモデルの開発競争がLLM市場を再編成し、より多くの企業や開発者がLLMベースのアプリケーションを構築することを可能にするでしょう。
Gradientは、エンタープライズ顧客がLLMをワークフローに統合する際の課題に取り組んできました。
特に「コーディングコパイロット」と呼ばれるプログラミングタスクを支援する言語モデルが重要な役割を果たしています。
これにより、企業は単一のリクエストで大規模なコードベースを処理できるようになり、効率と正確性が向上しました。
LLMの商業化は研究の共有を減少させましたが、オープンリサーチコミュニティの貢献により、Gradientは長いコンテキストウィンドウを実現しました。
これにより、企業はより多くの情報を処理し、新しいアプリケーションを開発することができます。
今後、長いコンテキストを持つLLMは、プロトタイプの作成やコンセプトの証明にも大きく貢献するでしょう。
参考記事:Gradient
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、朝の通勤時間に読めるメルマガを配信しています。
最新のAI情報を日本最速で受け取りたい方は、以下からご登録ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。