LLMの進化：コンテキストウィンドウ100万トークン

AIスタートアップのGradientとクラウドコンピュートプラットフォームのCrusoeが、Llama-3モデルの「コンテキストウィンドウ」を100万トークンに拡張しました。

コンテキストウィンドウとは、大規模言語モデル（LLM）が処理できる入力と出力のトークン数を指します。

現在、大手テクノロジー企業や最先端のAI研究所はLLMのコンテキストウィンドウを拡張する競争に参加し、たった数ヶ月で、モデルは数千のトークンから100万以上に進化しました。

しかし、非常に長いコンテキストウィンドウを持つLLMは、Anthropic ClaudeやOpenAI GPT-4、Google Geminiなどのプライベートモデルに限られています。

これに対し、オープンソースの長いコンテキストを持つモデルの開発競争がLLM市場を再編成し、より多くの企業や開発者がLLMベースのアプリケーションを構築することを可能にするでしょう。

Gradientは、エンタープライズ顧客がLLMをワークフローに統合する際の課題に取り組んできました。

特に「コーディングコパイロット」と呼ばれるプログラミングタスクを支援する言語モデルが重要な役割を果たしています。

これにより、企業は単一のリクエストで大規模なコードベースを処理できるようになり、効率と正確性が向上しました。

LLMの商業化は研究の共有を減少させましたが、オープンリサーチコミュニティの貢献により、Gradientは長いコンテキストウィンドウを実現しました。

これにより、企業はより多くの情報を処理し、新しいアプリケーションを開発することができます。

今後、長いコンテキストを持つLLMは、プロトタイプの作成やコンセプトの証明にも大きく貢献するでしょう。

参考記事：Gradient