生成AIアプリ展開、APIとセルフホストの選択肢

企業が生成AIアプリケーションを導入する際には、APIを活用するか、オープンソースのLLMを自社でホスティングするかの選択が必要です。

APIの選択肢としては、OpenAIのGPT-3.5 TurboやGPT-4 Turboがあり、これらは従量課金制で提供されています。

具体的には、GPT-3.5 TurboのAPI利用料金はインプット100万トークンあたり0.5ドル、アウトプット100万トークンあたり1.5ドルです。

ファインチューニングのコストは100万トークンあたり8ドルで、推論のコストはインプット100万トークンあたり12ドル、アウトプット16ドルとなります。

利用が増えると費用も増加するリスクがあります。

一方、オープンソースのLLMを自社でホスティングする場合、LLaMA2やMixtral8×7Bなどのモデルを無料で利用できますが、これらを運用するためには自社サーバーやクラウドサービスのコストを考慮する必要があります。

生成AIアプリケーションを展開する際には、モデル自体のコストだけでなく、プロジェクト全体の費用も重要です。

米国では、概念実証（PoC）には3～6万ドル、最小実用製品（MVP）には9～12万ドル、初年度のメンテナンスを含めると50万ドル以上かかるとされています。

APIの利点は、最新モデルを迅速に利用できる点ですが、データをクラウドに預ける必要があるため、セキュリティやプライバシーの懸念が残ります。

一方で、セルフホストの利点はデータを自社で管理できることですが、インフラの構築や運用に手間がかかります。

企業は、コスト、セキュリティ、パフォーマンス、運用の手間を総合的に考慮して、どちらの方法を選択するか決定が必要です。

参考記事：AMP