生成AIアプリ展開、APIとセルフホストの選択肢
企業が生成AIアプリケーションを導入する際には、APIを活用するか、オープンソースのLLMを自社でホスティングするかの選択が必要です。
- APIは従量課金制、コストは利用量で変動
- オープンソースLLMは無料だが運用コストが必要
- 全体コストを考慮し、PoC3~6万ドル、MVP9~12万ドル
APIの選択肢としては、OpenAIのGPT-3.5 TurboやGPT-4 Turboがあり、これらは従量課金制で提供されています。
具体的には、GPT-3.5 TurboのAPI利用料金はインプット100万トークンあたり0.5ドル、アウトプット100万トークンあたり1.5ドルです。
ファインチューニングのコストは100万トークンあたり8ドルで、推論のコストはインプット100万トークンあたり12ドル、アウトプット16ドルとなります。
利用が増えると費用も増加するリスクがあります。
一方、オープンソースのLLMを自社でホスティングする場合、LLaMA2やMixtral8×7Bなどのモデルを無料で利用できますが、これらを運用するためには自社サーバーやクラウドサービスのコストを考慮する必要があります。
生成AIアプリケーションを展開する際には、モデル自体のコストだけでなく、プロジェクト全体の費用も重要です。
米国では、概念実証(PoC)には3~6万ドル、最小実用製品(MVP)には9~12万ドル、初年度のメンテナンスを含めると50万ドル以上かかるとされています。
APIの利点は、最新モデルを迅速に利用できる点ですが、データをクラウドに預ける必要があるため、セキュリティやプライバシーの懸念が残ります。
一方で、セルフホストの利点はデータを自社で管理できることですが、インフラの構築や運用に手間がかかります。
企業は、コスト、セキュリティ、パフォーマンス、運用の手間を総合的に考慮して、どちらの方法を選択するか決定が必要です。
参考記事:AMP
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、朝の通勤時間に読めるメルマガを配信しています。
最新のAI情報を日本最速で受け取りたい方は、以下からご登録ください。
また、弊社紹介資料もご用意しておりますので、併せてご確認ください。