Kneron、次世代エッジAI技術を発表

Kneronは、AI推論とファインチューニングをエッジで行うための次世代シリコンとサーバー技術を発表しました。

新しい「KL830」NPUと「KNEO 330」エッジGPTサーバーは、企業がオンプレミスで手頃な価格でGPTデプロイメントを実現できるように設計されています。

KL830は低電力消費で高性能を提供し、言語モデルに特化。

ソフトウェアの面でも強化が行われており、オープンモデルのファインチューニングやTensorFlow、Caffe、MXNetなどのフレームワークでトレーニングされたモデルのコンパイルが可能です。

また、KL830はRAGワークフローをサポートし、大規模ベクトルデータベースのメモリニーズを削減する構造を持っています。

Kneronの技術は、GPU以外の技術を使用してAIワークロードの電力効率を向上させることを目指すGroqやSambaNovaなどのベンダーの一部であり、特に低電力消費が特徴です。

KL830のピーク電力消費はわずか2ワットであり、それでも10eTOPS@8bit（※）の統合計算能力を提供します。

この低電力消費により、追加の冷却ソリューションを必要とせず、PCなどの様々なデバイスに統合できるため、エンジニアやデータサイエンティストにとって高い柔軟性が実現可能です。

この新技術により、企業はネットワークエッジでの推論を行うためのローカルGPTサーバーを運用でき、AIおよび自動化チームの採用障壁が大幅に低くなります。

Kneronは、デジタルツインとシミュレーションを支援するための直感的なビジュアルツールを提供し、複数のオープンモデルを組み合わせてファインチューニングを行っています。

※10eTOPS@8bitの統合計算能力：8ビット精度で1秒あたり10テラ（10兆）操作（TOPS: Tera Operations Per Second）を処理できる計算能力を指す。8ビット精度とは、計算に使用されるデータの各部分が8ビットで表されることを意味し、高速かつ効率的な処理が可能。このような高い処理能力は、AIモデルの推論やトレーニングなどで重要になる。

参考記事：Kneron