llama.cppとは？GGUF・Ollamaとの違いからインストール・使い方・量子化まで解説
- llama.cppはC/C++で実装されたオープンソースのLLM推論エンジンで、GPUがなくてもCPUだけでLLMを動かせる
- GGUF形式の量子化モデルを使えば、メモリ8GB程度のPCでも実用的なローカルLLM環境を構築可能
- OllamaやLM Studioの内部でも採用されており、ローカルLLM実行の中核的な存在
llama.cppは、C/C++で実装されたローカル環境向けのLLM推論エンジンです。GPUを搭載していないPCでもCPUだけでLLM（大規模言語モデル）を動かせるため、クラウドAPIの利用料を一切かけずに、手元のマシンで生成AIを試せます。
「ローカルでLLMを動かしてみたいけど、高価なGPUが必要では？」と感じている方も多いかもしれません。この記事では、llama.cppの概要からインストール、使い方、量子化の仕組みまでを一気通貫で解説します。ぜひ最後までご覧ください。
＼生成AIを活用して業務プロセスを自動化／
このたびWEELは、2026年8月26日（水）・27日（木）に新宿住友ビル 三角広場で開催される「AI博覧会 Summer 2026」に出展することになりました。
さらに、弊社代表取締役社長の田村洋樹が、8月27日（木）14時40分からA会場で実施するカンファレンスに登壇いたします！
llama.cppとは？
llama.cppは、Meta社のLLaMAモデルをローカル環境で実行するために開発された、C/C++実装のLLM推論エンジンです。
もともとは開発者のGeorgi Gerganov氏が個人プロジェクトとして公開したもので、2026年8月時点でGitHubのスター数は約12万5,000を超えています※1。ライセンスはMITライセンスで公開されており、商用・非商用を問わず自由に利用・改変・再配布が可能です。
現在はLLaMAに限らず、Qwen・Gemma・Phi・Mistralなど多数のモデルアーキテクチャに対応しており、ローカルLLM実行の事実上の標準エンジンとして広く利用されています。
llama.cppの特徴とできること
llama.cppの最大の特徴は、CPU推論に対応しており、GPUがなくても動作するという点です。
一般的にLLMの推論にはGPUが必要とされますが、llama.cppはAVX2などのCPU命令セットを活用した推論に対応しています。もちろんNVIDIA GPU（CUDA）やApple Silicon（Metal）を搭載していれば、GPUアクセラレーションによってさらに高速な推論も可能です。
外部ライブラリへの依存がなく、C/C++だけで完結している設計のため、ビルド環境の構築がシンプルな点も開発者にとっては大きなメリットといえるでしょう。
GGUF形式との関係
llama.cppでモデルを実行する際に使われるのが、GGUF（GPT-Generated Unified Format）と呼ばれるモデルファイル形式です。
GGUFは、llama.cppの内部で使われている機械学習ライブラリ「ggml」向けに設計されたバイナリ形式で、モデルの重み（テンソル）だけでなく、トークナイザー情報やハイパーパラメータなどのメタデータも1つのファイルにまとめて格納します※2。PyTorchなどのフレームワークで学習されたモデルも、変換スクリプトを使えばGGUF形式に変換して利用できます。
以前はGGML形式が使われていましたが、拡張性やメタデータの管理面からGGUFへ移行が進み、現在はGGUFが標準となっています。
Ollama・LM Studioとの違い
ローカルでLLMを動かす手段としては、OllamaやLM Studioも広く知られています。実はこれらのツールは、いずれも内部エンジンとしてllama.cppを採用しています。
OllamaはCLIベースのツールで、ollama runのような簡単なコマンドだけでモデルのダウンロードから実行までを完結させられるのが特徴です。LM StudioはGUIアプリケーションとして提供されており、モデルの検索・ダウンロード・実行をすべてグラフィカルな画面上で行えます。
一方、llama.cppを直接使うメリットは、軽量さ・設定の柔軟さ・最新モデルへの追従の早さにあります。llama.cppは開発が非常に活発で、新しいモデルアーキテクチャへの対応がいち早く行われるため、Ollamaなどの上位ツールが追従する前に試せるケースも少なくありません。
| 比較項目 | llama.cpp | Ollama | LM Studio |
|---|---|---|---|
| 動作方式 | CLI/APIサーバー | CLI/APIサーバー | GUIアプリケーション |
| セットアップの手軽さ | ビルドまたはバイナリ取得が必要 | コマンド1つで導入可能 | インストーラーで導入可能 |
| カスタマイズ性 | 非常に高い（ビルドオプション・パラメータ制御） | 中程度（Modelfile等で設定可能） | 低め（GUI上の設定項目に限定） |
| 最新モデルへの対応速度 | 速い（開発コミュニティが直接対応） | やや遅れる場合あり | やや遅れる場合あり |
| GPUサポート | CUDA・Metal・Vulkan等に対応 | CUDA・Metal対応 | CUDA・Metal対応 |
| ライセンス | MIT（オープンソース） | MIT（オープンソース） | 独自ライセンス（個人利用は無料） |
ローカルLLMの基礎知識を体系的に学びたい方は、ローカルLLMの基本と始め方をまとめた解説記事もあわせてご覧ください。
llama.cppを使うメリット
ローカルでLLMを動かす手段はいくつかありますが、llama.cppを選ぶ理由は大きく3つに整理できます。
1つ目は、GPUがなくても動作するという導入ハードルの低さです。llama.cppはCPU推論に対応しているため、一般的なノートPCやデスクトップPCでもLLMを実行できます。量子化されたモデルを選べば、メモリ8GB程度のマシンでも動作する場合があります。
2つ目は、API利用料が一切かからないコスト面のメリットです。OpenAIやAnthropicのクラウドAPIは従量課金制ですが、llama.cppを使えば自前のPC上で完結するため、どれだけ推論を実行しても追加費用は発生しません。プロトタイプ開発や検証用途では、特に大きな利点となるでしょう。
3つ目は、外部にデータを送信しないプライバシー・セキュリティ面の強さです。すべての処理がローカルで完結するため、機密性の高い文書や社内データを扱う場合でも、情報漏洩のリスクを大幅に低減できます。
生成AI導入のリスクと対策は下記で解説
llama.cppのインストール方法
llama.cppの導入方法は、大きく分けて「公式サイトからのインストール」「配布済みバイナリのダウンロード」「ソースコードからのビルド」の3通りがあります。
2026年8月時点では、公式サイトからのインストールが最も手軽な方法として案内されています※1。ソースからビルドする場合はCMakeを使用します。OS別の特徴は以下のとおりです。
| 比較項目 | Windows | Mac | Linux |
|---|---|---|---|
| 主な入手方法 | 公式サイト／リリースページのバイナリ／ソースビルド | 公式サイト／Homebrew／ソースビルド | 公式サイト／ソースビルド |
| 必要なツール | Visual Studio 2022（ビルド時）、CMake | Xcode Command Line Tools、CMake | gcc/g++、CMake |
| つまずきやすい点 | Visual Studioのワークロード設定漏れ | 特になし（Metal対応は自動） | CUDAツールキットのバージョン不一致 |
Windowsでのインストール手順
Windowsでは、GitHubリリースページから配布済みバイナリをダウンロードする方法が手軽です※1。GPU不要のCPU版やCUDA対応版など、環境に合わせたバイナリが用意されています。
ソースコードからビルドする場合は、Visual Studio 2022のC++デスクトップ開発ワークロードをインストールしたうえで、Developer Command PromptまたはDeveloper PowerShellから以下のコマンドを実行します。
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Releaseビルドが完了すると、build/bin/Release/ディレクトリ以下に実行ファイルが生成されます。
Mac・Linuxでのインストール手順
MacではXcode Command Line Toolsがインストールされていれば、ターミナルから以下のコマンドでビルドできます。Metal（GPU）対応はデフォルトで有効になっているため、Apple Siliconを搭載したMacであれば追加設定なしでGPUアクセラレーションが利用できます。
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config ReleaseLinuxでも同様のコマンドでビルド可能です。事前にgcc（またはg++）とCMakeがインストールされていることを確認してください。
ビルド時の注意点
NVIDIA GPUのアクセラレーション（CUDA）を有効にしてビルドする場合は、CUDAツールキットをインストールしたうえで、CMakeの実行時に-DGGML_CUDA=ONオプションを追加します※1。
AMD GPUの場合は-DGGML_HIP=ON、Vulkanを使う場合は-DGGML_VULKAN=ONをそれぞれ指定します。ビルドオプションや対応バックエンドは頻繁に更新されるため、最新の情報は公式リポジトリのビルドドキュメント（docs/build.md）を参照してください。
GGUFモデルの準備とダウンロード方法
llama.cppでLLMを実行するには、GGUF形式のモデルファイルを用意する必要があります。モデルの入手先を把握し、自分のPCスペックに合ったファイルを選ぶことが最初のステップです。
GGUFモデルの入手先
GGUFモデルの主な配布元はHugging Faceです※2。Hugging Faceでは「GGUF」タグでモデルを絞り込み検索でき、Llama・Qwen・Gemma・Mistralなど主要モデルの量子化済みGGUFファイルが多数公開されています。
また、llama.cppのCLIやサーバーコマンドでは、-hfオプションを使ってHugging Face上のモデルを直接指定し、ダウンロードから実行まで一括で行うことも可能です。手動でダウンロードする場合は、Hugging Faceのモデルページからファイルを直接取得します。
モデル選びのポイント
モデルを選ぶ際に最も重要なのは、手元のPCのメモリ容量と、モデルのサイズ・量子化レベルの関係を把握しておくことです。
例えば、7Bパラメータのモデルを4bit量子化（Q4_K_M）したGGUFファイルは約4GB前後になる場合が多く、メモリ8GBのPCでも動作する目安となります。13B以上のモデルを扱う場合は16GB以上のメモリが推奨されます。GPUを搭載している場合はVRAMにモデルの一部をオフロードすることで、より大きなモデルも扱えるようになります。
量子化レベルが低い（ビット数が少ない）ほどモデルサイズは小さくなりますが、その分精度は低下するため、用途に応じたバランスを取ることが大切です。
llama.cppの使い方（起動・実行方法）
llama.cppでモデルを実行する方法は、大きく分けてCLIによるインタラクティブ実行、APIサーバーとしての起動、ブラウザからのWeb UIの3パターンがあります。それぞれの用途に応じて使い分けるのが効果的です。
CLIでの実行方法
最もシンプルな実行方法は、CLIからモデルを直接指定して対話する方法です。ビルド済みの環境であれば、以下のコマンドでHugging Face上のGGUFモデルをダウンロードしつつ対話モードで起動できます※1。
llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF -cnv-cnvオプションを付けると会話モード（conversation mode）で起動し、チャット形式でやり取りできます。-pオプションで直接プロンプトを渡して1回だけ推論させることも可能です。
なお、Windowsで日本語を入力する場合はターミナルの文字コードをUTF-8に設定しておく必要があります（chcp 65001コマンドで変更可能）。
llama-serverでAPIサーバーを起動する方法
llama.cppには、OpenAI互換のREST APIサーバーを立ち上げる機能が組み込まれています。以下のコマンドで起動できます※1。
llama-server -hf ggml-org/Qwen3.5-0.8B-GGUFデフォルトではhttp://localhost:8080でAPIサーバーが起動します。--portオプションでポート番号を変更したり、--n-gpu-layers（-ngl）でGPUにオフロードするレイヤー数を指定したりと、柔軟な設定が可能です。
OpenAI互換のエンドポイント（/v1/chat/completionsなど）を備えているため、既存のOpenAI SDKやツールからそのまま接続して利用できる点も便利です。
Web UIでの操作方法
llama-serverを起動すると、ブラウザでhttp://localhost:8080にアクセスするだけで組み込みのWeb UIが表示されます。
Web UIではチャット形式で対話でき、パラメータ（温度・Top-Pなど）の調整もブラウザ上で行えます。CLIに不慣れな方でも手軽にローカルLLMを試せる手段として活用できるでしょう。
量子化の仕組みと選び方
ローカル環境でLLMを実用的に動かすうえで、量子化は避けて通れない技術です。モデルのサイズと推論速度、そして出力品質を左右する重要な設定項目となります。
量子化とは？精度とサイズのトレードオフ
量子化とは、モデルの重み（パラメータ）を高精度な浮動小数点数（32bitや16bit）からより少ないビット数（4bitや8bitなど）に変換する技術です。
その結果、モデルファイルのサイズが大幅に圧縮され、必要なメモリ量も削減されます。例えば、FP16（16bit）で保存されたモデルを4bit量子化すると、ファイルサイズはおおむね4分の1程度に縮小します。一方で、ビット数を減らすほど元の重みからの誤差が大きくなるため、出力品質（精度）が低下するトレードオフが存在します。
llama.cppでは、このトレードオフを踏まえた多様な量子化方式が用意されており、用途に応じて適切なレベルを選ぶことが重要です。
量子化レベル（Q4・Q5・Q8など）の選び方
llama.cppのGGUFモデルでは、Q4_K_M、Q5_K_M、Q8_0といった表記で量子化レベルが示されます。末尾の「K」はk-quant方式（ブロック単位の高精度量子化）を意味し、「M」はMedium（中程度の精度）を表します。
用途やPCスペックに応じて、以下の目安を参考に選ぶとよいでしょう。
| 量子化レベル | モデルサイズの目安（7Bモデル） | 精度の傾向 | 向いている用途 |
|---|---|---|---|
| Q2_K | 約2.5〜3GB程度 | かなり低下する | メモリが極端に限られた環境での検証 |
| Q4_K_M | 約4〜4.5GB程度 | 実用に十分なレベル | 一般的な用途（チャット・要約・コード生成など） |
| Q5_K_M | 約5〜5.5GB程度 | Q4よりやや高い | 精度を重視しつつファイルサイズも抑えたい場合 |
| Q8_0 | 約7〜8GB程度 | FP16に近い | 精度を最優先したい検証・研究用途 |
上記の数値はあくまで目安であり、モデルのアーキテクチャやパラメータ数によって変動します。迷った場合は、サイズと精度のバランスがよいQ4_K_Mから試してみるのがおすすめです。
企業がllama.cppでローカルLLM環境を検討すべき理由
llama.cppは個人開発者の技術検証だけでなく、企業の業務活用においてもローカルLLM環境の基盤として注目されています。ここでは、企業がローカルLLM環境を検討すべき背景を2つの観点から整理します。
自社での生成AI導入を本格的に検討されている方は、生成AI導入コンサルティングの詳細もあわせてご覧ください。
セキュリティ・機密情報保護の観点
企業がローカルLLM環境を検討する最も大きな理由のひとつが、機密情報を外部に出さずに生成AIを活用したいというニーズです。
クラウドAPIを利用する場合、プロンプトや入力データが外部サーバーに送信されるため、社内規定やセキュリティポリシーの観点から導入が難しいケースがあります。llama.cppを使ったローカルLLM環境であれば、すべての処理が自社のインフラ内で完結するため、データの外部流出リスクを回避できます。
実際に「社内の機密文書やナレッジを活用した生成AIを導入したいが、データを外部に出したくない」という趣旨の相談が寄せられる傾向にあり、こうしたニーズに対するソリューションとしてローカルLLM環境への関心が高まっています。
生成AI全般のリスクは下記でも解説
API利用コストの削減
クラウドAPIは従量課金が基本のため、利用量が増えるほどコストが膨らみます。特に社内チャットボットやRAGシステムなど、日常的に大量のリクエストを処理するユースケースでは、月額コストが想定以上に増大するケースも珍しくありません。
llama.cppによるローカルLLM環境であれば、初期のハードウェア投資は必要なものの、ランニングコストを大幅に抑えられます。利用頻度が高いほどコスト削減効果は大きくなるため、長期的な視点で見ると経済的な選択肢となり得るでしょう。
llama.cppの活用シーン
llama.cppは汎用的な推論エンジンであるため、さまざまな場面での活用が考えられます。ここでは代表的なユースケースを3つ紹介します。
社内文書のRAG検索・ナレッジ活用
RAG（Retrieval-Augmented Generation）とは、外部の文書データを検索し、その内容をもとにLLMが回答を生成する手法です。
llama.cppをRAGシステムの推論バックエンドとして組み込むことで、社内のマニュアルや仕様書、過去の問い合わせ履歴といったナレッジをLLMに参照させながら回答を生成するシステムを、クラウドAPIに依存せずに構築できます。情報を社外に出さない形で運用できるため、機密性の高い文書を扱う部門での活用が見込めるでしょう。
RAGの活用事例は下記でも解説
オフライン環境でのAIチャットボット構築
工場や研究施設、医療機関など、セキュリティ要件やネットワーク制約からインターネット接続が制限される環境は少なくありません。
こうしたオフライン環境でも、llama.cppとGGUFモデルをローカルに配置しておけば、インターネットに一切接続することなくAIチャットボットを稼働させることが可能です。現場での問い合わせ対応や作業手順のガイドなど、閉じたネットワーク内で生成AIを活用するシーンに適しています。
AIチャットボットの成功事例は下記でも解説
エッジデバイス・AI PCでの活用
llama.cppはCPU推論に最適化されているため、高性能なGPUを搭載していないエッジデバイスやAI PCでも動作します。
近年登場しているNPU（Neural Processing Unit）搭載のAI PCや、Raspberry Piのようなシングルボードコンピューター上でも、量子化されたコンパクトなモデルを動かせるのがllama.cppの強みです。IoT機器やキオスク端末への組み込みなど、デバイス上で完結するオンデバイスAIの実現手段として活用の幅が広がっています。
ローカルLLMの具体的な活用事例について詳しく知りたい方は、ローカルLLMの活用プログラム事例をまとめた記事もあわせてご覧ください。
よくある質問
最後に、llama.cppに関して、多くの方が疑問に感じるポイントをQ&A形式でまとめました。
llama.cppでローカルLLM活用の第一歩を踏み出そう
llama.cppを使えば、GPUを搭載していないPCでもローカル環境でLLMを動かせます。GGUF形式の量子化モデルを選べば、メモリ8GB程度のマシンでも実用的な推論が可能です。
インストールからモデルの準備、CLI・APIサーバー・Web UIでの実行まで、llama.cppの使い方は多彩ですが、基本的な流れはシンプルにまとまっています。まずはQ4_K_Mレベルの軽量モデルを動かしてみて、ローカルLLMの手応えを体感してみてください。企業でのセキュリティ要件やコスト削減ニーズにも応えられるllama.cppは、ローカルLLM活用の第一歩として最適な選択肢です。
最後に
弊社では、AI導入を検討中の企業向けに、業務効率化や新しい価値創出を支援する情報提供・導入支援を行っています。最新のAIを活用し、効率的な業務改善や高度な分析が可能です。
「生成AIで新しいプロダクトを作りたい」「もっと本格的に生成AIを業務に組み込みたい」とお考えの方は、ぜひ株式会社WEELにご相談ください。
開発実績として、
・新規事業室での「リサーチ」「分析」「事業計画検討」を70％自動化するAIエージェント
・社内お問い合わせの1次回答を自動化するRAG型のチャットボット
・過去事例や最新情報を加味して、10秒で記事のたたき台を作成できるAIプロダクト
・お客様からのメール対応の工数を80％削減したAIメール
・サーバーやAI PCを活用したオンプレでの生成AI活用
・生徒の感情や学習状況を踏まえ、勉強をアシストするAIアシスタント
などの開発実績がございます。
生成AIを活用したプロダクト開発の支援内容は、以下のページでも詳しくご覧いただけます。
➡︎株式会社WEELのサービスを詳しく見る。
アイデア段階でも構いません。まずは無料相談でお気軽にご相談ください。
➡︎生成AIを活用したプロダクト開発・業務効率化について相談する
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、大規模言語モデル（LLM）を対象に、言語理解能力、生成能力、応答速度の各側面について比較・検証した資料も配布しております。この機会にぜひご活用ください。
