HN 日本語サマリー

← 一覧へ戻る
プログラミング

llama.cpp

llama.cpp (llama.app)

294 pointsby kristianpaul126 コメント

要約

llama.cppは、ローカル環境で動作するオープンソースのAI実行フレームワークです。APIキーやテレメトリなしで、プライベートかつ完全にローカルで最先端のAIモデルを実行でき、ユーザーは自身のモデルと会話データを完全に所有できます。あらゆるハードウェアで最適化されており、多様なGPUやCPUに対応しています。Qwen、Gemma、GPT-OSSなどの様々なモデルを実行可能です。

全文翻訳

Your AI.On your computer.

llama.cppチームとHugging Faceより

Llamaは、最新のオープンモデルをMacで実行する小さなメニューバーアプリです。Llamaは、最新のオープンモデルをPCで実行するシステムトレイアプリです。Llamaは、お使いのコンピュータで最新のオープンモデルを実行するMacおよびWindows用アプリです。それらとチャットしたり、他のアプリで使用したりできます。

Mac用ダウンロード Windows 11用ダウンロード GitHubで表示 GitHubで表示

1 MBのダウンロード · 無料 · オープンソース · オフラインで動作

OpenAIのように、お使いのMacコンピュータで

OpenAIには、チャットするためのChatGPTと、構築するためのAPIがあります。Llamaは、あなたが選んだモデルを、お使いのコンピュータ上で実行できる両方を提供します。

あなたのために

チャット · ChatGPTのように

メニューから「チャットを開く」をクリックするだけです。セットアップは何も必要ありません。

あなたのアプリのために

API · OpenAI APIのように

コーディングエージェント Pi

エディタ OpenAI互換

チャットアプリ OpenAI互換

独自のコード 任意のOpenAI SDK

OpenAIと連携するあらゆるアプリを localhost:9931/v1 にポイントしてください。

あなたのモデル · 一度ダウンロードすれば、どこでも使用可能

Qwen3.8 27B gpt-oss 20B gemma-4 E4B

セットアップ不要

AIをローカルで実行するには、かつては設定に関するフォーラムのスレッドを読む必要がありました。Llamaは、llama.cppが実際にどのように機能するかを基に、お使いのMacコンピュータをチェックし、各モデルがそこでうまく実行できるように設定します。あなたが話したいモデルを選ぶだけです。

仕組みを知っていますか? llama.cppの設定はすべて、1つのプレーンテキストファイルにそのまま残っています。

Qwen3.8 27B Llamaがお使いのMacコンピュータのために選択

  • 量子化 メモリに収まる最高の精度
  • コンテキストサイズ メモリに収まるサイズのみ
  • 画像入力 画像を理解するモデルではオン
  • 推論的デコーディング サポートするモデルではオン
  • バッチサイズ 32 GB以上のMacではより大きく

軽すぎて存在を忘れるほど

ローカルAIは、ディスク容量とメモリを大量に消費するという評判があります。Llamaは両方を最小限に抑えます。

4 MBのアプリ

ネイティブMacアプリで、ダウンロードはわずか1 MB — 写真よりも小さいです。

各モデルは一度だけ保存

Hugging Faceキャッシュに保存され、llama.cppやその他のツールと共有されます。

アイドル時は何もロードされない

モデルは、何かが要求したときにロードされ、5分間アイドル状態が続くとアンロードされます。

あらゆるMacコンピュータに最適なモデル

Llamaは、開いたときに適合するモデルを提案します。ここから始めましょう。

16 GB以上のメモリ搭載Mac Gemma 4 日常的な質問、ライティング、画像24 GB以上のメモリ搭載Mac GPT-OSS OpenAIからのステップバイステップの推論32 GB以上のメモリ搭載Mac Qwen 3.8 コード、推論、長文ドキュメントに強い

モデルをブラウズ

Llamaで構築する

あなたのアプリは、共有できるローカルAI APIを取得し、Llamaがエンジンとモデルを管理します。

OpenAI互換API

あなたのコードがOpenAIと連携しているなら、Llamaとも連携します。ベースURLを変更するだけで、APIキーや利用料金なしで、すべてをそのまま使用できます。

  • OpenAIおよびAnthropic互換のエンドポイント
  • ストリーミング、ツール呼び出し、構造化出力、ビジョン
  • すでにllama.cppを使用していますか? モデルは自動的に表示されます
  • llama コマンドも利用可能: llama cli, llama serve など
  • Tailscale経由で他のデバイスからアクセス可能

APIリファレンス コマンドライン

$curl http://localhost:9931/v1/chat/completions
-H "Content-Type: application/json"
-d '{ "model": "ggml-org/gpt-oss-20b-GGUF:MXFP4", "messages": [{"role": "user", "content": "Hi!"}] }'

バンドル不要

あなたのアプリはAPI経由でLlamaと通信し、ワンクリックリンクで必要なモデルがインストールされます。配布するエンジンはなく、ダウンロードサイズもギガバイト単位になりません — そしてユーザーは、すべてのアプリのために各モデルのコピーを1つだけ保持します。

Llamaなしの場合 57 GBのディスク容量

チャットアプリ

エンジン モデル 19 GB

コーディングエージェント

エンジン モデル 19 GB

あなたのアプリ

エンジン モデル 19 GB

Llamaありの場合 19 GBのディスク容量

チャットアプリ コーディングエージェント あなたのアプリ

Llama

エンジン モデル 19 GB

ローカルAIはここから始まる

無料、オープンソース、そしてあなたのものです。

コマンドラインだけが必要ですか? コマンドラインをインストールする:

curl -LsSf https://llama.app/install.sh | sh

irm https://llama.app/install.ps1 | iex