Web フロントエンド開発ツールby bunnywaffle

llama.cpp Manager

Windows 向け llama.cpp 管理。バックエンドとモデルの入手、サーバー起動、チャット。

llama.cpp Manager を開く ↗
github.com/bunnywaffle/llama-managerllama.cpp Manager スクリーンショット

概要

MyGo と Web フロントエンドで作られた Windows 向けの llama.cpp マネージャー。画面はシステムの WebView2 で動きます。GPU を検出して CUDA 12.4・Vulkan・CPU のバックエンドを導入し、GGUF ファイルの取り込みや Hugging Face からのダウンロードができ、llama-server を単一モデルまたはフォルダー内の全モデルで起動します。内蔵チャットでは任意の応答から会話を分岐させ、ペルソナを切り替えられます。