Awesome MyGo

Web 前端AI 助理by bunnywaffle

llama.cpp Manager

Windows 版 llama.cpp 管理工具：下載後端與 GGUF 模型，執行伺服器並聊天。

開啟 llama.cpp Manager ↗
github.com/bunnywaffle/llama-managerllama.cpp Manager 應用截圖

簡介

以 MyGo 搭配 Web 前端打造的 Windows 版 llama.cpp 管理工具，介面執行於系統內建的 WebView2。它會偵測顯示卡並安裝 CUDA 12.4、Vulkan 或 CPU 後端，可匯入本機 GGUF 模型或從 Hugging Face 下載，並以單一模型或整個模型資料夾的方式執行 llama-server。內建聊天可從任一回覆分支出新對話，並切換角色設定。