웹 프런트엔드개발 도구by bunnywaffle

llama.cpp Manager

Windows용 llama.cpp 관리자. 백엔드와 GGUF 모델을 받고 서버를 실행해 채팅합니다.

github.com/bunnywaffle/llama-managerllama.cpp Manager 스크린샷

소개

MyGo와 웹 프런트엔드로 만든 Windows용 llama.cpp 관리자로, 화면은 시스템 WebView2에서 실행됩니다. GPU를 감지해 CUDA 12.4, Vulkan, CPU 백엔드를 설치하고, GGUF 파일을 가져오거나 Hugging Face에서 내려받으며, llama-server를 모델 하나 또는 폴더 전체로 실행합니다. 내장 채팅에서는 어떤 답변에서든 대화를 분기하고 페르소나를 바꿀 수 있습니다.