llama.cpp Router-Modus auf AMD iGPU in Proxmox LXC
Die Einrichtung von llama.cpp im Router-Modus innerhalb eines Proxmox LXC-Containers. Dies ermöglicht die Nutzung der AMD Radeon 780M iGPU über Vulkan für ein dynamisches, multi-Modell-Serving. Die Anleitung umfasst die Kompilierung, die Konfiguration eines systemd-Dienstes und die Integration mit OpenWebUI. Techstack…