Damus
Anarchozionist/Datenprolet · 10w
.. "host.docker.internal" eintragen. 2. Es gibt auf MacOS einfach kein GPU-Passthrough mit Docker. Das heißt, llama.cpp kann nur auf die CPU zugreifen, die deutlich langsamer ist. Entsprechend ist das Setup auch hinfällig und ich würde empfehlen, einfach die llama.cpp Desktop-App zu nutzen.