.. "host.docker.internal" eintragen.
2. Es gibt auf MacOS einfach kein GPU-Passthrough mit Docker. Das heißt, llama.cpp kann nur auf die CPU zugreifen, die deutlich langsamer ist. Entsprechend ist d...
@nprofile1q... Podman Desktop kann GPU-Passthrough, und wenn's ohne GUI sein soll, podman machine mit krunkit als VM-Runner auch. Kommandozeile von podman ist docker-kompatibel.