Junge, MacOS tut wirklich alles dafür, um die Vorteile von Docker zur Nichte zu machen.
1. Man kann zwar einen Container über einen Port auf seinem Gerät exposen, aber ein anderer Container, kann ...
.. "host.docker.internal" eintragen.
2. Es gibt auf MacOS einfach kein GPU-Passthrough mit Docker. Das heißt, llama.cpp kann nur auf die CPU zugreifen, die deutlich langsamer ist. Entsprechend ist das Setup auch hinfällig und ich würde empfehlen, einfach die llama.cpp Desktop-App zu nutzen.
2. Es gibt auf MacOS einfach kein GPU-Passthrough mit Docker. Das heißt, llama.cpp kann nur auf die CPU zugreifen, die deutlich langsamer ist. Entsprechend ist das Setup auch hinfällig und ich würde empfehlen, einfach die llama.cpp Desktop-App zu nutzen.
1
