Ich versuche gerade, ein lokales LLM so weit zu massieren, dass es sinnvolle Antworten in akzeptabler Zeit gibt.
Diese Aufgabe gleicht ein wenig der Quadratur des Kreises ...

Ich habe entweder einigermaßen sinnvolle Antworten - aber warte ewig - oder ich bekomme hinreichend zügig eine Antwort - die dann aber richtiger Müll sein kann.

Ein quantisiertes Qwen 3.5 4B ist derzeit das Modell der Wahl. Nicht ideal - aber alles andere scheint schlechter zu sein.