Hat hier jemand Erfahrung mit dem Betrieb eigener KI-Systeme? Nachdem der Chat von HuggingFace seine Tore sehr unerwartet und spontan geschlossen hat, bin ich auf der Suche nach freien Alternativen.
Eine Option könnte sein, so einen Chat mit den passenden LLMs selbst zu betreiben. Dafür wird dann aber eine vernünftige GPU nötig. GPU-Hosting scheint im Vergleich mit den gängigen V-Servern recht teuer zu sein. Zumindest für mich, ist das nichts, was ich ohne Finanzkonzept mal kurz buche ... Die günstigsten Preise lagen bei etwa um die 200 - 300 € pro Monat. Da scheint mir die Anschaffung eines lokalen Servers mit einer passenden Grafikkarte von Nvidia die mittelfristig günstigere Lösung.
Stimmt das? Übersehe ich dabei etwas?
Wie viele User können eigentlich auf so einem "simplen" Computer mit einer etwas besseren Grafikkarte parallel Anfragen stellen?
Hat hier einer / eine von euch Erfahrung und Tipps?
#HuggingFace #huggingchat #Ai #Ki @nprofile1q... @nprofile1q... #selfhost #linux #chat #bot #llm @nprofile1q... #server
Eine Option könnte sein, so einen Chat mit den passenden LLMs selbst zu betreiben. Dafür wird dann aber eine vernünftige GPU nötig. GPU-Hosting scheint im Vergleich mit den gängigen V-Servern recht teuer zu sein. Zumindest für mich, ist das nichts, was ich ohne Finanzkonzept mal kurz buche ... Die günstigsten Preise lagen bei etwa um die 200 - 300 € pro Monat. Da scheint mir die Anschaffung eines lokalen Servers mit einer passenden Grafikkarte von Nvidia die mittelfristig günstigere Lösung.
Stimmt das? Übersehe ich dabei etwas?
Wie viele User können eigentlich auf so einem "simplen" Computer mit einer etwas besseren Grafikkarte parallel Anfragen stellen?
Hat hier einer / eine von euch Erfahrung und Tipps?
#HuggingFace #huggingchat #Ai #Ki @nprofile1q... @nprofile1q... #selfhost #linux #chat #bot #llm @nprofile1q... #server