Zu wenig Arbeitsspeicher.
Wieso nicht einfach Microsoft Azure oder Google Cloud? Die bieten diverse LLMs dort an.
Zu wenig Arbeitsspeicher.
Wieso nicht einfach Microsoft Azure oder Google Cloud? Die bieten diverse LLMs dort an.
Den gleichen Gedanken hatte ich auch. Ich müsste mal schauen welche LLM die anbieten, ich würde gerne mal Deep Seek testen, da das LLM ja recht gut bei den Tests abgeschnitten hatte.
Vielleicht wäre es am kostengünstigen einfach eine Cloud alleine zu mieten und dann das LLM selber zu installieren? Sofern das möglich ist von den Rechten her.
Du solltest übrigens nicht vergessen das deine eigene Zeit die du zum einrichten eines LLMs brauchst ebenfalls "was kostet".
Grundlegend aber nicht vergessen das LLMs eine GPU benötigen um zu funktionieren, Arbeitsspeicher ist zweitrangig und hält nur die Datenbank im schnellen Speicher vor.
Am besten Bezahlung pro Nachricht
Wenn du es nicht selber hosten willst: Chatpad mit OpenAI-Key und Guthaben.
Wenn du es nicht selber hosten willst: Chatpad mit OpenAI-Key und Guthaben.
Ich will allerdings die Daten rein lokal gesichert haben,
so einer API an Open AI würde ich nicht ausreichend vertrauen.
Vermutlich ist Deep Seek aktuell die leistungsstärkste OS Alternative zu Chat GPT?
Ich würde da ja eher auf Grok 3 tippen:
Vergleiche zu anderen LLMs bringt er relativ am Ende, ab 21:11.
Ich hab das gestern mal ausprobiert, und es hat mich beeindruckt. Für folgende Breakout-Spielvariante hab ich keine einzige Codezeile selbst schreiben müssen:
https://xamidi.github.io/grok3-breakout/ (repo auf GitHub)
Lediglich die Soundeffekte musste ich von Hand in die Standalone-HTML als Base64-Strings einfügen.
PS: Falls es jemand zocken und vergeichen mag, gerne hier fortführen: RE: Smalltalk - Chatten, Diskutieren....
Ich bräuchte aber wie gesagt immer noch ein Hosting lokal. Am liebsten wäre mir bisher Deep Seek, da ich ein paar mathematische Sachen berechnen wollte. Ich denke zwar, dass dazu die LLMs nichts taugen, aber testen will ich es dennoch. Nur sind die Rechnungen zu sensible für Open AI.
Bisher konnte ich herausfinden, dass Deep Seek mit Ollama weniger Hardware braucht, sonst wäre das zu teuer:
"With tools like Ollama, part of the model can be stored in system RAM while the active layers are kept in GPU VRAM, shifting them dynamically as needed. This method works particularly well for Mixture of Experts (MoE) models like DeepSeek V3, which only activate a portion of their parameters at a time.
However, even with offloading, you still need a high-memory server, such as:
Since the entire model doesn’t fit into VRAM, response speeds drop significantly due to constant memory swapping. In practical terms, this means performance is often limited to just a few tokens per second."
Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!
