LM Studio mit deepseek-r1-distill-qwen-7b

[Sinspin]

Ich war am überlegen mir SDXL auf dem Notebook zu installieren. Nachdem ich die Anforderungen gesehen habe würde ich gerne mal ein Google Rechenzentrum besichtigen. ... die lassen einen dort kostenlos eigene SDXL Instanzen aufsetzen:cyclops:Ich habe nur keine Lust meine Ergebnisse mit denen zu teilen. Daher geht das leider nicht.
Wenn ich mir in ein paar Jahren einen neuen Laptop von XMG zulege sollte der in der lage sein eine heutige SDXL vernünftig zu verwenden.

[dummzeuch]

Zitat:

Zitat von TiGü (Beitrag 1547774)

Na ja, du hast irgendeine Art abspeckte Version - die auf keinen Fall so leistungsfähig ist wie die Onlineversion - auf einen viel zu schmalbrüstigen Rechner laufen lassen.
Was also genau war deine Erwartungshaltung? Wenn du die Ferrari-Reifen auf den Trabi montierst, dann fährt der auch nicht schneller.

Meine Erwartungshaltung war: Gucken wir mal, ob und wie gut es trotzdem funktioniert. Ich hatte keinerlei Vorstellung, welche Hardware benötigt wird, nur die Behauptungen, man brauche irgendeine Monster-Grafikkarte.

Es hat unter diesen Umständen erstaunlich gut funktioniert, ist aber natürlich so nicht wirklich brauchbar. Wobei die "Performance" im direkten Chat sogar noch halbwegs erträglich war. Via API in der IDE ist es, weil synchron auf die Antwort gewartet und dabei die IDE blockiert wird, nicht brauchbar.

Ich werde es bei Gelegenheit mal auf einem schnelleren Rechner testen, aber die meisten, die mir zur Verfügung stehen, haben auch nur Intel-Grafik.

[Rollo62]

Zitat:

Zitat von TRomano (Beitrag 1547775)

Neuere Notebooks mit AMD haben NPU's + 50 Tops und bis zu 64 GB RAM.

Ich denke, dass ich warte bis es da etwas Neues von NVidia & Co gibt.
Im Moment spriesst ja überall was aus dem Boden.

Wie gesagt, MacMini, MacStudio ist gar nicht so schlecht vom Preis- Leistungsverhältnis,
ich denke ein AMD-PC kommt auch nur in diese Region.
Damit kann man so 3-8GB große LLMs halbwegs laufen lassen.

So richtig interessant wird es aber, wenn es mal spezielle KI-Pcs geben wird, die dann mit gigantischem, schnellen Speicher auch große Modell laufen lassen können.
Viel hilft viel ...

Es gibt da sowas
https://www.dailymotion.com/video/x9aza4g
oder auch das
https://www.elektronikpraxis.de/nvid...f4018b2cbd550/
oder neue Prozessoren
https://www.elektronikpraxis.de/nvid...be96/?cflt=rel

Ich würde erstmal abwarten was da so kommt, denn so 2-4K muss man für ein halbwegs flottes KI-System schon ausgeben.

Eine starke Nvidia GPU in einen PC-Stecken ist nicht ganz so interessant, das frisst nur viel Energie und hat nicht genug Speicher OnBoard.
Ich glaube es kommen da bald sehr spezielle KI-Systeme auf den Markt.

[TRomano]

Zu mindestens habe ich gelesen, dass es die großen nVidia GPU's auch mit bis zu 96 GB RAM demnächst geben soll.
Ich hatte gehofft, dass es auch mit einem Strix Halo (o.ä.) auch für einfachere Dinge gehen würde. Den Quatsch von MS, wo man sich von den Daten her total blank macht, braucht wohl kein Mensch. deshalb haben sie das wohl auch wieder entfernt.