LM Studio mit deepseek-r1-distill-qwen-7b

[Rollo62]

Zitat von TRomano:

Neuere Notebooks mit AMD haben NPU's + 50 Tops und bis zu 64 GB RAM.

Ich denke, dass ich warte bis es da etwas Neues von NVidia & Co gibt.
Im Moment spriesst ja überall was aus dem Boden.

Wie gesagt, MacMini, MacStudio ist gar nicht so schlecht vom Preis- Leistungsverhältnis,
ich denke ein AMD-PC kommt auch nur in diese Region.
Damit kann man so 3-8GB große LLMs halbwegs laufen lassen.

So richtig interessant wird es aber, wenn es mal spezielle KI-Pcs geben wird, die dann mit gigantischem, schnellen Speicher auch große Modell laufen lassen können.
Viel hilft viel ...

Es gibt da sowas
https://www.dailymotion.com/video/x9aza4g
oder auch das
https://www.elektronikpraxis.de/nvid...f4018b2cbd550/
oder neue Prozessoren
https://www.elektronikpraxis.de/nvid...be96/?cflt=rel

Ich würde erstmal abwarten was da so kommt, denn so 2-4K muss man für ein halbwegs flottes KI-System schon ausgeben.

Eine starke Nvidia GPU in einen PC-Stecken ist nicht ganz so interessant, das frisst nur viel Energie und hat nicht genug Speicher OnBoard.
Ich glaube es kommen da bald sehr spezielle KI-Systeme auf den Markt.