![]() |
LM Studio mit deepseek-r1-distill-qwen-7b
Embarcadero hat einen neuen Artikel zum Thema "
![]() Ich habe also LM Studio installiert und dann das von diesem Tool (aus welchen Gründen auch immer) vorgeschlagene LLM "deepseek-r1-distill-qwen-7b" heruntergeladen. Auf meinem (ziemlich schwachbrüstigen) PC kann man zuschauen, wie die Antworten wortweise geschrieben werden, aber es ist trotzdem interessant. Ich habe im Chat-Interface ein paar Fragen zu Delphi, Borland, RAD Studio und zuletzt Embarcadero gestellt. Dabei kamen ein paar "interessante" Dinge zum Vorschein:
Einerseits spaßig, andererseits aber erschreckend, wenn man bedenkt, dass LLMs von vielen Leuten verwendet werden, ohne die Antworten zu hinterfragen. Zugegeben, dieses Modell ist sehr eingeschränkt, aber es antwortet wie andere Modelle immer im "Brustton der Überzeugung". Hier noch die endgültige Antwort, damit keiner glaubt, ich denke mir as aus: Meine Frage war: Zitat:
Zitat:
|
AW: LM Studio mit deepseek-r1-distill-qwen-7b
<sarkasmus>
Ich verstehe nicht was Du hast. Das ist doch alles korrekt und richtig. Du bist sicher aus einem parallelen Universum. Oder hast die letzte Runde Hirnschrupfen für "collective geistige Verblödung" verpasst. </sakasmus> Ich finde AI wirklich eine tolle Sache. Doch nichts von dem ist schon alltagstauglich. Trotzdem sieht es so aus als wenn auf Teufel-komm-raus versucht wird alles mit AI zu erledigen was nur geht. Selbst wenn die Trainingsdaten von einer illegalen Müllkippe kommen. |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Noch 2-3 Jahre, dann haben wir eine geschlossene Müll-Endlosschleife:
Jede KI ist dann mit dem Müll trainiert, der von anderen KIs erzeugt wurde, die mit Müll trainiert wurden, der von anderen KIs erzeugt wurde, die mit Müll... Garbage in, garbage out, forever... |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Hängt davon ab, was bei den kleineren wegdestilliert und dann zusammengesucht wird.
Mit 14b war meine Antwort Zitat:
Zitat:
Wenn man zuviel von der eigentlichen KI entfernt, bleibt halt manchmal nur Müll übrig. Delphi ist wohl nicht mehr so wichtig, so dass es schneller rausfliegt. |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Ich habe es jetzt hinbekommen, die "KI" in die IDE einzubinden. Jeder Aufruf dauert natürlich ewig, weil der PC dafür schlicht nicht geeignet ist. Aber es funktioniert.
Blöd ist, dass während sie auf die Antwort wartet, die IDE komplett blockiert ist. Ich will mir als Test gerade eine InsertionSort Implementation erklären lassen und hätte jetzt gerne den Sourcecode hier rein kopiert. Edit: So, die Antwort ist da. Code, der zu erklären war:
Delphi-Quellcode:
Erklärung
procedure SomeSort(Left, Right: Integer; CompareFunc: TCompareFunction; SwapProc: TSwapProcedure);
var I, J: Integer; begin for I := Left + 1 to Right do begin J := I; while (J > Left) and (CompareFunc(J - 1, J) > 0) do begin SwapProc(J - 1, J); Dec(J); end; end; end; Zitat:
|
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zitat:
Mit den Cloud-Services geht es zwar flott, aber das "Rendern" der Texte dauert halt auch seine Zeit. Im DeepResearch bei OpenAI kann der mal locker ein paar Minuten nachdenken. In der Zeit sollte natürlich nichts blockieren ... Mit eigener Hardware: Die echten KI-Beschleuniger kann sich ein "Normalsterblicher" kaum leisten. Es hört sich so an, als würdest Du eine lokale Hardware nutzen, welche GPU hast Du denn im PC verbaut? Ich denke mit weniger als NVIDIA GeForce RTX 4090 sollte man gar nicht anfangen. Mit MacMini und M2+ geht es allerdings auch relativ flott. Wenn es schneller sein soll kann man auch externe GPU's in der Cloud nutzen, aber dann bist Du wieder in der Cloud ... |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zitat:
|
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zitat:
|
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Na ja, du hast irgendeine Art abspeckte Version - die auf keinen Fall so leistungsfähig ist wie die Onlineversion - auf einen viel zu schmalbrüstigen Rechner laufen lassen.
Was also genau war deine Erwartungshaltung? Wenn du die Ferrari-Reifen auf den Trabi montierst, dann fährt der auch nicht schneller. Gleich Frage an chat.deepseek.com gestellt: Zitat:
Zitat:
![]() |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Neuere Notebooks mit AMD haben NPU's + 50 Tops und bis zu 64 GB RAM.
Ich kann einfach nicht abschätzen, ob diese für einfache Jobs reichen würden. Velleicht hat ja jemand Tipps dazu, denn demnächst steht bei mir eine Neuanschaffung an. |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Ich war am überlegen mir SDXL auf dem Notebook zu installieren. Nachdem ich die Anforderungen gesehen habe würde ich gerne mal ein Google Rechenzentrum besichtigen. ... die lassen einen dort kostenlos eigene SDXL Instanzen aufsetzen:cyclops:Ich habe nur keine Lust meine Ergebnisse mit denen zu teilen. Daher geht das leider nicht.
Wenn ich mir in ein paar Jahren einen neuen Laptop von XMG zulege sollte der in der lage sein eine heutige SDXL vernünftig zu verwenden. |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zitat:
Es hat unter diesen Umständen erstaunlich gut funktioniert, ist aber natürlich so nicht wirklich brauchbar. Wobei die "Performance" im direkten Chat sogar noch halbwegs erträglich war. Via API in der IDE ist es, weil synchron auf die Antwort gewartet und dabei die IDE blockiert wird, nicht brauchbar. Ich werde es bei Gelegenheit mal auf einem schnelleren Rechner testen, aber die meisten, die mir zur Verfügung stehen, haben auch nur Intel-Grafik. |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zitat:
Im Moment spriesst ja überall was aus dem Boden. Wie gesagt, MacMini, MacStudio ist gar nicht so schlecht vom Preis- Leistungsverhältnis, ich denke ein AMD-PC kommt auch nur in diese Region. Damit kann man so 3-8GB große LLMs halbwegs laufen lassen. So richtig interessant wird es aber, wenn es mal spezielle KI-Pcs geben wird, die dann mit gigantischem, schnellen Speicher auch große Modell laufen lassen können. Viel hilft viel ... Es gibt da sowas ![]() oder auch das ![]() oder neue Prozessoren ![]() Ich würde erstmal abwarten was da so kommt, denn so 2-4K muss man für ein halbwegs flottes KI-System schon ausgeben. Eine starke Nvidia GPU in einen PC-Stecken ist nicht ganz so interessant, das frisst nur viel Energie und hat nicht genug Speicher OnBoard. Ich glaube es kommen da bald sehr spezielle KI-Systeme auf den Markt. |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zu mindestens habe ich gelesen, dass es die großen nVidia GPU's auch mit bis zu 96 GB RAM demnächst geben soll.
Ich hatte gehofft, dass es auch mit einem Strix Halo (o.ä.) auch für einfachere Dinge gehen würde. Den Quatsch von MS, wo man sich von den Daten her total blank macht, braucht wohl kein Mensch. deshalb haben sie das wohl auch wieder entfernt. |
Alle Zeitangaben in WEZ +1. Es ist jetzt 07:40 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024-2025 by Thomas Breitkreuz