![]() |
LM Studio mit deepseek-r1-distill-qwen-7b
Embarcadero hat einen neuen Artikel zum Thema "
![]() Ich habe also LM Studio installiert und dann das von diesem Tool (aus welchen Gründen auch immer) vorgeschlagene LLM "deepseek-r1-distill-qwen-7b" heruntergeladen. Auf meinem (ziemlich schwachbrüstigen) PC kann man zuschauen, wie die Antworten wortweise geschrieben werden, aber es ist trotzdem interessant. Ich habe im Chat-Interface ein paar Fragen zu Delphi, Borland, RAD Studio und zuletzt Embarcadero gestellt. Dabei kamen ein paar "interessante" Dinge zum Vorschein:
Einerseits spaßig, andererseits aber erschreckend, wenn man bedenkt, dass LLMs von vielen Leuten verwendet werden, ohne die Antworten zu hinterfragen. Zugegeben, dieses Modell ist sehr eingeschränkt, aber es antwortet wie andere Modelle immer im "Brustton der Überzeugung". Hier noch die endgültige Antwort, damit keiner glaubt, ich denke mir as aus: Meine Frage war: Zitat:
Zitat:
|
AW: LM Studio mit deepseek-r1-distill-qwen-7b
<sarkasmus>
Ich verstehe nicht was Du hast. Das ist doch alles korrekt und richtig. Du bist sicher aus einem parallelen Universum. Oder hast die letzte Runde Hirnschrupfen für "collective geistige Verblödung" verpasst. </sakasmus> Ich finde AI wirklich eine tolle Sache. Doch nichts von dem ist schon alltagstauglich. Trotzdem sieht es so aus als wenn auf Teufel-komm-raus versucht wird alles mit AI zu erledigen was nur geht. Selbst wenn die Trainingsdaten von einer illegalen Müllkippe kommen. |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Noch 2-3 Jahre, dann haben wir eine geschlossene Müll-Endlosschleife:
Jede KI ist dann mit dem Müll trainiert, der von anderen KIs erzeugt wurde, die mit Müll trainiert wurden, der von anderen KIs erzeugt wurde, die mit Müll... Garbage in, garbage out, forever... |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Hängt davon ab, was bei den kleineren wegdestilliert und dann zusammengesucht wird.
Mit 14b war meine Antwort Zitat:
Zitat:
Wenn man zuviel von der eigentlichen KI entfernt, bleibt halt manchmal nur Müll übrig. Delphi ist wohl nicht mehr so wichtig, so dass es schneller rausfliegt. |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Ich habe es jetzt hinbekommen, die "KI" in die IDE einzubinden. Jeder Aufruf dauert natürlich ewig, weil der PC dafür schlicht nicht geeignet ist. Aber es funktioniert.
Blöd ist, dass während sie auf die Antwort wartet, die IDE komplett blockiert ist. Ich will mir als Test gerade eine InsertionSort Implementation erklären lassen und hätte jetzt gerne den Sourcecode hier rein kopiert. Edit: So, die Antwort ist da. Code, der zu erklären war:
Delphi-Quellcode:
Erklärung
procedure SomeSort(Left, Right: Integer; CompareFunc: TCompareFunction; SwapProc: TSwapProcedure);
var I, J: Integer; begin for I := Left + 1 to Right do begin J := I; while (J > Left) and (CompareFunc(J - 1, J) > 0) do begin SwapProc(J - 1, J); Dec(J); end; end; end; Zitat:
|
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zitat:
Mit den Cloud-Services geht es zwar flott, aber das "Rendern" der Texte dauert halt auch seine Zeit. Im DeepResearch bei OpenAI kann der mal locker ein paar Minuten nachdenken. In der Zeit sollte natürlich nichts blockieren ... Mit eigener Hardware: Die echten KI-Beschleuniger kann sich ein "Normalsterblicher" kaum leisten. Es hört sich so an, als würdest Du eine lokale Hardware nutzen, welche GPU hast Du denn im PC verbaut? Ich denke mit weniger als NVIDIA GeForce RTX 4090 sollte man gar nicht anfangen. Mit MacMini und M2+ geht es allerdings auch relativ flott. Wenn es schneller sein soll kann man auch externe GPU's in der Cloud nutzen, aber dann bist Du wieder in der Cloud ... |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zitat:
|
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Zitat:
|
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Na ja, du hast irgendeine Art abspeckte Version - die auf keinen Fall so leistungsfähig ist wie die Onlineversion - auf einen viel zu schmalbrüstigen Rechner laufen lassen.
Was also genau war deine Erwartungshaltung? Wenn du die Ferrari-Reifen auf den Trabi montierst, dann fährt der auch nicht schneller. Gleich Frage an chat.deepseek.com gestellt: Zitat:
Zitat:
![]() |
AW: LM Studio mit deepseek-r1-distill-qwen-7b
Neuere Notebooks mit AMD haben NPU's + 50 Tops und bis zu 64 GB RAM.
Ich kann einfach nicht abschätzen, ob diese für einfache Jobs reichen würden. Velleicht hat ja jemand Tipps dazu, denn demnächst steht bei mir eine Neuanschaffung an. |
Alle Zeitangaben in WEZ +1. Es ist jetzt 07:48 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024-2025 by Thomas Breitkreuz