KI-gestützte Entwicklung in RAD Studio 12.2

[Dave4711]

Wer kein Abo bei einem KI-Anbieter will, viel Wert auf Datensicherheit legt und gegen den Energiehunger der bisherigen KI-Lösungen ist, für den kann ich folgende Lösung empfehlen.
Ich selber habe als KI das neue "Deeepseek-R1:70b"-Model im lokalen Netz im Einsatz.
Die KI läuft auf einem MacBook Pro mit M3 Max und 64 GB Hauptspeicher unter Ollama (Start mit "ollama serve").
Die Konfiguration im RAD-Studio war sehr einfach.
BaseUrl: "http://macbook:11434"
Model: "deepseek-r1:70b"
Die Verbindung war sofort hergestellt.
Die Ergebnisse der Chat-Anfragen sind erstaunlich gut und vergleichbar mit GPT-O1 über die offizelle Web-Seite.
Die Performance ist leicht schlechter, aber mit dem "deepseek-r1:32b"-Model vergleichbar schnell.
Das "deepseek-r1:70b"-Model (43GB) liefert oft mehr Alternativen als das "deepseek-r1:32b"-Model (20GB).
Auch die aufgezeigten Lösungswege werden ausführlicher erklärt.

[sh17]

Top

[himitsu]

Ja, das ist ja grad voll am rumkommen.
https://www.zeit.de/2025/05/deepseek...hina-usa-markt

Aber eine gute Grafikkarte und und ausreichend Speicher wird schon vorausgesetzt.

Schön, das Emba selbst bereits zeigt, wie man eine Offline-KI (Ollama) bei sich reinbekommt. (neben den bezahlten Online-KIs ChatGPT/Microsoft, Gemini/Google und Claude)
https://www.youtube.com/watch?v=ZIiV7Lp53X0
https://blogs.embarcadero.com/de/web...o-12-2-athens/
https://www.youtube.com/watch?v=KzYb0H9Y7hk
...



Ich spiele noch etwas mit einem einfachen Embedding rum, wofür eine keine Grafikkarte braucht, aber ebenfalls ordentlich RAM (64 GB sollte man mindestens haben, auch wenn es kleine Embeddings mit nur 0,5 bis 1 GB RAM gibt)

[t2000]

Ist das so, oder täusche ich mich: Wenn ich OpenAI GPT in Delphi nutze, zahle ich extra, da ich über die API gehe. Mache ich das im ChatGPT, kostet es nichts, da ich das Team-Abo habe.

Bei Github Copilot habe ich auch ein Abo und bei Entwicklungen in VS Code ist das richtig super. Und kostet nichts extra.

Dann macht Deepseek R1 Sinn. Ich würde das deepseek Model nächste Woche direkt mal ausprobieren.
Dann ist mein neuer PC fertig. Bin zu aufgeregt, es nicht zu erzählen:
Intel Cor Ultra 9 285K
Asus ROG Strix Z890-E
Crucial T705 4 TB
192 GB RAM
ASUS Prime RTX 5080 (ja, gestern um 15:08 war ich einer der wenigen "glücklichen")

Das sollte für ein wenig KI testen hoffentlich ausreichen

[sh17]

Zitat von t2000:

Dann ist mein neuer PC fertig. Bin zu aufgeregt, es nicht zu erzählen:
Intel Cor Ultra 9 285K
Asus ROG Strix Z890-E
Crucial T705 4 TB
192 GB RAM
ASUS Prime RTX 5080 (ja, gestern um 15:08 war ich einer der wenigen "glücklichen")

Was kostet so ein "Mini-PC" Netto?

[t2000]

155,- be quiet! Light Base 900 FX (mindfactory)
172,- Corsair HX1000i Netzteil (mindfactory)
472,- Asus ROG STRIX Z890-E (galaxus)
593,- Intel Core Ultra 9 285K (galaxus)
126,- Noctua NH-D15 G2 Cpu Kühler (mindfactory)
598,- 2 mal 2x 48GB G.Skill Trident Z5 DDR5-6400 (mindfactory)
420,- Crucial T705 4TB (proshop)
1002,- ASUS Prime GeForce RTX 5080 OC (notebooksbilliger.de Glück gehabt)

Summe: 3538,- netto zzgl. MwSt

kompletter neuer PC (ohne Tastatur/Maus/Monitor)

[himitsu]

Zitat von t2000:

Ist das so, oder täusche ich mich: Wenn ich OpenAI GPT in Delphi nutze, zahle ich extra, da ich über die API gehe. Mache ich das im ChatGPT, kostet es nichts, da ich das Team-Abo habe.

Doch, kostet auch.
Über die Webseite kann man sowohl das kostenlose nutzen, als auch das bezahlte "bessere" mit mehr Tokens, ohne dass man gebremst/blockiert wird, wenn mal mehr bei denen los ist. (die Freien werden zuerst eingeschränkt)

[t2000]

Zitat von himitsu:

Doch, kostet auch.
Über die Webseite kann man sowohl das kostenlose nutzen, als auch das bezahlte "bessere" mit mehr Tokens, ohne dass man gebremst/blockiert wird, wenn mal mehr bei denen los ist. (die Freien werden zuerst eingeschränkt)

Beispiel: Ich habe einen Codeblock von 50 Zeilen und möchte den durch die KI dokumentieren lassen. Ich ChatGPT kostet es nichts (extra) in meinem Bezahl-Account. (25$)
Mache ich das gleiche in der Delphi IDE, zahle ich die API-Aufrufe.

Habe ich es nicht verstanden oder ist das Thema wirklich so kompliziert?

Ich habe in ChatGPT jedenfalls bisher noch nie etwas extra zahlen müssen.

[sh17]

Über API kostet immer Geld extra. Hat mit dem Abo nichts zu tun.