KI in eigene Anwendung integrieren

[Phoenix]

Zitat von Mavarik:

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

Wie gesagt, lokale LLMs sind (aktuell) bei weitem nicht so intelligent wie gehostete.

Dennoch: Mit Ollama (https://ollama.com/) kannst Du viele LLMs lokal betreiben:

Phi3 in einer passenden Quantisierung die nicht zu langsam ist geht z.B. so:

Code:

ollama run phi3:3.8b-mini-instruct-4k-fp16

Dann kannst Du schonmal auf der Kommandozeile mit dem Model chatten.
Ollama hat auch eine web-api, die Du von anderen Programmen aus ansprechen kannst.

Dazu habe ich ein Delphi-UI gefunden: https://github.com/HuichanKIM/Ollama-Delphi-GUI
Da ich aber schon ewig kein Delphi mehr mache, kann ich Dir dazu nicht sagen, wie gut das wirklich ist.

Edit / Ergänzung:

Wenn ich das o.a. Phi3 mit folgender Frage befeuere:

Code:

(Invoke-WebRequest -method POST -Body '{"model":"phi3:3.8b-mini-instruct-4k-fp16", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

erhalte ich folgende Antwort:

Code:

model                : phi3:3.8b-mini-instruct-4k-fp16
created_at           : 28.06.2024 06:49:41
response             :  The sky appears blue to us because of a phenomenon called Rayleigh scattering. Sunlight, which
                       contains all colors of light in its spectrum, travels through Earth's atmosphere and interacts
                       with molecules and small particles present there.

                       When sunlight reaches our atmosphere, it encounters tiny air molecules (like nitrogen and
                       oxygen) and other aerosols suspended in the air. These particles scatter short-wavelength
                       light, like blue and violet colors, more than they do long-wavelength light, such as red or
                       yellow.

                       However, our eyes are more sensitive to blue light (around 475 nanometers) compared to violet
                       light (which is shorter wavelength). Also, the Earth's atmosphere absorbs some of the sunlight
                       in the ultraviolet and near-ultraviolet region, which means there's less scattering for these
                       colors.

                       As a result, when we look up at the sky away from direct sources of light like the Sun, we
                       perceive it as blue due to the dominance of scattered blue light in all directions. When
                       sunlight passes through the Earth's atmosphere during dawn and dusk, shorter wavelengths (blue
                       and violet) scatter more than longer wavelengths (red and orange). This is why the sky appears
                       redder at these times.

                       It's also worth mentioning that under certain conditions, such as heavy pollution or volcanic
                       activity, the sky may not appear blue but take on other colors due to changes in aerosols
                       present in the atmosphere.
done                 : True
done_reason          : stop
context              : {32010, 3750, 338, 278…}
total_duration       : 265333993700
load_duration        : 4458200
prompt_eval_count    : 10
prompt_eval_duration : 5340166000
eval_count           : 340
eval_duration        : 259982060000

Für das bisschen Text braucht es knapp unter viereinhalb Minuten.
Also wie gesagt, lokal ist aktuell noch nicht wirklich geil.

[sh17]

Hier noch ein paar Repos

https://github.com/dnspsv/Gemini4Delphi
https://github.com/pyscripter/ChatLLM
https://github.com/HemulGM/ChatGPT
https://github.com/HemulGM/DelphiOpenAI
https://github.com/landgraf-dev/openai-delphi
https://github.com/Kagamma/llama-pas
https://github.com/kalliduz/AutoGPT-Delphi
https://github.com/FMXExpress/Stable...Desktop-Client

[Mavarik]

Zitat von Phoenix:

Zitat von Mavarik:

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

Wie gesagt, lokale LLMs sind (aktuell) bei weitem nicht so intelligent wie gehostete.

Dennoch: Mit Ollama (https://ollama.com/) kannst Du viele LLMs lokal betreiben:

Das ist ja ein externe Software.

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Mavarik

[himitsu]

Zitat von Mavarik:

Eine Delphi Unit ...

siehe GetIt?

[TurboMagic]

Hallo,

hier auch noch was, das auch mit Delphi benutzt werden kann (Demo inklusive):
https://github.com/tinyBigGAMES/LMEngine

Arbeitet mit einem Offline LLM, das man sich auch noch herunterladen muss.
Es werden mehrere unterstützt, z. T. auch recht kompakte (naja 3 GB) von Microsoft.
Das kann Texte generieren, man kann es auch auf Deutsch "befragen" und es kann denke ich auch übersetzen.

Und ja: auch dieses liefert immer wieder falsche Daten (z. B. bei Dykstra einen falschen Geburtsort
und falsches Geburtsdatum) und es beharrt dann auch hartnäckig darauf, recht zu haben.

Es kann auch Mathe Aufgaben lösen, manchmal aber falsch

[himitsu]

Zitat von TurboMagic:

Es kann auch Mathe Aufgaben lösen, manchmal aber falsch

Menschlich halt.
Ist ja kein Roboter,

[TurboMagic]

Naja, es versuchte dann zu erklären wie die Lösung zustande kam und
hat in der Erklärung gemerkt dass es falsch war. Nur war der nächste
Lösungsvorschlag der dann sofort kam auch falsch

[Phoenix]

Zitat von TurboMagic:

Naja, es versuchte dann zu erklären wie die Lösung zustande kam und hat in der Erklärung gemerkt dass es falsch war. Nur war der nächste Lösungsvorschlag der dann sofort kam auch falsch

Es sind ja auch Sprachmodelle. Die sind darauf trainiert Text zu generieren, der wahrscheinlich sinnvoll ist. In der Antwort standen die Ziffern vermutlich an der wahrscheinlich richtigen Stelle, es hat also alles richtig gemacht

Rechnen können die Modelle nicht, aber deswegen kann man einem LLM ja mit Tool Calling auch z.B. eine Handvoll mathematischer Tools an die Hand geben und ihm sagen, dass es Berechnungen bitte damit machen soll. Das klappt dann in aller Regel sehr gut.

[Phoenix]

Zitat von Mavarik:

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Das Stück Software, das die "Daten eines LLM", also diese Milliarden Parameter, Gewichtungen und Biases, direkt lädt und damit das LLM ausführt, nennt sich inference engine.
Ich wüsste ehrlich gesagt von keiner Inference Engine die in Delphi implementiert ist.

Llamacpp als eine inference engine z.B. ist in C++ geschrieben. Du könntest jetzt - rein theoretisch - diesen C++ Teil nehmen, direkt dagegen linken und damit die Engine In-Proc ausführen. Aber da würde ich mich ehrlich fragen wo da der Vorteil läge, wenn Du es sinnvoll out-of-process mit einer Web-API betreiben und ansprechen kannst.
Zumal dann der Wechsel zu einem hosted Model - und wie gesagt sind die deutlich mächtiger - nur daraus besteht, die URL statt zum lokalen Ollama z.B. auf Mistral zu ändern und einen API-Key zu hinterlegen.

[TurboMagic]

Zitat von Phoenix:

Zitat von Mavarik:

Ein LLM "Hello World" mit Delphi sieht für mich so aus:

Eine Delphi Unit - zur Not mit einer Komponente - Läd Daten eines LLM und kann dann ohne externe Resourcen die Frage(n) beantworten.

Das Stück Software, das die "Daten eines LLM", also diese Milliarden Parameter, Gewichtungen und Biases, direkt lädt und damit das LLM ausführt, nennt sich inference engine.
Ich wüsste ehrlich gesagt von keiner Inference Engine die in Delphi implementiert ist.

Llamacpp als eine inference engine z.B. ist in C++ geschrieben. Du könntest jetzt - rein theoretisch - diesen C++ Teil nehmen, direkt dagegen linken und damit die Engine In-Proc ausführen. Aber da würde ich mich ehrlich fragen wo da der Vorteil läge, wenn Du es sinnvoll out-of-process mit einer Web-API betreiben und ansprechen kannst.
Zumal dann der Wechsel zu einem hosted Model - und wie gesagt sind die deutlich mächtiger - nur daraus besteht, die URL statt zum lokalen Ollama z.B. auf Mistral zu ändern und einen API-Key zu hinterlegen.

Naja, bei In-Process kann typischerweise keiner weas blockieren. Bei Webverbindungen, selbst auf dem Local Host, kann so das eine oder andere in die Quere kommen...