KI in eigene Anwendung integrieren

[Gruber_Hans_12345]

Ok mal danke an alle - ist ja mal eine richtig richtig gute Infoquelle geworden

@Phoenix Vielen Dank für das Video war wirklich sehr sehr gut, und hat schon mal vieles an Fragen geklärt.
Was mich aber wie du auch selber geschrieben hast auch viel mehr interessieren würde wäre der Case mit der Automatisierung der UI - gibt es dazu auch wo ein Video (darf auch hinter einer Bezahlschranke sein wäre kein Problem)

Für meinen Fall würde ich eher professionelle System bevorzugen - zumindest zu einen Teil falls mal etwas auch selber auf den eigenen Servern laufen lassen kann dann das bevorzugt - aber es muss nicht alles in der eigenen App laufen und darf auch etwas kosten (solange es sich halt in Grenzen hält)

[TigerLilly]

Ergänzend zu himtsus Liste + zum Nachlesen, weil das ein Musterbeispiel für die Probleme beim Einsatz von KI war:

https://www.derstandard.at/story/300...falsch-gemacht
https://netzpolitik.org/2024/diskrim...em-ki-chatbot/

[Phoenix]

Zitat von Gruber_Hans_12345:

Was mich aber wie du auch selber geschrieben hast auch viel mehr interessieren würde wäre der Case mit der Automatisierung der UI - gibt es dazu auch wo ein Video (darf auch hinter einer Bezahlschranke sein wäre kein Problem)

Mein Kollege Christian hat das mal Webbasiert mit Angular Frontends in einem Webinar gezeigt:
https://www.thinktecture.com/webinar...t-form-filler/

Meine Demo mit ASP.NET Core Blazor gibts aktuell noch nicht öffentlich.

Zitat von Gruber_Hans_12345:

Für meinen Fall würde ich eher professionelle System bevorzugen - zumindest zu einen Teil falls mal etwas auch selber auf den eigenen Servern laufen lassen kann dann das bevorzugt - aber es muss nicht alles in der eigenen App laufen und darf auch etwas kosten (solange es sich halt in Grenzen hält)

Das ist eher schwierig. Zumindest noch Stand heute. Das Thema bewegt sich gerade so dermaßen schnell, das es täglich so viele neue Papers und Releases gibt, das man da nahezu nicht mehr mit Schritt halten kann. Aber eben Stand heute braucht es für wirklich Sinnvoll funktionierende Integrationen noch das Sprachverständnis von mindestens GPT-3.5, eher GPT-4 (OpenAI), Mistral-Large oder Anthropics Claude-Sonnet 3.5.
Kleinere Modelle die lokal laufen können wie z.B. Phi-3 von Microsoft sind aktuell noch zu unzuverlässig. Bessere Modelle wie ein Mixtral 8x22b sind lokal entweder zu langsam (2-3 Tokens pro Sekunde, wenn sie überhaupt auf normaler Hardware starten, da kannst Du für nen halben Satz locker nen Kaffee holen gehen) oder brauchen eben mehrere NVidia A100 (da kostet eine schon 6-7 tausend).
Und diese Models können noch nicht vernünftig Function- oder Tool-Calling - und das braucht es für sinnvolle Integrationsszenarien.

Das wird im Laufe der Zeit ganz sicher lokal auf preislich noch vernünftiger Hardware mit sinnvoller Performance und auch entsprechend gut funktionierenden Modellen möglich werden, aber ob die Open-Source Model Qualität, das nötige Feintuning, die passende Quantisierung und die Optimierung der Inferenz in 2-3 Monaten oder 2-3 Jahren diesen Stand erreichen werden ist heute noch nicht vorhersagbar.

Aktuell wird man solche Integrationen also nur mit großen Models die man als Service mieten kann erreichen können.
Der einfachste Weg das Datenschutzkonform hinzubekommen ist aktuell Azure OpenAI Service bei dem man die OpenAI GPT-Models in einem Europäischen Datencenter, mit den Azure Datenverarbeitungsverträgen abgesichert, verwenden kann, ohne in irgendwelche Probleme zu laufen. Bei AWS geht das ggf. mit Bedrock, aber da kenne ich mich nicht genug mit aus.

[Rollo62]

Ich beschäftige mich nun auch seit geraumer Zeit mit LLMs, und sehe aktuell ChatGPT 4o als den Referenzstandard.
Wenn ich die Erwartungen der Nutzer sehe, dass die KI quasi "menschähnlich", aber definitiv immer 150% richtig agieren MUSS, dann denke ich mit nur das dies vielleicht etwas überhöhte Erwartungen sind.

Ich mache viele Experimente mit verschiedensten KI, lokal und online, aber mein Favorit ist und bleibt ChatGPT.

Mit dessen Hausmitteln und etwas kleverer Vorbereitung beim Prompting kann man wirklich unfassbar exakte und reproduzierbare Ergebnisse erzielen.
Das Problem ist meiner Meinung nach da, wo die Leute eine eierlegende Wollmilchsau erwarten, das tue ich nicht.

Ich habe mir zum Beispiel KI-Assistenten für viele kleine Teilprobleme gebaut, wo die Aufgaben viel Zeit in Anspruch nehmen und immer wiederkehren, z.B. Umformatierungen von Strukturen / Datensätzen, Konvertierungen, Übersetzungen, Verifikationen und Auswertungen, usw.
Dabei kommen mit ChatGPT sehr effektive Custom-KI-Assistenten für spezifische Aufgaben heraus,
die ich quasi blind sehr zuverlässig nutzen kann.

Aktuell sehe ich KI eher für solche, kleinteiligeren Aufgaben machbar, die man klar definieren und abgrenzen kann,
statt die KI auf völlig unbekanntes Terrain zu schicken.
Das muss ja schiefgehen, das wäre als fragt man die Reinigungshilfe ob sie auch mal eben die SPS-Steurung anpassen kann.

Ich nutze da noch nicht wirklich die API-Schnittstellen, sondern meistens noch Copy&Paste in ChatGPT, aus verschiedenen Gründen, zumal es dafür noch keine API gibt und man sich selbst um die Sessions kümmern muss.
Dennoch ist selbst das immer noch 100x effizienter und 100x schneller, als wenn man diese Arbeiten von Hand oder sonstwie machen müsste.

Die Ergebnisse verifiziere ich ständig, aber ich kann sagen dass die mittlerweile nahezu 100% perfekt sind,
kommt natürlich immer auf die Komplexität an.
Aber alles was mit Textpattern, Textmustern, Strukturen in Texten zu tun hat, das kann GPT aus dem EffEff, ohne Training.

Vielleicht muss man mit KI einfach auch mal kleinere, bescheidenere Brötchen backen, das wäre mein Ansatz dazu.
Das ist womöglich erst noch der kleine hilfreiche Kobold, der heimlich unsere ungeliebten Aufgaben erledigt, und nicht direkt die superintelligente AGI.
Denn wo der HAL9000, der WOPR aus WarGames, das MCP aus TRON, uva. hinführen können, das wissen wir ja alle

[Phoenix]

Zitat von Rollo62:

Ich beschäftige mich nun auch seit geraumer Zeit mit LLMs, und sehe aktuell ChatGPT 4o als den Referenzstandard.

Schau Dir mal Anthropics Claude 3.5 Sonnet an. Auch sehr, sehr beeindruckend.

Und ja, kleinere Tasks funktionieren super, größere manchmal unzuverlässiger.
Aber ein Model kann ja auch aus einem großeren mehrere kleinere Machen, und die dann isoliert selber oder durch ein anderes Model bearbeiten lassen, die Teil-Ergebnisse wieder zusammenfassen, ggf. nochmal ein anderes Model drüber gucken lassen.

Oder die Teilaufgaben die nicht so ganz zuverlässig klappen lässt man 3 mal machen und kann dann mit einem anderen Prompt entweder das beste Ergebnis rauspicken oder aus den zwei besseren ein noch besseres zusammen fassen.

Da kommen wir dann in den Bereich der Agentensysteme, die mit unterschiedlichen Personas (im Prinzip der Prompt der dem Model sagt, wie es sich zu verhalten hat, also z.b. "Du bist ein Autor" oder "Du bist ein Lektor") zusammen an einem Problem arbeiten und sich gegenseitig challengen, verbessern und gemeinsam zu einem richtig, richtig guten Ergebnis kommen.

Nichts desto Trotz: Konkretes Beispiel E-Mails eines Online-Versandhandels abarbeiten. Die bekommen übers Wochenende zig Support E-Mails, viele sind automatisierte Stornos von z.B. Amazon und Ebay, aber auch einige Handgeschriebene "Brauch ich nicht mehr" Mails wenn das über den eigenen Shop ging - und das ganze unter hunderten "Falscher Artikel", "Kam defekt an", "War doch die falsche Farbe" etc. Mails. Aufgabe: Dort am Sonntag Abend die Stornos raussuchen und die Bestellung zumindest mal blockieren, so dass sie nicht am Montag Vormittag raus geht wenn der Support noch die Mails von Freitag Abend abarbeitet und noch gar nicht bei den Stornos von Sonntag Abend angekommen ist. Das zu automatisieren war eine konkrete Aufgabe. Für die immer gleich aussehenden Mails von Amazon und Ebay nimmt man dann aber besser doch eine Regex und kein LLM - ist billiger, schneller und zuverlässiger. Also nur weil man ein Model hat, ist es noch lange nicht die Lösung für alle Probleme.

Aber was gut funktioniert ist dann z.B. bei "Wo bleibt meine Sendung?"-Mails dann dem Model APIs als Tools zu geben die die Order finden und die Trackingnumber und den Versanddienstleister rausgeben, und dann auch Tools um den Status der Trackingnummer bei den Dienstleistern abzufragen, und aus diesem Ergebnis dann schon eine Antwortmail vorzuformulieren. Dann muss nur noch ein Mitarbeiter drüber gucken und absenden. Spart ziemlich viel Recherche-Zeit dort.

[Rollo62]

Zitat von Phoenix:

Schau Dir mal Anthropics Claude 3.5 Sonnet an. Auch sehr, sehr beeindruckend.

Ja kenne ich, hab ich aber noch nicht ganz so viel mit gemacht.
Spielt aber definitiv in der gleichen Liga, manche behaupten sogar etwas besser als ChatGPT.
Den Benchmarks traue ich aber nicht immer, da geht es oft nur um Nuancen.

Mir gefällt aber die ChatGPT Ausgabe und Formatierung viel besser, das ist bei Claude etwas unübersichtlicher,
ist aber jammern auf hohem Niveau.
Es gibt ein paar Unterschiede hier und da, aber auf jeden Fall sind die Ergebnisse ähnlich, auch Llama3 ist super,
also da muss man schon in die Details für die jeweilige Anwendung schauen.
Ich hatte den Eindruck Claude bekommt Produkt-Werbetexte besser hin (natürlicher, attraktiver) als GPT (etwas zu trocken), aber beide sind gut verwendbar.

Zitat von Phoenix:

Prompt entweder das beste Ergebnis rauspicken oder aus den zwei besseren ein noch besseres zusammen fassen.

Da kommen wir dann in den Bereich der Agentensysteme, die mit unterschiedlichen Personas (im Prinzip der Prompt der dem Model sagt, wie es sich zu verhalten hat, also z.b. "Du bist ein Autor" oder "Du bist ein Lektor") zusammen an einem Problem arbeiten und sich gegenseitig challengen, verbessern und gemeinsam zu einem richtig, richtig guten Ergebnis kommen.

Genau, Prompt-Engineering ist ein Thema für sich, damit kann man extrem viel herausholen.
Da meine ich, das viele Nutzer glauben mit einfachen, plumpen Fragen perfekte Antworten generieren zu müssen.
Das wage ich zu bezweifeln, wie man in den Wald hineinruft, so schallt es heraus.

Zitat von Phoenix:

Für die immer gleich aussehenden Mails von Amazon und Ebay nimmt man dann aber besser doch eine Regex und kein LLM - ist billiger, schneller und zuverlässiger. Also nur weil man ein Model hat, ist es noch lange nicht die Lösung für alle Probleme.

Ja, das haben wir ja alle die letzten 40 Jahre lang versucht, mit mäßigem Erfolg, siehe Cross-Sales Vorschläge o.ä.
Genau da denke ich, dass die KI ein bischen Extra-Gehirnschmalz reinbringen kann, auch wenn der RegEx mal wieder zusammenbricht, weil es gerade doch wieder etwas vom vorgesehenen Template abweicht.
Vielleicht ist eine Kombination aus beidem ideal, RegEx können die LLMs natürlich auch perfekt.

Zitat von Mavarik:

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

In Holland gab es dazu einen Vortrag, aber was nicht so klar wurde war, welche vor trainierte LLM man für was
runter laden muss.

Mavarik

Ich hatte auch mit Ollama experimentiert, aber man muss schon eine gute Nvidia-Karte dafür haben.
Das mit WebUI sieht am Ende genauso aus wie ChatGPT, nur das es offen ist und zig Modelle unterstützt.
Dazu überlege ich mir gerade einen Server mit GPU anzuschaffen, ist aber auch extrem teuer und hoher Verbrauch.
Die "Holland"-Lösung mit einer gehosteten GPU-Instanz hat was für sich, aber günstig ist das alles nicht.
(Deshalb bin ich momentan auch noch größtenteils bei ChatGPT).

Ein vielversprechendes Projekt wird womöglich llamafile von Mozilla, steckt aber noch in den Kinderschuhen
https://github.com/Mozilla-Ocho/llamafile
Das soll angeblich auch bessere Performance ohne teure GPU bieten, da bin ich aber noch nicht wiklich mit beschäftigt gewesen.

Als Modell hatte ich hauptsächlich mit Lama3 experimentiert, was man mit Ollama auch direkt einbinden kann.

Für Delphi sehe ich das jetzt für mich nicht unbedingt als Hauptanwendung, aber OK, ist auch sehr sinnvoll.

Den Hauptvorteil der lokalen LLMs sehe ich eher darin, dass man damit auch vertrauliche Daten und Dokumente analysieren kann.
Der Zugang über WebUI oder direkt per Python, alles was das Herz begehrt, es ist aber noch nicht auf dem Level von ChatGPT.
Im Moment gibt es aber quasi täglich neue Mitspieler, neue Modelle und neue Technologien, das kann immer nur besser werden.

[Phoenix]

Zitat von Rollo62:

Den Hauptvorteil der lokalen LLMs sehe ich eher darin, dass man damit auch vertrauliche Daten und Dokumente analysieren kann.

Da ist dann zum einen die Frage, wie vertraulich die Daten sind.
Wenn ich die aus einem Azure Storage runterlade, um sie dann lokal ans LLM zu geben und die Ergebnisse dann wieder in mein Cloud-RZ hochlade, kann ich auch gleich ein starkes LLM auf Azure mieten.

Sind die Daten in der Tat so vertraulich, dass sie unter gar keinen Umständen aus dem eigenen RZ raus dürfen, auf das dann auch etliche Security-Engineers 24/7 aufpassen (weil wenn man die nicht hat sind die Daten dort defakto nicht annähernd so sicher, wie man es sich vorstellt - und dann wäre eine Cloud definitiv der besser geschützte Platz), dann sollte ein kleiner A100 Cluster Preistechnisch auch aus der Portokasse bezahlbar sein

Andernfalls geht das zwar prinzipiell auch, aber dann muss man halt unter umständen seeeehr viel Geduld mitbringen, weil das durcharbeiten von vielen Tokens dann auch viel Zeit braucht.

[Rollo62]

Naja, soooo vertraulich sind sie nun auch nicht, als dass man sie nicht in einer Cloud halten könnte.
Ich wollte nur den eigentlichen Vorteil der lokalen LLM erwähnen.
Mit den meisten Daten, selbsrt wenn es Kundendaten sind, hätte ich auch kein Problem das auf Cloud-Server zu hosten.
Die müssen dann halt nur DSGVO Konform sein, ehrlicherweise habe ich mir noch nicht die DSGVO Konformität von allen Anbietern unter die Lupe genommen.

Gefühlt würde ich sagen, Server in USA oder außerhalb EU, dann wird es wohl mit DSGVO schwierig.
Ist aber nur mein Bauchgefühl im Moment.

Ich arbeite immer nach dem Motto: Erstmal machen, dann schauen was man so darf und was nicht.

P.S.: Welche Portokasse meinst Du denn, ich such die gerade ...
https://www.leadergpu.com/?fltr_type...BwE#chose-best

[Mavarik]

Zitat von Rollo62:

Ich mache viele Experimente mit verschiedensten KI, lokal und online, aber mein Favorit ist und bleibt ChatGPT.

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

In Holland gab es dazu einen Vortrag, aber was nicht so klar wurde war, welche vor trainierte LLM man für was
runter laden muss.

Mavarik

[Phoenix]

Zitat von Mavarik:

Hast Du ein praktisches "Hello World" für ein lokales LLM (Mit Delphi)

Wie gesagt, lokale LLMs sind (aktuell) bei weitem nicht so intelligent wie gehostete.

Dennoch: Mit Ollama (https://ollama.com/) kannst Du viele LLMs lokal betreiben:

Phi3 in einer passenden Quantisierung die nicht zu langsam ist geht z.B. so:

Code:

ollama run phi3:3.8b-mini-instruct-4k-fp16

Dann kannst Du schonmal auf der Kommandozeile mit dem Model chatten.
Ollama hat auch eine web-api, die Du von anderen Programmen aus ansprechen kannst.

Dazu habe ich ein Delphi-UI gefunden: https://github.com/HuichanKIM/Ollama-Delphi-GUI
Da ich aber schon ewig kein Delphi mehr mache, kann ich Dir dazu nicht sagen, wie gut das wirklich ist.

Edit / Ergänzung:

Wenn ich das o.a. Phi3 mit folgender Frage befeuere:

Code:

(Invoke-WebRequest -method POST -Body '{"model":"phi3:3.8b-mini-instruct-4k-fp16", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

erhalte ich folgende Antwort:

Code:

model                : phi3:3.8b-mini-instruct-4k-fp16
created_at           : 28.06.2024 06:49:41
response             :  The sky appears blue to us because of a phenomenon called Rayleigh scattering. Sunlight, which
                       contains all colors of light in its spectrum, travels through Earth's atmosphere and interacts
                       with molecules and small particles present there.

                       When sunlight reaches our atmosphere, it encounters tiny air molecules (like nitrogen and
                       oxygen) and other aerosols suspended in the air. These particles scatter short-wavelength
                       light, like blue and violet colors, more than they do long-wavelength light, such as red or
                       yellow.

                       However, our eyes are more sensitive to blue light (around 475 nanometers) compared to violet
                       light (which is shorter wavelength). Also, the Earth's atmosphere absorbs some of the sunlight
                       in the ultraviolet and near-ultraviolet region, which means there's less scattering for these
                       colors.

                       As a result, when we look up at the sky away from direct sources of light like the Sun, we
                       perceive it as blue due to the dominance of scattered blue light in all directions. When
                       sunlight passes through the Earth's atmosphere during dawn and dusk, shorter wavelengths (blue
                       and violet) scatter more than longer wavelengths (red and orange). This is why the sky appears
                       redder at these times.

                       It's also worth mentioning that under certain conditions, such as heavy pollution or volcanic
                       activity, the sky may not appear blue but take on other colors due to changes in aerosols
                       present in the atmosphere.
done                 : True
done_reason          : stop
context              : {32010, 3750, 338, 278…}
total_duration       : 265333993700
load_duration        : 4458200
prompt_eval_count    : 10
prompt_eval_duration : 5340166000
eval_count           : 340
eval_duration        : 259982060000

Für das bisschen Text braucht es knapp unter viereinhalb Minuten.
Also wie gesagt, lokal ist aktuell noch nicht wirklich geil.