AI superpower - ich kanns nicht mehr hören

[fisipjm]

Zitat von Sinspin:

Zitat von fisipjm:

Was soll den dieses Geschwurbel?

LOL Dude! Wenn Du nen Scheißtag hast, dann mach Schluss und geh ne Runde laufen.

Oha , also ich hatte keinen schlechten Tag! Vielleicht hab ich das falsche Wort gewählt.
Auf eine menschenvernichtende Killermaschine aus der Zukunft zu warten und wahllos mit irgendwelchen Begriffen um sich zu werfen und neue zu erfinden (Vakuumstern) + Behauptungen aufstellen die man nicht belegt, kenne ich normal nur aus dieser Ecke.
Wenn ich dir damit persönlich auf den Schlipps getreten bin, möchte ich mich hiermit entschuldigen!

vG
PJM

[Delphi.Narium]

Zitat von Edelfix:

Ich arbeite oft in Delphi oder PHP. Dabei ist mir aufgefallen des der Quellcode in Delphi viel öfter Unsinn wie nicht existierende Funktionen enthält als PHP.

ChatGPT hat all sein Wissen aus dem Internet. Ist das Internet zu wenig mit Delphi Wissen gefüttert worden?

Es gibt halt nicht soviel Delphi in der Internetwelt wie andere Sprachen. Daher ist der Fundus kleiner und damit auch die Ergebnismenge.

Einige KIs versuchen bei einer Frage nach Delphicode, zu dem sie keine Delphiantowrt finden können, eine Lösung aus einer anderen Sprache nach Delphi zu portieren. Und das klappt nicht zwingend, was zur Folge hat, das zuweilen Methoden, Attribute, ... genutzt werden, die es in Delphi nicht gibt.

Das ist ein Fehler, der uns Menschen beim Portieren von Quellcode aus Sprache A in Quellcode in Sprache B, durchaus auch schonmal passieren kann.

[TigerLilly]

Zitat:

Je genauer ich weiß, was ich wissen will (und das in der Fragestellung formuliere), um so größer ist die Wahrscheinlichkeit, dass ich eine verwertbare Antwort erhalte.

Jein. Ja, wenn es dazu Trainingsmaterial gegeben hat + das LLM dazu trainiert wurde. Nein, wenn das Trainingsmaterial dazu "dünn" war (oder dünn gehalten wurde).

Gutes Beispiel: Wenn ich ChatGPT auffordere, einen Lebenslauf von mir zu erstellen und Infos zu mir vorgebe, damit klar ist, wer ich bin, dann ist das wohl maximal eingegrenzt. Das Ergebnis ist zu 90% korrekt, aber manche Sachen sind einfach frei erfunden:

Studium der Informatik, Technische Universität Wien - Ja, stimmt
Abschluss: Diplomingenieur (Dipl.-Ing.) - Nein, falsch.

Teach-IT GmbH (2001–2005) - Ja, stimmt.

Position: Geschäftsführender Gesellschafter - Ja, stimmt.
Tätigkeit: Didaktische und technische Entwicklung von E-Learning-Systemen - völlig falsch.

IT-Kenntnisse
Programmiersprachen: Delphi (Object Pascal), SQL, HTML - richtig
Datenbanken: Firebird, MySQL - richtig
Betriebssysteme: Windows, Linux - Linux? Never!
Tools: Git, Jira, Projektmanagement-Software - Jira? Never.

Dabei kann ich mir gut vorstellen, dass ein Recruiter oder wer aus HR, sich auf diese Daten verlässt.

[Edelfix]

Die AI scheint dich zu mögen und hat deinen Lebenslauf etwas aufgemotzt. Was hast du mit der AI vereinbart? Hast du darauf bestanden das nur verifizierte Quellen verwendet werden dürfen oder hast du der AI kreative Freiheiten erlaubt (Standard Einstellung).

[Delphi.Narium]

Zitat von TigerLilly:

Zitat:

Je genauer ich weiß, was ich wissen will (und das in der Fragestellung formuliere), um so größer ist die Wahrscheinlichkeit, dass ich eine verwertbare Antwort erhalte.

Jein. Ja, wenn es dazu Trainingsmaterial gegeben hat + das LLM dazu trainiert wurde. Nein, wenn das Trainingsmaterial dazu "dünn" war (oder dünn gehalten wurde).

Gutes Beispiel: Wenn ich ChatGPT auffordere, einen Lebenslauf von mir zu erstellen und Infos zu mir vorgebe, damit klar ist, wer ich bin, dann ist das wohl maximal eingegrenzt. Das Ergebnis ist zu 90% korrekt, aber manche Sachen sind einfach frei erfunden:

Studium der Informatik, Technische Universität Wien - Ja, stimmt
Abschluss: Diplomingenieur (Dipl.-Ing.) - Nein, falsch.

Teach-IT GmbH (2001–2005) - Ja, stimmt.

Position: Geschäftsführender Gesellschafter - Ja, stimmt.
Tätigkeit: Didaktische und technische Entwicklung von E-Learning-Systemen - völlig falsch.

IT-Kenntnisse
Programmiersprachen: Delphi (Object Pascal), SQL, HTML - richtig
Datenbanken: Firebird, MySQL - richtig
Betriebssysteme: Windows, Linux - Linux? Never!
Tools: Git, Jira, Projektmanagement-Software - Jira? Never.

Dabei kann ich mir gut vorstellen, dass ein Recruiter oder wer aus HR, sich auf diese Daten verlässt.

Eine AI kann man nur für die Verarbeitung von Wissen nutzen, das allgemein verfügbar ist. Das dürfte bei einem Lebenslauf für eine einzelne Person wohl kaum zutreffen. Bei einer bekannten Persönlichkeit mag das anders sein, aber sicherlich nicht für jedes beliebige menschliche Wesen auf diesem Planeten.
Hier schlägt dann die Wahrscheinlichkeit zu: Es wird geschaut, wie so ein Lebenslauf aussehen könnte, es werden also Analogien zu den Vorgaben gesucht und dann im Ergebnis die Infos zusammengetragen, die mit hoher Wahrscheinlichkeit zu den Vorgaben passen könnten.
Vermutlich können viele Personen, deren Lebensläufe Deinem ähneln, halt eben auch mit Linux und Jira umgehen. Damit weißt Du nun, wo Deine "Wissenslücken" sind, mit deren Schließung Du Deine Chancen am Arbeitsmarkt erhöhen kannst
Und wer an 'ner Technische Universität studiert ist doch nachher Dipl.-Ing., das weiß doch jeder

Hier schlägt also sichtbar zu:

Zitat von ChatGPT:

Sprachmodelle optimieren auf „Plausibilität“, nicht auf Wahrheit.

Ich bin darauf trainiert, das *Plausibelste* zu sagen – nicht zwingend das *Wahrste*.

Ok: Informatikstudium mit Abschluss Dipl.-Ing. ist vielleicht jetzt doch nicht so plausibel, da hätt' ich eher 'nen Dipl.-Inf. erwartet, aber man weiß ja nie

Wenn ich einen Lebenslauf von mir haben will, kann ich nicht mit einem vernünftigen Ergebnis rechnen, genauso wenig, wie mit einer präzisen Wettervorhersage für heute in drei Jahren

Bei präzisen Wissensabfragen auf bekanntes Wissen kann ich mit recht plausiblen Antworten rechnen. Bei allem Anderen muss ich mit plausibel klingendem Spekulatius rechnen

[Rollo62]

Zitat von TigerLilly:

Gutes Beispiel: Wenn ich ChatGPT auffordere, einen Lebenslauf von mir zu erstellen und Infos zu mir vorgebe, damit klar ist, wer ich bin, dann ist das wohl maximal eingegrenzt.

Was hast Du denn da vorgegeben?
Die KI kann ja nichts erstellen ohne auch alle Basisdaten zu kennen, hast Du erwartet, dass die AI das richtig selber recherchiert?
Vor direkten Vorgabedaten abweichende Ergebnisdaten habe ich in letzter Zeit so gut wie nie mehr gesehen.

Ausserdem kann man direkt im Prompt angeben, worauf es besonders achten soll, aber ja, es gibt Fälle wo es hakt.

Meine Frau nutzt es intensiv um Berichte für Seminar-Teilnehmer zu erstellen, mit anonymisierten Daten.
Ich nutze das gerne um einen von mir vorgefertigten und vorgelegten Datensalat aus allen möglichen Vereich zu prüfen und in eine schönere Form bringen oder zusammenfassen zu lassen und ggf. mit weiteren Punkten zu ergänzen.
Geht alles sehr gut und habe kaum Grund mich zu beschweren.

Nutzt Du denn die freien AI's, oder die Bezahlversionen?
Das hat wohl Einfluss auf die Tokenanzahl und damit die Qualität.
Ich nutze aber mittlerweile 20+ verschiedene AI Provider, nur ein paar in der Bezahlversion, auch die freien sind sehr gut.

[Delphi.Narium]

Zitat von Rollo62:

Ich nutze aber mittlerweile 20+ verschiedene AI Provider, nur ein paar in der Bezahlversion, auch die freien sind sehr gut.

Das ist absolut sinnvoll, nicht jede AI ist für jede Aufgabe gleich gut geeignet.

Hab' mir angewöhnt bei komplizierteren Fragestellungen mehrere AIs zu fragen und mir aus den Ergebnissen dann eine eigene Antwort zusammenzustellen. Wenn mehrere AIs, mit unterschiedlichen Trainingsdaten, zum gleichen Ergebnis kommen, steigt die Chance auf Richtigkeit der Antwort.

Geht's eher ins Wissenschaftliche, enden meine Fragen immer mit (Bitte mit Literaturhinweisen im APA-Format). Dadurch bekommt man bei den meisten AIs ein Literaturverzeichnis mit Angaben zu den genutzten Quellen. Die Ergebnisse werden dadurch nachvollziehbarer, da man selbst in die genutzten Quellen schauen kann.

[Phoenix]

Zitat von Delphi.Narium:

Eine AI kann man nur für die Verarbeitung von Wissen nutzen, das allgemein verfügbar ist.

Das ist das größte Missverständnis, dem ich leider noch viel zu oft begegne. NEIN! Das ist grundlegend Falsch.

Man darf sich grundsätzlich NIE auf das "Weltwissen" von LLMs berufen. Das ist lediglich statistischer Einheitsbrei aus allen Trainingsdaten. Das führt maximal zu wahrscheinlichen, aber nicht korrekten Ausgaben - und genau das ist der Grund für Halluzinationen wenn man das tatsächlich fälschlicherweise doch mal versucht.

Wenn man einem LLM eine Aufgabe gibt, muss man grundsätzlich immer alles notwendige Wissen dazu mit in den Kontext geben.
Das nennt sich Grounding, und das kann man manuell machen, dem LLM mittels Tools Zugriff auf diese Informationen geben oder per RAG (Retrieval Augmented Generation) die Informationen basierend auf der Anfrage automatisch ermitteln und vor der Abfrage in den Kontext schreiben.

Der Lebenslauf ist da jetzt ein relativ unspektakuläres Beispiel, aber bleiben wir dabei: Man kann hier z.B. alle Infos zusammenhangslos in den Kontext werfen, z.B. auch Scans von Urkunden oder Zeugnissen sowie Projektberichte etc. reinwerfen, und das LLM nach einem selber Googlen lassen - und dann, mit den ganzen Infos im Kontext, kann es aus den nun 100% sicher richtigen Fakten im Kontext auch einen korrekten Lebenslauf formulieren.

Ein LLM ist wie ein sehr großer Raum voller Azubis - von ganz frischen bis fast fertigen und von eher nicht so hellen bis hin zu superschlauen - und die jeweils git durchmischt mit den jeweiligen Ausbildungsstufen. Das einzige was gegeben ist, ist, dass die alle so ziemlich jede Sprache fehlerfrei beherrschen. Eine Anfrage an ein LLM wird in den Raum geworfen, und man bekommt die Antwort unter der Tür durchgeschoben und hat keine Ahnung, wer von denen das jetzt abgearbeitet hat. Kurzum: Im Idealfall formuliert man seine Anfrage so, dass auch der eher nicht so schlaue Beginner damit zurecht kommen sollte - das bedeutet eben auch, alle notwendigen Infos vorneweg mit in die Aufgabe zu geben.

Um uns vor Halluzinationen zu schützen, schalten wir z.B. bei Business-Anwendungen noch ein zweites LLM dazu, dass nach der Antwort extra nochmal angewiesen wird zu prüfen, ob auch wirklich jede Info in der Antwort auch wirklich im Kontext vorgegeben war, oder ob in der Antwort auf einmal informationen stehen, die nicht in der Eingabe waren. Ist das der Fall, wird die Antwort als Halluzination verworfen. Selbst dann, wenn sie zufällig durch korrektes Weltwissen entstanden ist.

[Delphi.Narium]

@Phoenix

Du gehst bei Deiner Antwort davon aus, dass Du bereits über das vollständige Wissen verfügst und dieses der AI zu Verfügung stellen kannst und der AI sagen kannst, dass sie nur dieses und genau dieses Wissen verarbeiten soll.

Stellt man jedoch im Browser im Eingabefeld eine Frage, wird das in den Trainingsdaten vorhandenen Wissen genutzt, um daraus eine plausible Antwort zu erstellen. Hier kann man sich nicht auf die Richtigkeit verlassen.

Die überwiegende Anzahl der Nutzer von AIs wird aber (vermutlich) den Weg über den Browser nutzen und darauf hoffen, eine korrekte Antwort zu erhalten.

Wenn wir in dem von Dir zitierten Satz

Zitat von Delphi.Narium:

Eine AI kann man nur für die Verarbeitung von Wissen nutzen, das allgemein verfügbar ist.

das Wort allgemein streichen, stimmt die Aussage aber (nach meinem Verständnis) wieder.

Oder man könnte sie etwas erweitern:

Eine AI kann man nur für die Verarbeitung von Wissen nutzen, das allgemein verfügbar (in den Trainingsdaten vorhanden) ist und/oder vom Nutzer explizit zur Verfügung gestellt wird.

Passt das dann eher?

[Sinspin]

Zitat von fisipjm:

Auf eine menschenvernichtende Killermaschine aus der Zukunft zu warten und wahllos mit irgendwelchen Begriffen um sich zu werfen und neue zu erfinden (Vakuumstern) <...>

Ich weis nicht wie bei dir die G-Suche aussieht, aber bei mir wird da als erstes oeben ein zermatschter Rombus oder eben irgendwas was was Unterdruck hat (Vakuumstern), angezeigt. Darunter kommt dann eine mehr oder weniger überflüssig Antwort aus einer AI Tüte.

Warten müssen wir nicht, sollten wir auch nicht. Und eine Maschine muss das auch nicht sein. Zu allem was Menschen sich ausdenken können wird AI mindestens auch fähig sein. Es ist also nur eine Frage der Zeit.

Zitat von fisipjm:

Behauptungen aufstellen die man nicht belegt

Das ist so massiv und offensichtlich das einem das eigentlich nicht entgehen kann. Ich kenne Leute deren Lieferungen über Monate an falsche Adressen gingen. Ich wurde erst von einem Bekannten darauf gebracht weil man bei Angabe von Straße und Hausnummer immer am falschen Ort rauskam. Witzigerweise gab es ehwig nichts auf Heise. Ich hatte später einiges dazu gefunden. Sogar was auf Deutsch.
Besser ist es bisher auch kaum geworden. Der Nachbar meiner Eltern hat noch immer an jedem Baum eine Hausnummer und die Straße hat wild verteilt doppel Nummern. Guck dir einfach mal eine normal gewachsene Stadt an. Gibt dazu auch schöne Einträge von Leuten die sich rangemacht haben das Straßenzugweise an G zu melden.
Das war mal alles ganz korrekt und richtig bis jemand eine richtig blöde Idee hatte. Zum Glück ist OSM nach wie vor in Ordnung, was anderes brauche ich nicht zum leben.

Zitat von fisipjm:

Wenn ich dir damit persönlich auf den Schlipps getreten bin, möchte ich mich hiermit entschuldigen!

Fine!