Neuronale Netze/Deep Learning/AI - HowTo bzw How to start?

[TigerLilly]

Ich brauche Input:

Ich würde gerne Texte analysieren + in ihre Bestandteile zerlegen lassen bzw kategorisieren lassen. Ich würde dazu gerne auf AI oÄ zurückgreifen. Ich habe mich ein wenig mit der MS AI zur FAQ Generierung gespielt + das geht schon diese Richtung. Aber ich weiß nicht recht, wie ich das mit Delphi machen soll. Es gibt wohl von Mitov eine Lib, aber die kenne ich gar nicht. Ich hab auch keine rechte Vorstellung, wie ich die Trainings/Lernphase angehen soll bzw welche Modelle da passend sind.

Hat jemand in dieser Richtung schon etwas gemacht + kann mir Tipps geben?

Danke schon im Voraus! :thumb:

[rabatscher]

Ich würd mal sagen zuerst mal den background etwas verstehen:

https://www.youtube.com/watch?v=i94OvYb6noo
-> Vorlesung über Backprop

Die Vorlesung ist recht gut ;) und ich würd die anderen auch noch anschauen - dann ists
mit dem Verständnis schon mal leichter.

Selbst solche Netze trainieren ist aber kein leichter Job - vor allem anderen braucht man eine
sehr große Datenbank, damit die Netze auch gut funktionieren (wie auch alle anderen KI
Algorithmen).


Ehrlich gesagt würde ich an deiner Stelle eine fertige OCR library kaufen, die heutzutage schon sehr gute
Ergebnisse liefern.

https://stackoverflow.com/questions/...y-should-i-use

Wenn du nur herumspielen willst um ein Verständnis für KI Algorithmen zu kriegen kannst du auch gerne
in:
https://github.com/mikerabat/mrai

herumstöbern.

Man braucht allerdings auch
https://github.com/mikerabat/mrmath
und
https://github.com/mikerabat/mrimgutil/

dazu...

lg Mike

[jaenicke]

Zitat:

Zitat von rabatscher (Beitrag 1418403)

Ehrlich gesagt würde ich an deiner Stelle eine fertige OCR library kaufen, die heutzutage schon sehr gute
Ergebnisse liefern.

Darum geht es aber gar nicht, wenn ich das richtig verstehe:

Zitat:

Zitat von TigerLilly (Beitrag 1418401)

Ich würde gerne Texte analysieren + in ihre Bestandteile zerlegen lassen bzw kategorisieren lassen.

Das hat mit OCR ja nichts zu tun.

Leider sind neuronale Netze kein einfaches Thema. An der Uni hat es ein paar Monate in einer Vorlesung benötigt um dafür ein gewisses Verständnis zu entwickeln wie man damit praktisch auch Probleme lösen kann. Denn die grundsätzliche Theorie dahinter ist noch nicht einmal so kompliziert. Diese dann aber auch so zu implementieren und zu nutzen, dass da auch in der Praxis gute Ergebnisse herauskommen, das ist viel schwieriger, selbst wenn man ein paar einfache Beispiele schon kennt.

Deshalb würde ich erst einmal möglichst viel über die Theorie anschauen, dann konkrete Implementierungen. Und man braucht Geduld.

[freimatz]

Und eher Phyton :(

[Rollo62]

Oder JavaScript ...

[Lemmy]

oder Delphi:-)

https://github.com/hartmutdavid/TensorFlow4Delphi

wobei ich nicht weiß, in wie weit die Anbindung ausreicht um das gewünschte zu erreichen und was / welche Daten letztlich an Google übermittelt werden müssen.

[Rollo62]

Zitat:

Requirements and versions

Python 3.6 64-bit with installed Tensorflow 1.4.0 64-bit

Naja, ist aber ein bischen gemogelt :wink:

[freimatz]

Ist sicher nur ein Wrapper. Wobei Python auch wieder ein Wrapper um den C++ Kern ist IMHO.
Ob es allerdings sinnvoll ist bei einem "How to start?" etwas "eingepacktes" zu nehmen?

[Jens01]

https://github.com/Jens01/NewFann

[rabatscher]

Zitat:

Zitat von jaenicke (Beitrag 1418405)

Das hat mit OCR ja nichts zu tun.

http://www.mitov.com/products/intelligencelab#overview

Die meisten Komponentn bei Mitov sind entweder zwecks Image Analysis and Signalverarbeitung (inkl. OCR) drum
der Gedankte an OCR ;)

Zitat:

Zitat von jaenicke (Beitrag 1418405)

Leider sind neuronale Netze kein einfaches Thema. An der Uni hat es ein paar Monate in einer Vorlesung benötigt um dafür ein gewisses Verständnis zu entwickeln wie man damit praktisch auch Probleme lösen kann. Denn die grundsätzliche Theorie dahinter ist noch nicht einmal so kompliziert. Diese dann aber auch so zu implementieren und zu nutzen, dass da auch in der Praxis gute Ergebnisse herauskommen, das ist viel schwieriger, selbst wenn man ein paar einfache Beispiele schon kennt.

Deshalb würde ich erst einmal möglichst viel über die Theorie anschauen, dann konkrete Implementierungen. Und man braucht Geduld.

Genau meine Meinung :).

[TiGü]

Zum grundlegenden Verständnis empfiehlt sich dieser kurzer Schmöker:
https://www.amazon.de/Neuronale-Netz.../dp/B0105UIJPC

Hier wird mit leicht lesbaren C# ausgehend von einer einzelnen Neurone ein ganzes Netzwerk zur einfachen Handschriftenerkennung aufgebaut.
Kurz und knackig und anhand des erworbenen Wissens kann man weitermachen.

Gab's auch kostenlos als E-Book in der örtlichen Bibliothek, vielleicht auch eine Möglichkeit für dich?

[hstreicher]

hier ein Vortrag von Mitov
Artificial Intelligence with Delphi & C++Builder with Boian Mitov - CodeRageXI
https://www.youtube.com/watch?v=cATP...layer_embedded

sowie ein paar Videos über AI mit Delphi

https://chapmanworld.com/page/3/

mfg Hannes

[TigerLilly]

Danke für die vielen Tipps.

Der theoretische Background + die Mathematik dahinter ist nicht das Problem, sondern eher die praktische Umsetzung.

Welche Tools/Systeme gibt es, die mit Textanalyse umgehen können?
Wie bereite ich meine Daten auf, damit ich Sie zum Training nutzen kann?
Wie trainiere ich mein System?

Sowohl MS als auch Google haben cooles Zeugs zum Thema AI + das kann man auch gut via REST nutzen, hat das schon jemand gemacht?

[freimatz]

In einem Delphi-Forum wirst Du kaum jemand finden.

Habe ich letzte Woche gelesen: https://entwickler.de/online/machine...579859988.html

[TigerLilly]

Zitat:

Zitat von freimatz (Beitrag 1418608)

In einem Delphi-Forum wirst Du kaum jemand finden.

Weil? :shock:

[hanvas]

Zitat:

Zitat von TigerLilly (Beitrag 1418632)

Zitat:

Zitat von freimatz (Beitrag 1418608)

In einem Delphi-Forum wirst Du kaum jemand finden.

Weil? :shock:

Ein Grund den ich mir denken könnte wäre das die meist genutzte Programiersprache für diesen Problemkreis Python ist. Aber natürlich gibt es auch Delphi Anhänger die Fremdsprachen sprechen.

Zu Deiner eigentlichen Frage zurück. Zur Bearbeitung natürlicher Sprache gibt es eine Vielzahl von Werkzeugen - die wenigsten davon Delphi. Ein guter Punkt um zu starten wäre [1], neben ein paar grundlegenden Infos gibt es dort auch Links zu jenen Werkzeugen. Eine sehr bekannte und umfangreiche Sammlung an Werkzeugen ist das NLTK [4], damit umzugehen kannst Du mit [5] lernen. Das Schweizer Taschenmesser der NLP ist ein POS Tagger, spacie [6] wäre ein guter.

Was willst Du denn konkret machen. Einen Chatbot entwickeln und Sprache nach Regeln bearbeiten kannst Du mir [7], einen Spamfilter bauen, Dokumente klassifizieren, das Web minen oder einfach nur rumspielen.

Was vermutlich am besten Deinem Topic entspricht wäre [2] und [3]

hth

Ha-Jö


[1] https://nlp.stanford.edu/
[2] https://www.amazon.de/Natural-Langua...dp/1788478312/
[3] https://www.nltk.org/
[4] https://www.amazon.de/Hands-Natural-...dp/1725192535/
[5] https://textminingonline.com/
[6] https://explosion.ai/
[7] https://github.com/ChatScript/ChatScript

[TigerLilly]

Danke, hanvas, für die Links + die Quellen. Da mischt sich NLP und AI/DeepLearning. Das ist natürlich nicht des gleiche + auch nicht verwandt.


Ich weiß nicht genau, was ich brauche oder suche, ich mag einfach mal einen Überblick bekommen, mir fehlt der Schritt von der Mathematik zur konkreten Anwendung (und umgekehrt). Aber danke trotzdem.

[hanvas]

Zitat:

Zitat von TigerLilly (Beitrag 1418693)

Danke, hanvas, für die Links + die Quellen. Da mischt sich NLP und AI/DeepLearning. Das ist natürlich nicht des gleiche + auch nicht verwandt.

Du fütterst Dein Netz ja - je nach Anwendung - nicht nur mit den Wörtern eines Textes unberarbeitet, so wie der ist, sondern arbeitest vor, reicherst an und extrahierst. Du brauchst unter Umständen Trainingsdaten, die Du generieren musst ohne ein darauf trainiertes Netz zu haben und aufgrund der Menge an Daten die Du brauchst sind Werkzeuge diese automatisch zu erzeugen sehr hilfreich.

In gewisser Weise ist es sehr wohl das Gleiche - nur mit unterschiedlichen Methoden. Wenn ich Dich richtig verstehe willst Du NLP mit Hilfe von Deep-Learning machen, dafür hatte ich

https://www.amazon.de/Natural-Langua...dp/1788478312/

den Links beigefügt.

cu Ha-Joe