Neuronales Netz - Hopfield-Netz - Ziffernerkennung

[Flips]

Hi alle zusammen!

Da ich mich ja nun doch etwas intensiver mit neuronalen Netzen aller Art befasse, hier meine neuste Schöpfung.
Ähnlich wie ein anderes Programm von mir, welches mit einem neuronalen Netz die Ziffern 0 bis 9 erkennen kann, kann dieses Programm die Ziffern 0 bis 4 erkennen. Oder besser gesagt, rekonstruieren!

Eine kurze Übersicht:
Hopfield-Netz
Einschichtiges Feedback Netz, d.h. es gibt nur eine Schicht, die gleichzeitig Eingabe -und Ausgabeschicht ist.
Desweiteren ist das Netz rückgekoppelt, d.h. jedes Neuron ist mit jedem vernetzt außer mit sich selbst.
Die Gewichte sind symmetrisch, d.h. das Gewicht zwischen Neuron A und Neuron B ist gleich dem Gewicht zwischen Neuron B und Neuron A und umgekehrt.

Besonderheit
Hopfield-Netze lernen nicht wirklich, sie speichern eher die Eingabemuster. Es gibt nur einen Lerndurchgang, danach kennt das Netz alle Eingabevektoren/-muster. (Erwähnenswert hierbei: Natürlich kann das Netz nicht unendlich viele Muster speichern, sobald der Quotient Muster zu Neuronenzahl größer als 0,136 ist, ist es nicht mehr sicher, dass das Netz eine sichere Antwort findet. In diesem Fall ist der Quotient 5/81 -> 0,062 -> Möglich!)
Sie geben auch kein explizites Ergebniss, um welches Muster es sich handelt, sondern sie rekonstruieren das Eingabemuster.
Sollte man dem Netz also ein stark unkenntlich gemachtes Eingabemuster geben, so rekonstruiert es das. Jedoch kann die komplette Rekonstruktion mehrere Iterationen erforden. Es ist also sehr gut zum Vorschalten vor andere Netze!

Das Netz ist ohne Schnickschnack wie Energiefunktion, also perfekt für Einsteiger.
Alles was nötig war ist kommentiert, ist aber nicht viel!


Da ich TFlowPanel benutze, ist dieses Code-Beispiel leider nicht unter Delphi 7 abwärts nutzbar! Da es aber um den Code geht, spielt das keine große Rolle. Die Exe geht ja trotzdem.

Lg, Flips

[freak4fun]

Hast du ein paar gute Links zu NN?

[Flips]

Ja, ich liste mal auf:

Neuronale Netze allgemein:

• http://www.dkriesel.com/
• http://www.neuronalesnetz.de/
• http://www.chemgapedia.de/vsengine/t...n_ein.tra.html

Kohonennetze / SOM:

• http://fbim.fh-regensburg.de/~saj39122/begrolu/nn1.html
• http://wiki.atrox.at/index.php/Kohonen-Netzwerk
• http://members.liwest.at/gotthalmsed...m#_Toc42432147
• http://www.htw-dresden.de/~iwe/Beleg...wenderdoku.pdf
• http://www.n.ethz.ch/student/simonbr...ets_neuro.html

Hopfield-Netz:

• http://lcn.epfl.ch/tutorial/english/...tml/index.html
• http://www.heatonresearch.com/articles/61/page1.html
• http://fbim.fh-regensburg.de/~saj391...207010402.html

Werde noch weitere ergänzen!



Ps: Anbei noch der Hinweis, das ich über das Thema ne Facharbeit schreibe. Sobald diese Präsentiert wurde, werd ich sie direkt hochladen.

[Florian H]

Man muss ja nur ein einziges [geschickt gewähltes] Pixel ändern, dass er die Figur/Zahl überhaupt nicht mehr erkenn/rekonstruiert ôO

[Flips]

Zitat von Florian H:

Man muss ja nur ein einziges [geschickt gewähltes] Pixel ändern, dass er die Figur/Zahl überhaupt nicht mehr erkenn/rekonstruiert ôO

Gut, finde auf Anhieb keinen einzelnen Pixel der dafür ausreicht, aber das ist natürlich möglich. Sobald mehr als ein Muster in einem Hopfield-Netz gespeichert sind, kann es instabile Zustände geben, egal wieviele Iterationen es gibt. Genaueres dazu im Internet.
Nicht für ungut, aber das ist ja auch nur ein Codebeispiel, welches ich eigentlich nur online gestellt habe, weil man fast keinen guten Code dazu findet.

Edit: Gut, habe eines gefunden. Bei der 3 über dem Mittelstrich den 2. Pixel von rechts schwarz machen. Das sind halt Einzelerscheinungen. Außerdem soll das Netz es nicht erkennen, sonder rekonstruieren
Zum Vorschalten vor ein anderes Netz ist es somit ideal!

[freak4fun]

Riesen Dank! Habe das Thema zur zeit als Projekt beim Studium, daher passt das gerade sehr gut! Weiter so!