Textanalyse mit Delphi ...

[BungeeBug]

Hi all.

Ich hab da nen kleines Problem, das ich so irgendwie nicht gelößt bekomme ...

Es ist wie folgt ... im Deutschen hat jeder Buchstaben eine bestimmte Menge bzw prozentualen Anteil von einem Text ... z.B.: Das e hat bei langen Texten ~ 17 % Häufigkeit. Nun ist mein Problem das ich verschieden lange Texte hab, was die Häufigkeit zwischen 15 und 20 % möglich macht. Wie kann ich nun eine gescheite Statistik aufstellen die ein Entschlüsseln eines Textes möglich macht. (Verschlüsselung besteht darin das jeder Buchstabe einen andern zugeordnet bekommt.)

Bsp:

Code:

ABCDEFGHIJKLMNOPQRSTUVWXYZ
QAYWSXEDCRFVTGBZHNUJMIKOLP

Mir ist klar das ich entweder die Anteile der göße nach Ordnen muss und so ein ~ Ergebniss bekomme oder das ich die Bereiche in denen ein Wert einen Buchstaben ergibt an die Länge des Textes anpassen muss. Bei einem kleinen Text hat das e mehr als 17% bei einem Langen können es deutlich weniger werden. Diese Methode macht das ganze aber ungenau. Als weiteres Problem sehe ich das wenn manche Buchstaben ähnliche Werte ergeben können. x und y sind z.B.: relativ selten was die Warscheinlichkeit steigert das sie einen ähnlichen Wert bekommen ... wie unterscheide ich diese dann von einander? Am Ende soll das ganze ja einen nach Möglichkeit lesbaren Text geben. Mir ist klar das ich nie einen 100 %igen Treffer landen werde nur ist es im Moment so das es meist nur noch schöneren Buchstabensalat gibt als ich schon habe ...

[Mirilin]

:hi:

Du könntest eine Liste von "Standart"-Worten machen, und dann den Text mit den Prozentualen Angaben entschlüsseln und schauen, ob diese "Standart"-Worte vorkommen, dann je nachdem eben andere Buchstaben mit ähnlichen grössen Zahlen dem jenigen zuordnen.


mfg Tobias

[CalganX]

Hi,
versuche es doch einfach mit der einfachen Prozentrechnung:

Code:

   Anzahl des Buchstaben
----------------------------
Gesamte Anzahl an Buchstaben

Chris

[BungeeBug]

Juhuu ... genau das is das Problem ...

Je nachdem wie lang der Text ist so ändern sich auch die Prozente. Und so muss ich auch die Bereiche ändern was wiederrum das Problem mit sich führt das die Bereiche sich überlappen können und so geht alles in ein einziges Chaos über ...

[CalganX]

Hi,
ich verstehe dich irgendwie nicht. Was ist genau dein Problem? Du gehst den Text von 0 bis Länge-1 durch und erhöhst die Anzahl des Buchstaben, an dem du gerade bist. :gruebel:

Chris

[Mirilin]

:hi:

@Chris ich glaube er hat einen Text in verschlüsselter Form, jeder Buchstabe wird durch einen anderen erstezt.
Du kannst ihn entschlüsseln, mit der Information, dass das e zum Beispiel häufiger ist als das z. Diese Prozentzahlen sind bekannt.
Das Problem ist nur, dass das nicht so genau stimmt, nicht in jedem Text passen diese Angaben...

mfg Tobias

[BungeeBug]

Hi,

genau so hab ichs ....

[Seniman]

Hallo Bungeebug,

ich bin der Meinung, dass du ein solches Programm nicht vollständig automatisch machen kannst. Zumindest nicht ohne Weiteres. Was wäre z.B. mit dem Text "Ottos Mops hopst fort"? Das Programm zählt 4 mal o und 4 mal t. Dann denkt es, einer der beiden steht für e. Ähnliches passiert, wenn ich einen englischen Text verschlüssle.
Deswegen würde ich dir empfehlen, das Programm nur halb automatisch zu machen, d.h. Die einzelnen Buchstabenhäufigkeiten werden in einer Tabelle angegeben (der Größe nach geordnet) und daneben die Durchschnittshäufigkeiten für die deutsche Sprache (kann man erweitern, so dass man auch andere Sprachen mit einbaut). Dann sollte der Benutzer selbst die Vertauschungen bearbeiten können ausgehen vor dem vom Programm vorgeschlagenen Vertauschung.
Noch ein weiterer Tipp: Es lohnt sich auch Buchstabenpaare und ähnliches zu zählen. Denn nach einem "Q" kommt immer ein "u" und viele Wörter enden im Deutschen auf "er" oder "en" usw.
Außerdem ist der Tipp von Mirilin ganz gut, dass du Standartworte in das Programm einbaust und schaust, ob solche vielleicht vorkommen. Da würde es sich beispielsweise anbieten alle dreibuchstabigen Wörter (im Deutschen sind es nicht soooo viele) einzutippen.

Grüße
Seniman

[BungeeBug]

Hi,

das ich keine 100%ige Lösung erziehlen kann ist mir klar ... nur überleg ich wie ich zumindest etwas gescheites bekomme ... der Text den du vorgeschlagen hast ist ausserdem zukurz ... das sind aller Probleme die bekannt sind und in der "Praxis" nich vorkommen ... mir macht nur das überlappen und das unterscheiden 2er Buchstaben mit gleichem Wertebereich schwierigkeiten. Es geht dabei auch mehr ums System als ums Programmtechnische ...