Brainstorming: Datei mit definierter Entropie erzeugen

[Uwe Raabe]

Zitat von PeterPanino:

Und eine Datei, die nur aus unterschiedlichen Zeichen besteht (z.B. "abcdefgh") den Entropiewert 0.

Wenn die Größe der Datei die Anzahl Zeichen überschreitet, kann demnach eine Entropie von 0 nicht mehr realisiert werden. Eventuell muss man die Entropie-Definition da noch etwas flexibler formulieren. Alternativ gibt die Zeichenmenge eben die maximale Dateigröße an.

Ist ja hier Brainstorming, also schreibe ich mal einfach drauflos:
- Gegeben sind N verschiedene Zustände und eine Menge von ebenfalls N dieser Zustände, die nicht zwingend unterschiedlich sein müssen.
- Die Entropie der Menge ist 0, wenn alle Zustände unterschiedlich sind und 1 (= 100%), wenn alle Zustände gleich sind.
- Daraus folgt, daß N > 1 sein muss.
- Die Anordnung der Zustände in der Menge ist irrelevant für die Berechnung der Entropie.
- Sei X die Anzahl der unterschiedlichen Elemente in der Menge, dann errechnet sich die Entropie aus E = (N-X)/(N-1).

[PeterPanino]

Zitat von Uwe Raabe:

- Die Anordnung der Zustände in der Menge ist irrelevant für die Berechnung der Entropie.

Also müssten in einem Test verschiedene Anordnungen der selben Zeichen insgesamt den selben Entropiewert ergeben.

[Uwe Raabe]

Zitat von PeterPanino:

Also müssten in einem Test verschiedene Anordnungen der selben Zeichen insgesamt den selben Entropiewert ergeben.

Nach meiner Definition der Entropie, ja. Ist aber halt nur ein Vorschlag, der noch diskutiert werden kann. Bei einem Zeichensatz von "abcdefgh" hätten z.B. "abbbbbb" und "aaaabbbb" dieselbe Entropie, obwohl im ersten Fall nur ein Zeichen von E = 1 entfernt ist, im zweiten aber vier.

[PeterPanino]

Ich habe jetzt die Entropiewerte von 2 Textdateien verglichen:

Textdatei 1:

Zitat:

Grüne
SPD
FDP
CSU
CDU

Textdatei 2:

Zitat:

CDU
CSU
FDP
SPD
Grüne

Beide ergaben den SELBEN Entropiewert: 3,49366068968819

Damit hat sich die Hypothese von Uwe als richtig erwiesen!

[PeterPanino]

Demgegenüber ergab diese Textdatei:

Zitat:

FDP
CSU
CDU
Violette
Blaue

... diesen Entropiewert: 3,88172767886974

[API]

http://www.shannonentropy.netmark.pl/calculate liefert einen leicht anderen Wert.

H(X) = 3.59448

Code:

CDU
CSU
FDP
SPD
Grüne

[Uwe Raabe]

Wie ermittelst du denn die Entropie?

[PeterPanino]

Zitat von Uwe Raabe:

Wie ermittelst du denn die Entropie?

Es geht um "Shannon's Formula", die MiTeC auf meine Anregung hin in TPEReader integriert hat.

Zur Ermittlung zweckentfremde ich die Klasse TPEReader von MiTeC:

Delphi-Quellcode:

uses
  MiTeC_PE;

var
  PE: TPEReader;

procedure TForm3.FormCreate(Sender: TObject);
begin
  PE := TPEReader.Create;
  try
    PE.FileName := 'R:\test.txt';
    CodeSite.Send('TForm3.FormCreate: ', PE.Entropy.ToString);
  finally
    PE.Free;
  end;
end;

[Uwe Raabe]

Zitat von PeterPanino:

Es geht um "Shannon's Formula",

OK, das ist dann allerdings eine andere Definition von Entropie.

[KodeZwerg]

Zitat von PeterPanino:

Zitat von KodeZwerg:

... mit Deiner auf PE Dateien basierte Entropy Berechnung ...

Nochmals: Das ist keine "PE Dateien basierte Entropy Berechnung", da es gleichgültig ist, ob es eine PE-Datei ist oder nicht. Hast du meinen vorherigen Link durchgelesen und verstanden?

Zitat von PeterPanino:

Zitat von Uwe Raabe:

Wie ermittelst du denn die Entropie?

Es geht um "Shannon's Formula", die MiTeC auf meine Anregung hin in TPEReader integriert hat.

Zur Ermittlung zweckentfremde ich die Klasse TPEReader von MiTeC:

Delphi-Quellcode:

uses
  MiTeC_PE;

var
  PE: TPEReader;

procedure TForm3.FormCreate(Sender: TObject);
begin
  PE := TPEReader.Create;
  try
    PE.FileName := 'R:\test.txt';
    CodeSite.Send('TForm3.FormCreate: ', PE.Entropy.ToString);
  finally
    PE.Free;
  end;
end;

Das hat bestimmt nichts mit PE Dateien zu tun wenn man den Link verfolgt aber irgendwie schon. Du hast mit allem Recht, mehr kann ich dazu nicht Sagen, hab noch einen Schönen Tag.