EOutOfResources erzeugt Speicherleck

[Schorschi5566]

Wenn 30 Threads versuchen jeweils eine Grafik mit 5000x5000 Punkten in den Speicher zu laden, bekommt man die Meldung recht schnell.

Ich programmiere auch schon einige Jahre und glaube mir, die Routine verliert keine Resourcen.

Am Skalierungsprozess ist allerdings die Library Graphics32 beteiligt, die auch die Exception wirft. Eventuell allokiert ja dort etwas Sachen, die Delphi dann am Schluß anmeckert.

Aber warum schreibt Delphi dann was von x Mal EOutOfResources?

[Luckie]

Wie wäre es die Anzahl der Threads zu reduzieren?

[Schorschi5566]

Das passiert schon. Sobald eine EOutOfResources auftritt, beendet sich der entsprechende Thread und macht Luft für die anderen.

Allerdings schwankt das Datenaufkommen und deshalb sollen die Threads wieder erhöht werden, wenn es möglich ist. Nach einer gewissen Zeit werden die Threads also wieder nach und nach gestartet. Bis es wieder knallt.

Funktioniert, wie gesagt ausgezeichnet, mal von dem kleinen Speicherleck abgesehen.

Am Schluss eines Laufs, gibt das Programm eine Empfehlung, wie viele Threads man künftig verwenden sollte aber das behebt das Problem ja nun nicht wirklich.

Du meinst also, dass die Exception an sich keinen Speicher verschludert. Kann natürlich sein, dass TBitmap32.Draw die Exception zu spät wirft und nicht alles freigibt, was bis dahin passiert ist. Werde ich mal erforschen.

Danke schon mal.

[himitsu]

Wenn du schnell was umrechnen willst, dann bringt es sowieso nix, wenn du meh Threads rechnen läßt, als als Recheneinheiten (CPUs/Kerne) vorhanden sind.

PS: 5000x5000 umzurechnen belegt pro Bild schnell mal über 100 MB, da bestimmt über ein Bitmap gerechnet wird, was bei 30 Threads/Bildern wohl etwas viel werden kann.

PSS: Eine Leckprüfung im delphieigenem Speichermanager findet nur Lecks in diesem Teil ... es gibt aber auch noch andere Speichermager und unzählige Handles, welche da nicht mit beachtet werden.

[Schorschi5566]

In diesem Fall bringen 30 gegenüber 10 Threads einen deutlichen Vorteil. Mit den Benchmarks bin ich schon durch.

[himitsu]

Zitat von Schorschi5566:

In diesem Fall bringen 30 gegenüber 10 Threads einen deutlichen Vorteil. Mit den Benchmarks bin ich schon durch.

Dann ist wohl deine Umrechnung der Bilder nicht sonderlich gut.

[Schorschi5566]

Was hat das mit der Qualität des Downscalingfilters zu tun? (Ist der Lanczos-Filter aus Graphics32. BTW: Hervorragende Qualität)

Das Problem ist doch am Rande des Resourcenlimits zu arbeiten. Wenn ich vor dem Schritt, der die Exception verursacht, wüsste wie viel Speicher benötigt wird, könnte ich es ja abfangen und den Thread schon vorher abknipsen. Das weiß ich aber nicht und genau dazu ist Exceptionhandling doch da, oder?

P.S.: Das Teil verursacht wirklich keine Lecks mehr (mal von dem ganz kleinen abgesehen). Getestet über mehrere Stunden anhand von Taskmanager und Process Explorer. Die Handles nehmen nicht zu und der Speicherverbrauch steigt auch nicht an. Im Moment habe ich allerdings Probleme in Graphics32 die entsprechenden Stellen im Source zu finden, die für das Minileck verantwortlich sein könnten.

[Bernhard Geyer]

Zitat von Schorschi5566:

Wenn 30 Threads versuchen jeweils eine Grafik mit 5000x5000 Punkten in den Speicher zu laden, bekommt man die Meldung recht schnell.

Das Problem ist das jede Grafik ca. 100 MB an durchgehenden Adressraum benötigen (bei 32-Bit Farbtiefe). Da dein Adressraum (mit entsprechender Linker-Option) maximal 3 GB umfasst, aber Windows und diverse Anwendungen DLL's in deinen Adressraum "injezieren" ist 30*100MB eher schon Glück wenn es nicht permanent kracht.

[Schorschi5566]

Das ist ja gar nicht das Problem. Klar kracht das (fast) permanent, wenn viele so große Grafiken verarbeitet werden.

Aber der Mechanismus bei Speichermangel die Threads zu killen und sie langsam wieder "auferstehen" zu lassen funktioniert ja. Es sind nicht nur derart große Grafiken, sondern auch viele mit kleineren Formaten. Da wäre es einfach doof, die Threads nicht wieder zu starten. Natürlich nicht alle auf einmal.

Die Leckage scheint wohl eher daher zu kommen, dass EOutOfResources irgendwo direkt geraised wird, was ja, laut Hilfe, für EHeapExceptions nicht erlaubt ist. Dabei entsteht pro Exception offenbar eine neue Instanz von EOutOfResources, was eigentlich nicht sein soll. Freigegeben wird aber nur die Urinstanz von EOutOfResources.

Mein Code feuert keine EOutOfResources, also muss es wohl TJpgImage, TBitmap oder TBitMap32 sein.

In meiner Exceptionbehandlung habe ich ja wohl kaum eine Chance, das zu beheben. Oder doch?

Bleibt die Frage, wie man korrekt auf EOutOfResources reagieren kann ohne eine Speicherleck zu erzeugen.

[littleDave]

Soweit ich das gesehen habe, ist das ganze (in Delphi 7) nicht sauber umgesetzt, da es - nicht wie bei EOutOfMemory - keine Methode gibt, die das gleiche für die EOutOfResources-Exceptions macht (habe keine gefunden).

Erstmal grundlegend:
EHeapException hat eine private Boolean-Variable namens "AllowFree". Wenn diese True ist, wird die Instanz wirklich aus dem Speicher gelöscht, ansonsten nicht. Zur Prüfung dieser Variable überschreibt EHeapException die virtuelle TObject-Methode "FreeInstance" und baut dort die Prüfung ein (siehe SysUtils.pas -> EHeapException.FreeInstance).

Um das zu umgehen, hab ich eben eine Quick-and-Dirty-Lösung zusammengebaut

Delphi-Quellcode:

procedure TForm1.Button1Click(Sender: TObject);
var delta: cardinal;
begin
  try
    raise EOutOfResources.Create('Out of resources');
  except
    on e: EOutOfResources do
    begin
      delta := cardinal(EHeapException.ClassParent.InstanceSize); // den Offset zur Boolean-Variable auslesen
      PBoolean(cardinal(e) + delta)^ := True; // "AllowFree" auf "True" setzen (Offset + Instance-Pointer = Heap Pointer)

    end; // <-- hier wird die Exception dann automatisch freigegeben (siehe auch: AcquireExceptionObject, etc.)
  end;
end;

Das ganze muss natürlich etwas angepasst werden, falls in neueren Delphi-Versionen die Klasse "EHeapException" noch weitere Variablen hat.