AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren

Objektliste sprengt RAM (32-bit)

Ein Thema von Jens01 · begonnen am 12. Jul 2016 · letzter Beitrag vom 18. Jul 2016
Antwort Antwort
Seite 2 von 3     12 3   
Jens01

Registriert seit: 14. Apr 2009
627 Beiträge
 
#11

AW: Objektliste sprengt RAM (32-bit)

  Alt 12. Jul 2016, 16:53
Hatte ich vergessen zu erwähnen: Es läuft FastMM.

Und es sind ganz sicher keine Leaks, das prüfe ich ständig.
Achtung: Bin kein Informatiker sondern komme vom Bau.
  Mit Zitat antworten Zitat
Jens01

Registriert seit: 14. Apr 2009
627 Beiträge
 
#12

AW: Objektliste sprengt RAM (32-bit)

  Alt 12. Jul 2016, 19:12
Danke für die Einschätzungen.

Die kreisen die Suche schon etwas ein. Ich werde erst einmal ein Testprojekt bauen und mich dann zurückmelden.
Achtung: Bin kein Informatiker sondern komme vom Bau.
  Mit Zitat antworten Zitat
Benutzerbild von Sir Rufo
Sir Rufo

Registriert seit: 5. Jan 2005
Ort: Stadthagen
9.454 Beiträge
 
Delphi 10 Seattle Enterprise
 
#13

AW: Objektliste sprengt RAM (32-bit)

  Alt 12. Jul 2016, 19:16
Also ohne annähernd konkrete Werte kann man so ca. Angaben überhaupt nicht bewerten.

mehrere zehntausend Objekte belegen nur ein paar KiloByte im Stream

Jedes Objekt müsste im Stream so mindestens um die 40 Byte belegen (gerechnet ohne Strings). Bei mehreren zehntausend nehme ich mal 30.000 an und komme auf 1.320.000 Byte was so 1,3 MegaByte entspricht (und das als absolutes Minimum).

Somit passen hier auch die Aussagen insgesamt logisch nicht zueinander.

Aktuell kann es also auch nur unlogische Mutmassungen geben und da passt wohl am besten 42
Kaum macht man's richtig - schon funktioniert's
Zertifikat: Sir Rufo (Fingerprint: ‎ea 0a 4c 14 0d b6 3a a4 c1 c5 b9 dc 90 9d f0 e9 de 13 da 60)
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
38.563 Beiträge
 
Delphi 10.4 Sydney
 
#14

AW: Objektliste sprengt RAM (32-bit)

  Alt 13. Jul 2016, 10:47
Hab ich das überlesen, oder wurde nicht gesagt wo es knallt?

* Erstellen eines neuen Datenobjekts
* Laden der Daten, die in das neue Objekt rein sollen
* Befüllen des Datenobjekts
* Hinzufügen des Objekts zur Liste

Beim Hinzufügen muß eventuell die komplette Liste kopiert werden, wenn sich der Speicher nicht inplace vergrößern lässt,
aber für "mehrere 10000 Objekte" sollten dafür keine 150 KB an freiem zusammenhängendem Speicher nötig sein.

Festplatte ... Text als ANSI und im RAM als Unicode = doppelt so viel, plus je paar Byte für die Verwaltung/Alignment.

FastMM ... seit Delphi 2006? ist das schon eingebaut (in einer "leicht" abgespeckten Version)
Und wenn du aber eine eigene "externe" Version einbindest, dann hat ReportMemoryLeaksOnShutdown keine Wirkung, da es nur den internen FastMM steuert.
Der externe FastMM wird über seine Options.inc bedient.
Garbage Collector ... Delphianer erzeugen keinen Müll, also brauchen sie auch keinen Müllsucher.
Delphi-Tage 2005-2014

Geändert von himitsu (13. Jul 2016 um 11:11 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Stevie
Stevie

Registriert seit: 12. Aug 2003
Ort: Soest
3.825 Beiträge
 
Delphi 10.1 Berlin Enterprise
 
#15

AW: Objektliste sprengt RAM (32-bit)

  Alt 13. Jul 2016, 15:51
Callstack der Exception?

Out of memory exceptions kommen nicht nur, wenn wirklich kein Speicher mehr da ist.
Stefan
“Simplicity, carried to the extreme, becomes elegance.” Jon Franklin

Delphi Sorcery - DSharp - Spring4D - TestInsight
  Mit Zitat antworten Zitat
Jens01

Registriert seit: 14. Apr 2009
627 Beiträge
 
#16

AW: Objektliste sprengt RAM (32-bit)

  Alt 13. Jul 2016, 15:58
Zitat:
Out of memory exceptions kommen nicht nur, wenn wirklich kein Speicher mehr da ist.
Ich habe ein "System-Explorer" mitlaufen. Da kann ich eigentlich gut verfolgen, wie die Rambelegung hochläuft, wenn die Liste gefüllt wird. Ich habe das Problem zurvor auch schon eingekreist, zB indem ich Teile der Liste per Stream auf der Festplatte ausgelagert habe. Dann funktionierte es ohne Fehler. (Die Liste wird in Schüben gefüllt.)
Achtung: Bin kein Informatiker sondern komme vom Bau.
  Mit Zitat antworten Zitat
freimatz

Registriert seit: 20. Mai 2010
1.013 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#17

AW: Objektliste sprengt RAM (32-bit)

  Alt 15. Jul 2016, 10:10
Ist das Problem noch offen?
Genauer als der ProcessMonitor dürfte es sein, den Speicherverbrauch direkt in deinem Code zu messe. Wir haben da:
Delphi-Quellcode:
function GetApplicationMemory(): Int64;
var
  memoryState: TMemoryManagerState;
  blockState : TSmallBlockTypeState;
begin
  GetMemoryManagerState(memoryState);
  with memoryState do begin
    Result := TotalAllocatedMediumBlockSize + TotalAllocatedLargeBlockSize;
    for blockState in SmallBlockTypeStates do
      Inc(Result, blockState.AllocatedBlockCount * blockState.UseableBlockSize);
  end;
end;
  Mit Zitat antworten Zitat
Jens01

Registriert seit: 14. Apr 2009
627 Beiträge
 
#18

AW: Objektliste sprengt RAM (32-bit)

  Alt 15. Jul 2016, 15:07
Zitat:
Ist das Problem noch offen?
Ja, ich muss aber erst noch ein Testprogramm erstellen. Das kann noch ein paar Tage dauern.
Dein GetApplicationMemory kann ich aber sehr gut gebrauchen. Sowas habe ich nämlich dafür noch gesucht. Danke!
Achtung: Bin kein Informatiker sondern komme vom Bau.

Geändert von Jens01 (15. Jul 2016 um 15:18 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von dummzeuch
dummzeuch

Registriert seit: 11. Aug 2012
Ort: Essen
925 Beiträge
 
Delphi 2007 Professional
 
#19

AW: Objektliste sprengt RAM (32-bit)

  Alt 15. Jul 2016, 21:14
Ein uebliches Problem ist das Vergroessern einer Liste: Sie wird immer um 25% der bisherigen Groesse vergroessert:

Delphi-Quellcode:
procedure TList.Grow;
var
  Delta: Integer;
begin
  if FCapacity > 64 then
    Delta := FCapacity div 4
  else
    if FCapacity > 8 then
      Delta := 16
    else
      Delta := 4;
  SetCapacity(FCapacity + Delta);
end;
Und in SetCapacity wird dann ReallocMem aufgerufen, was ggf. Speicher fuer eine neue Liste anfordert und dann die alten Eintraege kopiert. Das kann dann bei einer grossen Liste schnell zu Problemen fuehren.

Ach ja: MaxListSize ist MaxInt div 16

also ca. 2.000.000.000 / 16 = ca. 125.000.000

Nicht zu vergessen: Auch die Objekte selbst benoetigen Speicher und sorgen dafuer, dass er fragmentiert.

twm
Thomas Mueller
  Mit Zitat antworten Zitat
Benutzerbild von dummzeuch
dummzeuch

Registriert seit: 11. Aug 2012
Ort: Essen
925 Beiträge
 
Delphi 2007 Professional
 
#20

AW: Objektliste sprengt RAM (32-bit)

  Alt 15. Jul 2016, 21:19
Ach ja, noch was: Wenn es bei den Strings viele Duplikate gibt, lohnt es sich evtl. diese zusammenzufuegen:

https://en.wikipedia.org/wiki/String_interning

https://sourceforge.net/p/dzlib/code...StringPool.pas

Das kann den Speicherverbrauch drastisch reduzieren.

ShortString bringt uebrigens keinen Vorteil gegenueber den standard Strings, sie verbrauchen immer 256 Bytes.

twm
Thomas Mueller
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +2. Es ist jetzt 20:56 Uhr.
Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2021 by Daniel R. Wolf