AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren

riesengroße Arrays > 2GB

Ein Thema von juelin · begonnen am 2. Jun 2017 · letzter Beitrag vom 6. Jun 2017
Antwort Antwort
Seite 1 von 2  1 2   
juelin

Registriert seit: 9. Mai 2006
Ort: Mannheim
95 Beiträge
 
Delphi XE5 Professional
 
#1

riesengroße Arrays > 2GB

  Alt 2. Jun 2017, 09:22
Hallo zusammen,
ich habe ein Problem, bei dem Ihr mir vielleicht helfen könnt.
Ich brauche für mein Programm ein riesiges ARRAY.

"
type tfiguren = record
x: integer;
y: integer;
f: integer;
s: integer;
end;

type tframes = record
a: integer;
f: array [1..9999] of tfiguren;
end;

var frametab: array [1..131072] of tframes;
"

Nun bekomme ich die Fehlermeldung:
[dcc32 Fehler] Unit1.pas(123): E2100 Datentyp zu groß: 2 GB überschritten

Habt Ihr da eine Lösung?

Danke und Gruß
Jürgen
Jürgen Linder
  Mit Zitat antworten Zitat
Der schöne Günther

Registriert seit: 6. Mär 2013
5.321 Beiträge
 
Delphi 10 Seattle Enterprise
 
#2

AW: riesengroße Arrays > 2GB

  Alt 2. Jun 2017, 09:34
Ein Array zeichnet sich dadurch aus dass die Daten am Stück vorliegen. Was du vorhast ist Wahnsinn.

Dein Typ "TFiguren" ist 16 Byte groß. Dein Typ "TFrames" ist 4 + 9998 * 16 Bytes groß. Also ca 160 KB. Und von denen willst du jetzt 131071 am Stück haben. Das ergibt 20971360000 Bytes, das sind 19,53 GB am Stück.

Eine 32Bit-Anwendung kann übrigens maximal 2 GB Arbeitsspeicher addressieren, mehr geht nicht.


Erst einmal musst du dir klar werden dass du so viele Daten nicht alle gleichzeitig brauchst. Wirklich nicht.
  Mit Zitat antworten Zitat
bra

Registriert seit: 20. Jan 2015
709 Beiträge
 
Delphi 10.2 Tokyo Enterprise
 
#3

AW: riesengroße Arrays > 2GB

  Alt 2. Jun 2017, 09:35
http://docwiki.embarcadero.com/RADSt...ritten_(Delphi)
  Mit Zitat antworten Zitat
Benutzerbild von himitsu
himitsu

Registriert seit: 11. Okt 2003
Ort: Elbflorenz
36.362 Beiträge
 
Delphi 10.4 Sydney
 
#4

AW: riesengroße Arrays > 2GB

  Alt 2. Jun 2017, 09:56
Eine 32Bit-Anwendung kann übrigens maximal 2 GB Arbeitsspeicher addressieren, mehr geht nicht.
Standardmäßig.
Per PE-Optionen kann man auch 3 bzw. 4GB aktivieren.
Aber selbst damit bleibt die maximale größe des Typs bei 2 GB, aber gibt ja noch anderen Speicherverbrauch im Programm.
Und als letzte Alternative eine 64 Bit-Anwendung.

ABER, in einer 32 Bit-Anwendung ist es schon schwer genug 700MB am Stück zu bekommen.
Stichwort Speicherfragmentierung, da der reservierte Arbeitsspeicher und die geladenen DLLs/EXE verstreut im virtuellen Speicher (RAM) rumliegen.

Und wenn man sowas var frametab: array [1..131072] of tframes; auch noch als lokale Variable verwenden wöllte, dann käme noch dazu, dass diese Variable dann im Stack läge und der ist standardmäßig nur ein paar MB groß.


Das Ding nicht als Array, sondern als verkettete Liste, aber zum Speichersparen vielleicht nicht die elemente verknüpfen, sondern das in "kleineren" Paketen (mehrere kleinere statisches Arrays in einer verketteten Liste oder als mehrdimensionales Array in einem übergeordnetem Array)
Bei deiner Struktur könntest du aber die beiden statischen Arrays in dynamische ändern und schon ist das nicht mehr als ein Stück im RAM, vorallem durch f: array of tfiguren; wird das schon stark aufgeteilt.

Bei der Menge:
* in Dateien auslagern und selber nur den Teil in den RAM holen, der grade nötig ist
* Memory Mapped File (MMF) ... kann man auch ohne Datei komplett im RAM haben, aber icht würde eine Datei empfehlen ... Windows hält dann dennoch viel im Windows File Cache
* Address Windowing Extensions (AWE)
* ...
Garbage Collector ... Delphianer erzeugen keinen Müll, also brauchen sie auch keinen Müllsucher.
Delphi-Tage 2005-2014

Geändert von himitsu ( 2. Jun 2017 um 09:59 Uhr)
  Mit Zitat antworten Zitat
Der schöne Günther

Registriert seit: 6. Mär 2013
5.321 Beiträge
 
Delphi 10 Seattle Enterprise
 
#5

AW: riesengroße Arrays > 2GB

  Alt 2. Jun 2017, 09:59
So weit wollte ich gar nicht erst ausholen, ich bin mir sicher dass er wirklich nicht 19,5 GB gleichzeitig braucht
  Mit Zitat antworten Zitat
hstreicher

Registriert seit: 21. Nov 2009
209 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#6

AW: riesengroße Arrays > 2GB

  Alt 2. Jun 2017, 15:08
Hallo
Wenn nicht alle Datenpunkte benutzt werden dann würde ich mir mal Sparse Arrays ansehen

Oder eben eine Datenbank

Mfg Hannes
  Mit Zitat antworten Zitat
HolgerX

Registriert seit: 10. Apr 2006
Ort: Leverkusen
866 Beiträge
 
Delphi 6 Professional
 
#7

AW: riesengroße Arrays > 2GB

  Alt 2. Jun 2017, 18:21
Hmm..

oder zunächst mal aus tframes ein TObject statt Record machen

und aus frametab eine ObjectList.

Dadurch beinhaltet frametab nur 131072 Pointer auf tframes, die irgendwo 'verstreut' im Speicher liegen und somit nicht mehr zusammenhängend sein müssen.
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

Registriert seit: 28. Apr 2008
Ort: Stolberg (Rhl)
6.652 Beiträge
 
Delphi 7 Personal
 
#8

AW: riesengroße Arrays > 2GB

  Alt 3. Jun 2017, 00:08
Ich brauche für mein Programm ein riesiges ARRAY.
Sicher? zumindest Frametab sollte durch eine ???List ersetzt werden können.
Eine weitere Speichereffizente Lösung wöre die einfach verkettete Liste, die ist aber für wahlfreie Zugriffe denkbar ungeeignet.
Wofür brauchst Du diese Datenmenge?
ggf. gibt es effizentere Datenstrukturen?

Gruß
K-H
Programme gehorchen nicht Deinen Absichten sondern Deinen Anweisungen
R.E.D retired error detector
  Mit Zitat antworten Zitat
Ghostwalker

Registriert seit: 16. Jun 2003
Ort: Schönwald
1.291 Beiträge
 
Delphi 10.3 Rio
 
#9

AW: riesengroße Arrays > 2GB

  Alt 3. Jun 2017, 08:22
Hmm..

oder zunächst mal aus tframes ein TObject statt Record machen

und aus frametab eine ObjectList.

Dadurch beinhaltet frametab nur 131072 Pointer auf tframes, die irgendwo 'verstreut' im Speicher liegen und somit nicht mehr zusammenhängend sein müssen.
Für was ein Objekt, das wesentlich mehr Speicher verbrät ?

Besser:

Delphi-Quellcode:
  Type
    PFrames = ^TFrames
und dann schlicht mit einer TList arbeiten.
Uwe
e=mc² or energy = milk * coffee²
  Mit Zitat antworten Zitat
HolgerX

Registriert seit: 10. Apr 2006
Ort: Leverkusen
866 Beiträge
 
Delphi 6 Professional
 
#10

AW: riesengroße Arrays > 2GB

  Alt 3. Jun 2017, 09:24
Hmm..


Hmm..

oder zunächst mal aus tframes ein TObject statt Record machen

und aus frametab eine ObjectList.

Dadurch beinhaltet frametab nur 131072 Pointer auf tframes, die irgendwo 'verstreut' im Speicher liegen und somit nicht mehr zusammenhängend sein müssen.
Für was ein Objekt, das wesentlich mehr Speicher verbrät ?

Besser:

Delphi-Quellcode:
  Type
    PFrames = ^TFrames
und dann schlicht mit einer TList arbeiten.

Ich glaube kaum, dass

Delphi-Quellcode:
type tframes = class
a: integer;
f: array [1..9999] of tfiguren;
end;
anstelle von

Delphi-Quellcode:
type tframes = record
a: integer;
f: array [1..9999] of tfiguren;
end;
Wirklich wesendlich mehr an Speicher verbraucht. Das gro an Speicher braucht das 'array [1..9999] of tfiguren;' und nicht das TObject.
Ich bin zwar kein Spezialist was Speichermanagment angeht, sollten eigentlich nur ein, zwei Pointer mehr an Speicher sein, wenn überhaupt.


Aber egal..

Ja man kann TList direkt mit Pointer auf Records verwenden, jedoch dann darauf achten, das mit AllocMem/GetMem immer der Speicher des Records geholt wird und zum Schluss schön mit FreeMem wieder freigegeben wird.

Bei Objectlist würde sich durch ownsobject die Liste selber um die (saubere) Freigabe kümmern.

Edit:
Habe mal durch Delphi die Größen ermitteln lassen:

Record 159988 Bytes (mit SizeOf)
Object 159992 Bytes (mit Object.InstanceSize)

Somit macht dass bei 32Bit gerade mal 4 Bytes mehr pro Object! Bei 159988 Bytes ist das wohl nicht Wesendlich mehr.

Hochgerechnet auf 131072 Objecten macht das ein Mehrverbrauch von 524288 Bytes also 512 Kb..
Und das ist bei den eh schon 19 Gb wohl zu vernachlässigen

Geändert von HolgerX ( 3. Jun 2017 um 09:35 Uhr)
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 04:27 Uhr.
Powered by vBulletin® Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2020 by Daniel R. Wolf