AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Datenbanken Speicherbedarf von Access-DB sehr groß

Speicherbedarf von Access-DB sehr groß

Ein Thema von KPBecker · begonnen am 7. Mai 2011 · letzter Beitrag vom 10. Mai 2011
Antwort Antwort
Seite 1 von 2  1 2   
KPBecker

Registriert seit: 1. Mär 2004
Ort: Mannheim
120 Beiträge
 
Delphi 2010 Architect
 
#1

Speicherbedarf von Access-DB sehr groß

  Alt 7. Mai 2011, 16:03
Datenbank: MS Access • Version: 2003 • Zugriff über: ADO Jet-Engine
Hallo, Delphi-Praktiker,

eine Applikation erzeugt große Mengen von Textdateien mit Größen von 4-15 kB, im Mittel ca. 6 kB. Dieses Dateien ähneln Ini-Dateien.
Um nicht Verzeichnisse mit > 100.000 Dateien bearbeiten zu müssen, möchte ich diese Dateien mit einem kleinen Delphi-Programm in einer Access-DB ablegen.
(Verzeichnis durchsuchen mit FindFirst/FindNext, Lesen als StringList mit LoadFromFile, Speichern mit SQL als CommaText, ein Satz pro Datei.)
Felder: Primary-Key, Dateiname (8 Zeichen), Dateidatum, Text als Memo (4.000 - 15.000 Zeichen je Eintrag).

Zu meiner (unangenehmen) Überraschung benötigt die DB ca. 2,5x soviel Platz wie die einzelnen Dateien.
Die Frage, ob PrimKey, Dateiname und Datum indiziert sind, spielt dabei praktisch keine Rolle. Komprimieren der DB hilft auch nicht weiter. Der Overhead durch CommaText erklärt die Situation auch nicht annähernd.

Frage:
Wie kann das sein ? Wofür wird dieser Platz benötigt ?

Vielen Dank,
Klaus-Peter
  Mit Zitat antworten Zitat
Benutzerbild von s.h.a.r.k
s.h.a.r.k

Registriert seit: 26. Mai 2004
3.159 Beiträge
 
#2

AW: Speicherbedarf von Access-DB sehr groß

  Alt 7. Mai 2011, 16:18
Die DB speichert ja nicht nur die Daten selbst, sondern wohl auch weitere Informationen, sodass Abfragen wesentlich schneller von statten gehen können. Ich denke, dass wohl auch diverse Caches angelegt werden, sodass z.B. wenn eine Abfrage mehrfach kommt, nicht immer erneut berechnet werden muss.

Und was verstehst du eigentlich unter groß? Wenn eine DB mal mehrere MB groß ist, wäre das imho immer noch nicht wirklich groß. Kommt halt zusätzliche auf die Datenmenge an.
»Remember, the future maintainer is the person you should be writing code for, not the compiler.« (Nick Hodges)
  Mit Zitat antworten Zitat
jobo

Registriert seit: 29. Nov 2010
2.964 Beiträge
 
Delphi 2010 Enterprise
 
#3

AW: Speicherbedarf von Access-DB sehr groß

  Alt 7. Mai 2011, 18:30
Ich würde mal tippen, dass ACCESS Memos auch mit festen, minimalen Blockgrößen und Vielfachen davon arbeitet, bspw. 8KB.
Wenn Du die Anzahl der Dateien mal dieser (vermuteten 4,8,16.. Kb) Größe nimmst, oder auch noch alle größer 8KB mit 8KB mal 2 usw. rechnest, kommst Du ja vielleicht auf die Größenordnung.
Einfach als Proof.

Wenn Du Platz sparen möchtest, könntest Du doch ein ZIP File oder einen komprimierten Ordner nehmen. Vielleicht gibts da mittlerweile noch andere tolle Möglichkeiten.
Gruß, Jo
  Mit Zitat antworten Zitat
Benutzerbild von Bernhard Geyer
Bernhard Geyer

Registriert seit: 13. Aug 2002
16.908 Beiträge
 
Delphi 10.4 Sydney
 
#4

AW: Speicherbedarf von Access-DB sehr groß

  Alt 7. Mai 2011, 18:45
Sind die Textdateien Ansi-Codiert? Access speichert String als Unicodestrings und diese haben damit den doppelten Speicherbedarf gegenüber deiner Ansi-Textdateien.

Falls der Platz wichtig ist müsstest du die Textdatei als Blob ZIP-Komprimiert speichern oder ein DBMS nehmen das das automatisch macht (komprimierten von text)
Windows Vista - Eine neue Erfahrung in Fehlern.
  Mit Zitat antworten Zitat
KPBecker

Registriert seit: 1. Mär 2004
Ort: Mannheim
120 Beiträge
 
Delphi 2010 Architect
 
#5

AW: Speicherbedarf von Access-DB sehr groß

  Alt 9. Mai 2011, 08:55
@Bernhard: Gute Idee! Ich versuche einmal, die Datei zeilenweise als ANSI-String in die DB zu bringen.

@jobo: Das wäre aber sehr hinderlich, möglich ist das schon. Ich versuche, Informationen über eine Blockgröße für Memos in Access zu bekommen.

@shark: 100.000 Dateien belegen im Verzeichnis ca. 600 MB (bei 6kB/Datei). Schon bei 500.000 Dateien ist das Limit von Access (3 GB) erreicht. Das und dazu der Faktor 2,5 im Speicherbadarf zwischen Verzeichnis --> DB macht die Sache so, wie sie sich jetzt darstellt, in der Praxis für mich uninteressant.
Der Speicherbedarf geht praktisch linear mit der Zahl der Sätze hoch, so daß ein Overhrad für Verwaltungs- und Optimierungszwecke keine große Rolle zu spielen scheint. Der Einfluß von Indizes ist ebenfalls sehr klein. Der Platz wird wohl zur Ablage des Textfeldes gebraucht.

Euch allen vielen Dank !
Klaus-Peter
  Mit Zitat antworten Zitat
Benutzerbild von Bernhard Geyer
Bernhard Geyer

Registriert seit: 13. Aug 2002
16.908 Beiträge
 
Delphi 10.4 Sydney
 
#6

AW: Speicherbedarf von Access-DB sehr groß

  Alt 9. Mai 2011, 09:28
@Bernhard: Gute Idee! Ich versuche einmal, die Datei zeilenweise als ANSI-String in die DB zu bringen.
Da müsstest du die Textdateien als Blob speichern. Access hat nur einen Unicode-Textdatenetyp.
Windows Vista - Eine neue Erfahrung in Fehlern.
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

Registriert seit: 28. Apr 2008
Ort: Stolberg (Rhl)
6.658 Beiträge
 
Delphi 7 Personal
 
#7

AW: Speicherbedarf von Access-DB sehr groß

  Alt 9. Mai 2011, 13:21
Wofür soll das denn gut sein?
Wenn Du Dateinamen "sparen" willst dann pack doch zuzammengehörige Dateien Zusammen:
Code:
copy Datei1+Datei2...Datein Summendatei
(nähere Informationen zu copy enthält die windowshilfe)

Der Faktor 2,5 für den Platzbedarf ist aber noch einigermaßen niedrig. Ich rechne im allg. mit 3,0..4,0

Gruß
K-H
Programme gehorchen nicht Deinen Absichten sondern Deinen Anweisungen
R.E.D retired error detector
  Mit Zitat antworten Zitat
Perlsau
(Gast)

n/a Beiträge
 
#8

AW: Speicherbedarf von Access-DB sehr groß

  Alt 9. Mai 2011, 13:29
@shark: 100.000 Dateien belegen im Verzeichnis ca. 600 MB (bei 6kB/Datei). Schon bei 500.000 Dateien ist das Limit von Access (3 GB) erreicht. Das und dazu der Faktor 2,5 im Speicherbadarf zwischen Verzeichnis --> DB macht die Sache so, wie sie sich jetzt darstellt, in der Praxis für mich uninteressant. Der Speicherbedarf geht praktisch linear mit der Zahl der Sätze hoch, so daß ein Overhrad für Verwaltungs- und Optimierungszwecke keine große Rolle zu spielen scheint. Der Einfluß von Indizes ist ebenfalls sehr klein. Der Platz wird wohl zur Ablage des Textfeldes gebraucht.
Wieso nimmst du nicht gleich eine richtige Datenbank wie z.B. Firebird? Da ist die Größe der Datenbank nur durch den vorhandenen Plattenplatz begrenzt.
  Mit Zitat antworten Zitat
schorsch666

Registriert seit: 21. Apr 2011
24 Beiträge
 
#9

AW: Speicherbedarf von Access-DB sehr groß

  Alt 9. Mai 2011, 14:32
Moin,
warum willst du das eigentlich soo machen?? Das Betriebssystem ist doch der schnellste Weg. Auch, wenn die DB mal defekt ist, Sperrung, etc.

Wir betreiben eine Landschaft von über 200 Servern durch die monatlich rund 30 Mio! solcher Dateien gehen. Da gibt es wesentlich elegantere Wege.

Handelt es sich denn um zeitkritische Vorgänge oder hat du nur etwas gegen "große Verzeichnisse"?

Wenn du magst kann ich dir da gerne einige Tipps geben..

Ciao..

Schorsch
  Mit Zitat antworten Zitat
KPBecker

Registriert seit: 1. Mär 2004
Ort: Mannheim
120 Beiträge
 
Delphi 2010 Architect
 
#10

AW: Speicherbedarf von Access-DB sehr groß

  Alt 9. Mai 2011, 21:16
@Perlsau:
Access ist für mich am einfachsten da vorhanden
MySQL wäre auch noch möglich

@schorsch666 & p80286
Das Ziel war, die Information "übersichtlicher" als in großen Verzeichnissen abzulegen, schnelleren Zugriff auf den Inhalt einzelner Dateien zu haben, die Bearbeitung nach Datum vornehmen zu können und im Datensatz einfach ein "Verarbeitungskennzeichen" mitzuführen. Daher auch die Indizes auf diesen Angaben. Außerdem wollte ich Verschnitt durch die Blockung bei Dateien vermeiden (haha).
Tips sind natürlich immer willkommen.

@Bernhard:
Der Gedanke, daß in einem Memo 2-Byte-Zeichen in der DB abgelegt werden und daher der Faktor >2 in den Größen (Dateien vs. DB) liegt, stimmt möglicherweise nicht.

Versuche:

1. Textfeld als Memo bzw. als OLE (BLOB) definiert, schreiben des Inhalts als Stringlist mit Text.CommaText
--> kein Unterschied in der DB-Größe

2. Umsetzen von Text.CommaText in einen Ansi-String, der dann wie bei 1. in ein Memo bzw. OLE-Feld abgelegt wird
--> kein Unterschied in der DB-Größe
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 2  1 2   

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 14:05 Uhr.
Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2021 by Daniel R. Wolf