Delphi-PRAXiS

Delphi-PRAXiS (https://www.delphipraxis.net/forum.php)
-   Datenbanken (https://www.delphipraxis.net/15-datenbanken/)
-   -   SQLite 3 Out of Memory (https://www.delphipraxis.net/204333-sqlite-3-out-memory.html)

Monday 19. Mai 2020 23:02

Datenbank: SQLite • Version: 3 • Zugriff über: Zeos

SQLite 3 Out of Memory
 
Hallo,

ich möchte den Speicherplatz eine Datenbank verkleinern. Ich nutze dafür "vacuum;" Dieser bricht dann mit der Meldung "Out of Memory" ab.
Die DB ist ca. 1 GB groß. Tatsächlich sollte sie aber kleiner sein, da ich eine große Tabelle gelöscht habe. Nach dem Löschen der Tabelle ist die Datei nicht kleiner geworden.

Offenbar schreibt die DB temporär die DB neu (vacuum). So habe ich es beobachten können. Und zwar in Laufwerk C.

Die Datenbank liegt auf Laufwerk D (mehrere GB frei). Auf Laufwerk C habe ich fast keinen freien Speicherplatz mehr (ein paar Hundert). Sodass ein neuerstellen auf Laufwerk C nicht geht und "Out of Memory" zwangsläufig kommen muss.

Wie kann ich den Speicherplatz trotzdem verkleinern? Also die SQL Datei.

Würde er die DB temporär auf Laufwerk D machen, wäre das kein Problem. Da könnte er das 10 mal machen. Wie kann ich ihn dazu bewegen?

Windows 7
SQlite 3
NTFS


Ursprünglich wollte ich bei einer Tabelle Indizes anlegen. Aber hier meldet er auch Out of Memory. Ob er das über den Arbeitsspeicher macht oder auch über das Laufwerk, konnte ich nicht herausfinden. Arbeitsspeicher habe ich 16 GB, dass sollte eigentlich auch reichen. Daher verstehe ich nciht ganz wo es hängt. Deshalb wollte ich die SQL Datei erstmal verkleinern; Falls Windows, Dateisysten o.ä. Größenbegrenzungen hat?!.
Daher auch hier die Frage, wie kann ich ihn bewegen Indizes anzulegen? Das Laufwerk auf das die DB liegt, dort ist sind noch mehrere GB frei. Wo soll "out of memory" den sein?!


LG
Monday

Medium 20. Mai 2020 00:31

AW: SQLite 3 Out of Memory
 
Meine Erfahrung beruht zwar nicht auf SQLite sondern MariaDB/MySQL bzw. InnoDB insbesondere, aber bei meinen Recherchen zu ähnlichen Problemen hier bin ich auf eine recht "fundamentale Weisheit" gestoßen: Wenn das DBMS keinen Platz mehr hat die größte der betroffenen Tabellen mindestens zu duplizieren, sieht es meistens recht schlecht aus. Das gilt zuweilen sogar wenn man die Voraussicht hatte, die Tabellen zu partitionieren. Viele DBMS scheinen extrem an dem Plattenplatz zu hängen, den sie je zur Verfügung hatten, und geben nur sehr unfreiwillig solchen ans OS zurück.

In meinem Fall hatte ich das Glück, noch Platz für je eine größte Tabelle zu haben. Lösung war dann: Alles, was ich behalten will in eine neue Tabelle kopieren, und dann ganz schnell die alte umbenennen, die neu kopierte zur bisherigen benennen, und letztlich die alte Tabelle zu droppen. Dann erst war InnoDB bereit den Platz freizugeben. Trotz aktivierter in-place "Defragmentierungsoption" bei OPTIMIZE TABLE in den neueren Versionen. In meinem Fall musste das ganze sogar im laufenden Betrieb passieren - die ca. 10min die zum Kopieren verloren gingen waren pro Tabelle aber zum Glück okay in meinem Fall.

Da deine Datenplatte noch genügend Platz zu haben scheint, wäre das ggf. auch für dich eine Möglichkeit. Bei mir waren die (ca. 400) Tabellen die es zu verkleinern galt je ca. 9GB groß (jap, eine knapp 4TB große DB... fragt nicht...), die letztlich kopierte Größe war rund 2GB pro Tabelle. Jeweils 10-15min auf einem RAID 6 von 6 SAS Platten. Könnte also relativ zügig gehen, sogar im laufenden Betrieb.

pertzschc 20. Mai 2020 06:54

AW: SQLite 3 Out of Memory
 
Schau mal hier: https://www.sqlitetutorial.net/sqlite-vacuum/. Insbesondere bei: "VACUUM with an INTO clause". Ich denke, dass hilft in Deinem Fall.

hoika 20. Mai 2020 07:27

AW: SQLite 3 Out of Memory
 
Hallo,
wen auf c kein Platz mehr ist,
setze das Temp-Laufwerk (also %TEMP%) doch auf D.

Bernhard Geyer 20. Mai 2020 08:05

AW: SQLite 3 Out of Memory
 
Wenns wirklich Dateien im Temp-Verzeichnis sind, hilft evtl. dieser Artikel
https://www.sqlite.org/tempfiles.html

hoika 20. Mai 2020 09:01

AW: SQLite 3 Out of Memory
 
Hallo,
OK,
dann würde das Setzen der Umgebungsvariable SQLITE_TMPDIR helfen.

Bernhard Geyer 20. Mai 2020 09:08

AW: SQLite 3 Out of Memory
 
Zitat:

Zitat von hoika (Beitrag 1464930)
Hallo,
OK,
dann würde das Setzen der Umgebungsvariable SQLITE_TMPDIR helfen.

Ist besser als das Systemweit umzusetzen.

Der schöne Günther 20. Mai 2020 09:33

AW: SQLite 3 Out of Memory
 
Zitat:

Zitat von Monday (Beitrag 1464921)
Arbeitsspeicher habe ich 16 GB, dass sollte eigentlich auch reichen.

Und deine Anwendung ist auch 64 Bit und nicht 32?

jziersch 20. Mai 2020 10:13

AW: SQLite 3 Out of Memory
 
Zitat:

Zitat von Monday (Beitrag 1464921)
Die Datenbank liegt auf Laufwerk D (mehrere GB frei). Auf Laufwerk C habe ich fast keinen freien Speicherplatz mehr (ein paar Hundert). Sodass ein neuerstellen auf Laufwerk C nicht geht und "Out of Memory" zwangsläufig kommen muss.

Hast Du probiert bei VACUUM mit INTO die Ziel datei anzugeben?

Monday 21. Mai 2020 11:09

AW: SQLite 3 Out of Memory
 
Hallo

Ich habe jetzt etwas herumgetüfftelt.

Zuerst hatte ich das Windows Temp Verzeichnis geändert. Das war wirkungslos.

Danach habe ich PRAGMA temp_store_directory = 'D:\...'; gesetzt. Auch das blieb wirkungslos.
Ich hatte allerdings dazu einen SQL Editor (SQLStudio) verwendet und auch über die Anwendung versucht. Bei beiden hat er trotzdem vacuum auf Laufwerk C angewendet.

Erst nachdem ich über die SQL Shell gegangen bin hat er das Verzeichnis angenommen!
Dann lief auch Vacuum schön und in aller Kürze durch. Die DB war nach vacuum um 90 % kleiner!
Sollte mal der Festplattenspeicher nicht ausreichen, ist es also denkbar einen USB Stick oder externe Festplatte dran zu hängen und dann über den Festplattenspeicher zu bewerkstelligen. Habe gesehen, man kann auch einstellen dass es rein über den Arbeitsspeicher geht. Wenn die SQL Datei klein genug ist, wäre es sogar denkbar es komplett über den Arbeitsspeicher zu machen. Man muss daran denken, dass er aber immer die komplette Datei laden will.


Da ich schon fast die Hoffnung aufgegeben hatte, wollte ich eine neue DB erstellen. Und die Daten mittels export/import neu erstellen. Mit dem SQLStudio und SQL Administrator lief der export/import schleppend langsam. Mit der SQL Shell lief es rasent schnell durch.
Spontan würde ich sagen, wenn man große DB über 100 MB hat, ist es wohl am schnellsten wenn man immer über die Shell arbeitet.

Eine SQlite Shell GUI wäre noch nice.

Indizes erstellt er offenbar immer über Laufwerk C. Allein über die Shell wenn ich mit PRAGMA temp_store_directory = 'D:\...'; nimmt er das Laufwerk an. Ich hatte gehofft, einmal temp_store_directory zu setzen und dann ist es standartmäßig. Aber das muss ich wohl immer setzen, wenn ich es brauche.


Ich hatte auch in der Doku nachgesehen wo die Grenzen und Limits liegen; Weil ich dachte das es hier limits gibt. Ich habe gesehen SQL kann durchaus mit 3-4 stelligen Terabyte umgehen.

LG
Monday

Delphi.Narium 21. Mai 2020 12:00

AW: SQLite 3 Out of Memory
 
Du beschreibst zwar, was Du gemacht hast, aber Du beschreibst leider nicht, wie Du es gemacht hast.

Hast Du sowas in der Art gemacht:
Delphi-Quellcode:
SetEnvironmentVariable('SQLITE_TMPDIR','D:\Temp\');
SetEnvironmentVariable('TEMP','D:\Temp\');
SetEnvironmentVariable('TMP','D:\Temp\');
// oder sowas?
SetEnvironmentVariable('SQLITE_TMPDIR',ExtractFilePath(Application.ExeName));
SetEnvironmentVariable('TEMP',ExtractFilePath(Application.ExeName));
SetEnvironmentVariable('TMP',ExtractFilePath(Application.ExeName));
// oder sowas?
ZConnection1.Open;
ZConnection1.ExecuteDirect('PRAGMA temp_store_directory=D:\temp\');
Dann hat die TZConnection noch die Eigenschaft Properties, über die verschiedene Parameter an die Datenbank übergeben werden können, eventuell so:

Delphi-Quellcode:
ZConnection1.Properties.Add('temp_store_directory=D:\temp\');


Da ich SQLite noch nie aus Delphi heraus wirklich ernsthaft genutzt habe, kann ich nicht sagen, ob davon was im "realen Leben" funktioniert, aber eventuell so als Idee?

hoika 21. Mai 2020 12:27

AW: SQLite 3 Out of Memory
 
Hallo,
Änderungen werden in der Regel erst nach dem Neuanmelden oder sqlite-Neustart wirksam.

Delphi.Narium 21. Mai 2020 12:35

AW: SQLite 3 Out of Memory
 
Oder man setzt Umgebungsvariabeln ... im eigenen Programm vor dem Öffnen der Datenbankverbindung.

Wenn ich das recht sehe, werden die Properties der TZConnection beim Verbinden mit der Datenbank gesetzt.
Wenn das kein günstiger Zeitpunkt ist, weiß ich es nicht.

Für einige meiner Programme setzte ich Temp ... beim Programmstart. Das hat die gleiche Wirkung, wie das Setzen dieser Variabeln über die Windowsoberfläche (und ggfls.'ne neue Anmeldung).

Ein weiterer Vorteil: Die Änderungen beim Programmstart gilt nur für das Programm.
Damit hat man keine negativen Auswirkungen auf andere Programme abzuwägen und muss die Änderungen auch nicht jeweils vor dem Programmstart systemweit durchführen und nach dem Programmende wieder rückgängig machen.


Alle Zeitangaben in WEZ +1. Es ist jetzt 08:53 Uhr.

Powered by vBulletin® Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2020 by Daniel R. Wolf