AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Datenbanken Delphi Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschieben.

Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschieben.

Ein Thema von bernau · begonnen am 3. Mai 2020 · letzter Beitrag vom 4. Mai 2020
Antwort Antwort
Seite 1 von 3  1 23   
Benutzerbild von bernau
bernau

Registriert seit: 1. Dez 2004
Ort: Köln
1.052 Beiträge
 
Delphi 10.2 Tokyo Enterprise
 
#1

Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschieben.

  Alt 3. Mai 2020, 09:04
Datenbank: Firebird • Version: 3 • Zugriff über: FireDac
Hallo zusammen,


ich werde für mein größtest Softwarepaket in den nächsten Monaten(Jahren) die Datenbank wechseln. Weg von ADS auf einen SQL-Server. Mein Favorit ist grade Firebird.

Ein Problem, was ich immer habe, ist die riesige Datenmenge an Dokumenten. Dokumente werden nur zugefügt und werden nicht gelöscht. Das macht bei einem Backup (manchmal über das Internet) regelmäßig Probleme.



Was ich mir nun vorgestellt habe. Alle bestehenden Tabellen kommen in eine Datenbank.

myData.fdb

Die Dokumente (in Blobs gespeichert) landen in einer zweiten Datenbank

myDataDokuments.fdb

Ich möchten nun, dass ab einer bestimmten Größe (ca. 1GB) eine weitere Datenbank angelegt wird

myDataDokuments1.fdb

Die neue Datenbankdatei soll readonly werden. Diese muss nur ein einziges mal gesichert werden. Alle neuen Dokumente landen weiterhin in der bestehenden, nun wieder kleinen Datenbank.

myDataDokuments.fdb.

Sollte diese wieder größer als 1 GB werden, dann wird die nächste Datenbank angelegt

myDataDokuments2.fdb

u.s.w.



Nun zu meiner Frage:

Ist Firebird in der Lage, dies automatisch zu erledigen? Oder muss ich ein Serviceprogramm schreiben, welches regelmäßig aufgerufen wird, die Größe kontrolliert und die beschriebene Aktion durchführt?



Gerne hätte ich auch Ideen, wie man Dokumente ggf. anders speichern kann, ohne immer für ein Backup riesige Datenmengen schaufeln zu müssen.
Gerd
Kölner Delphi Usergroup: http://wiki.delphitreff.de
  Mit Zitat antworten Zitat
tsteinmaurer

Registriert seit: 8. Sep 2008
Ort: Linz, Österreich
527 Beiträge
 
#2

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 09:30
Hallo Gerd,

Firebird kann das nicht automatisch erledigen.

Generell ist das Aufteilen auf mehrere Datenbanken mit Vorsicht zu genießen, da Dinge wie z.b. FOREGIN KEY Constraints nicht Cross-DB funktionieren, wenn du z.B. archivierte Dokumente auf Stammdaten referenzieren möchtest. Du kannst auch in einem
Code:
SELECT ...
keine mehreren Datenbank ansprechen, sondern nur umständlicher via
Code:
EXECUTE STATEMENT ... ON EXTERNAL ...
in PQSL Blöcken.

LG
  Mit Zitat antworten Zitat
jobo

Registriert seit: 29. Nov 2010
2.843 Beiträge
 
Delphi 2010 Enterprise
 
#3

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 09:47
Vielleicht hilft Dir der Link:
http://www.firebirdsql.org/file/docu...s-clone-nodump

Man kann dann mit GBAK z.B. sowas unter Linux machen:
ALTER DATABASE BEGIN BACKUP
<Backup Prozess>
ALTER DATABASE END BACKUP

konkret:
ALTER DATABASE BEGIN BACKUP
gbak -backup emptest stdout | gbak -replace stdin emptest_2
ALTER DATABASE END BACKUP

Etwas umständlicher dann halt entsprechend unter Windows.

Dateien würde man per se wahrscheinlich gar nicht in die DB speichern, sondern daneben und nur die Links in der DB verwalten. Der einzige Grund, es anders zu machen ist m.E. ein Zugriffsschutz für die Dateien auf dem Client (oder sogar auf dem Server).
Sprich, speziell die Nutzung von FB als Client DB wäre ein Grund, auch Dateien "sicher" in der DB abzulegen um sie dem direkten Nutzerzugriff zu entziehen.
Wenn Du allerdings davon redest, einen Backup Service zu schreiben, könnte man genau das auch gleich für Dateien tun. Also einen Dienst schaffen, der Dateien gezielt an einem sicheren (und uU lokalen) Ort ablegt oder ggF. einen bestehenden einbinden.
Gruß, Jo
  Mit Zitat antworten Zitat
mkinzler
(Moderator)

Registriert seit: 9. Dez 2005
Ort: Heilbronn
39.581 Beiträge
 
Delphi 10.2 Tokyo Enterprise
 
#4

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 09:53
Jein. Ist gibt die Möglichkeit eine Datenbank zu erstellen, welche aus mehreren Dateien besteht. (multi-file database). Man kann dan definieren bei welchen Bedingungen dann Sekundärdateien erstellt werden. Dies hat aber einen negativen Effekt auf die Performance.
Markus Kinzler
  Mit Zitat antworten Zitat
Ghostwalker

Registriert seit: 16. Jun 2003
Ort: Schönwald
1.289 Beiträge
 
Delphi 10.3 Rio
 
#5

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 10:03
Von Oracle her kenn ich da nur die "partitioned Tables", da kann man sowas autoatisch machen (Soweit ich weiß, kann das auch MS-SQL).

Denkansätze:

a) Backup-Strategie

Wenn du jedesmal ein Fullbackup machst (also die komplette DB), würd ich erstmal auf inkrementelles Backup umstellen. Dabei erstellst du nur einmalig ein vollständiges Backup, danach werden nur noch die Änderungen gespeichert.


b) Dokument auslagern

Dokumente würd ich im Filesystem speichern, in der DB nur Links zu den entsprechenden Dateien. Dabeneben stehen in der DB nur die Meta-Daten.


Gruß

Uwe
Uwe
e=mc² or energy = milk * coffee²
  Mit Zitat antworten Zitat
Benutzerbild von Uwe Raabe
Uwe Raabe

Registriert seit: 20. Jan 2006
Ort: Lübbecke
7.745 Beiträge
 
Delphi 10.4 Sydney
 
#6

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 10:26
Die Dokumente (in Blobs gespeichert) landen in einer zweiten Datenbank

myDataDokuments.fdb

Ich möchten nun, dass ab einer bestimmten Größe (ca. 1GB) eine weitere Datenbank angelegt wird

myDataDokuments1.fdb

Die neue Datenbankdatei soll readonly werden. Diese muss nur ein einziges mal gesichert werden. Alle neuen Dokumente landen weiterhin in der bestehenden, nun wieder kleinen Datenbank.

myDataDokuments.fdb.
Kannst du das nicht ganz einfach so realisieren?
Code:
rename myDataDokuments.fdb -> myDataDokuments1.fdb
create myDataDokuments.fdb
Der Zugriff auf myDataDokuments1.fdb und höher kann dann ja im Programm read-only implementiert werden.

Existieren schon nummerierte Dateien muss das Rename halt zyklisch erfolgen.
Uwe Raabe
Certified Delphi Master Developer
Embarcadero MVP
Blog: The Art of Delphi Programming
  Mit Zitat antworten Zitat
Benutzerbild von IBExpert
IBExpert

Registriert seit: 15. Mär 2005
459 Beiträge
 
FreePascal / Lazarus
 
#7

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 10:28
Das kann Firebird sehr wohl und wir machen genau den Ansatz schon so seit Jahren, mit Blobdatenmengen bis hin in den Terabyte Bereich (Ich geh mal davon aus, das dein Begriff Dokument als Blob zu verstehen ist, also pdf oder sonstwas)

Genereller Ansatz:

-Du speicherst deine blobs (pdfs etc.) am besten in eigene Tabelle, in den Tabellen die dazu gehören packst du zum Beispiel nur den fk zu dem Blob in der Blob Tabelle

-Wenn ein neuer Blob inhalt gespeichert werden soll, speicherst du den ganz normal in deiner aktiven Produktionsdatenbank

-Wichtig: wenn dein Client auf einen Blob Inhalt später lesend zugreift, dann machst du das nicht direkt per select auf der Tabelle, sondern über einen select auf einer sp, die den PK als parameter bekommt (ich nenn die hier mal getblob, ist aber nichts eingebautes, sondern ganz simpel selber zu erstellen)

-Du legst dir entweder jährlich oder in welchen Arten auch immer extra DBs an, in denen nichts als die blob tabelle baugleich ist (B2020.fdb, B2019.fdb, B2018.fdb usw)

-In einem simplen Reorg job, der zum Beispiel jede Nacht auf deiner Produktions DB läuft, schiebst du die blob daten, die z.B. älter als x Tage sind oder wie bei uns alle die gestern oder noch älter sind von der Produktions DB in die aktuelle offene Jahres DB (diese ist readwrite)

-Das übertragen geht per execute statement on external in einer sp oder einem execute block transaktionssicher, also delete in production und insert into jahres db ist ein einziger commit, obwohl 2 dbs

-Wenn du einen blob lesen willst, kann anhand der blob tabellen metadaten (timestamp) erkannt werden, wo die zu finden sind. Deine sp getblob macht nun als nicht anderes, als die metadaten zu dem blob auszulesen und per execute statement on external den eigentlich blob inhalt aus der jahres db in den speicher der production db holen und von da als rückgabe von der sp im client anzeigen, in datei packen oder was auchimmer damit machen.

-am jahresende setzt du die jahresdb auf readonly, select mit execute statement on external geht weiterhin, es muss nicht mal eine db auf dem eigenen server sein, sondern kann irgendwo aus der cloud kommen. Deine Getblob sp kann ja zu den metadaten irgendwelche Connectionstring aus einer tabelle auslesen und die dann benutzen.

-archivierte readonly jahresdbs packen wir auch meistens nicht auf schnelle ssds, sondern durchaus auf große hdds, weil die nur ein mal beim read only setzen gesichert werden müssen und dann nie wieder, weil die ja auch nie wieder geändert werden. Da alte Dokument selten geschwindigkeitskritisch sind, reciht das auch von hdds.

Wenn Interesse besteht können wir genau das Thema auch gerne mal nächsten Mittwoch um 17 Uhr im Stammtisch besprechen, weil ich weiss, das viele so eine Anforderungen haben und gerne den ganzen Kram in die db packen, aber dann in Probleme laufen, wenn die db nach wenigen Monaten oder Jahren dann dutzende oder hunderte Gigabyte haben und Backup/Restores endlos dauern.


Ganz wichtig aus meiner sicht: Mit "Nicht Blob Daten" ist das Mumpitz, geht auch, z.B. per datebase trigger oder table trigger, ist aber dann extrem umständlich, damit foreignkey beziehungen in abfragen sauber über mehrere Datenbank abzubilden und bringt nichts an Speed, ganz im Gegenteil.
Holger Klemt
www.ibexpert.com - IBExpert GmbH
Oldenburger Str 233 - 26203 Wardenburg - Germany
IBExpert and Firebird Power Workshops jederzeit auch als Firmenschulung
  Mit Zitat antworten Zitat
Benutzerbild von IBExpert
IBExpert

Registriert seit: 15. Mär 2005
459 Beiträge
 
FreePascal / Lazarus
 
#8

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 10:36
b) Dokument auslagern
Dokumente würd ich im Filesystem speichern, in der DB nur Links zu den entsprechenden Dateien. Dabeneben stehen in der DB nur die Meta-Daten.
genau das würde ich nicht machen, weil dafür jeder Client Zugriff auf diese Dateien im Dateisystem braucht, das freut jeden Trojaner

Und wenn die jemand mal in seiner Trotteligkeit versehentlich eine Datei oder gleich ganze Ordner von da verschoben hat, sind deine
Metadaten unbrauchbar, weil da zwar was sein müsste, aber nix ist und keiner weiß warum. Das Filesystem ist in dem Sinne
nicht wirklich transakionssicher, alles readonly machen kann zwar helfen, ist aber umständlich, Filesysteme sind auch nur begrenzt
skalierbar und in der Microsoft Welt auch lizenztechnisch nicht ganz banal.
Holger Klemt
www.ibexpert.com - IBExpert GmbH
Oldenburger Str 233 - 26203 Wardenburg - Germany
IBExpert and Firebird Power Workshops jederzeit auch als Firmenschulung
  Mit Zitat antworten Zitat
tsteinmaurer

Registriert seit: 8. Sep 2008
Ort: Linz, Österreich
527 Beiträge
 
#9

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 10:53
Hallo Holger,

Zitat:
Das kann Firebird sehr wohl und wir machen genau den Ansatz schon so seit Jahren ...
Ja, wenn man dann selbst (sehr) viel herumbaut, was du ja mit deiner 9 Punkteliste gezeigt hast. Wollte Gerd nur vermitteln, dass man hier "Out-Of-The Box" wenig Wunder erwarten kann bzw. dass es Cross-DB gewisse Einschränkungen gibt und z.b. kein Löschen in deiner Stammdaten-DB unterbunden wird (z.B. Adresse, Rechnung, Kunde etc.), obwohl dieser Datensatz in der Archiv-DB noch referenziert wird.

LG
  Mit Zitat antworten Zitat
Benutzerbild von bernau
bernau

Registriert seit: 1. Dez 2004
Ort: Köln
1.052 Beiträge
 
Delphi 10.2 Tokyo Enterprise
 
#10

AW: Daten einer Datenbank automatisch in eine neu zu erstellende Datenbank verschiebe

  Alt 3. Mai 2020, 11:45
Hallo zusammen,


danke erst einmal für eure Antworten.

Auslagern der Dokumente in einzelne Dateien ins Filesystem kommt aus verschiedenen Gründen nicht in Frage.

* Ich möchte keinen Zugriff mehr vom Programm auf das Dateisystem. Ein reiner IP-Zugriff ist für mich aus Gründen der Datensicherheit ein Totschlagargument geworden.

* Bei einer großen Anzahl (>50.000) von Dateien in einem Verzeichnis habe ich schon öfter Probleme mit Performance des Dateisystem bekommen. Habe das gelöst, in dem ich max 1000 Dateien in viele Unterverzeichnis gelegt habe. Aber auch das ist nicht das gelbe vom Ei.


Die angesprochene Funktion "out of the Box" wäre schön. Deshalb habe ich ja gefragt. Ist aber für mich nicht ein Ausschlusskriterium. Wenn ich mich für eine DB entschieden habe, werde ich wohl damit bis zu meiner Rente arbeiten. Eine Umstellung meiner Software auf die neue DB würde auch > 6 Monate in Anspruch nehmen. Bis dahin werde ich mich wohl gut in die neue DB eingearbeitet haben. Aber wenn es "out of the Box" gehen würde, dann wäre das natürlich angenehm.


@Holger: Ich werde mir mal am Mittwoch deinen Stammtisch anschauen. Freue mich schon drauf.
Gerd
Kölner Delphi Usergroup: http://wiki.delphitreff.de
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 3  1 23   

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 22:41 Uhr.
Powered by vBulletin® Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2020 by Daniel R. Wolf