AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Datenbanken Welche Server-DB bei großer Datenmenge
Thema durchsuchen
Ansicht
Themen-Optionen

Welche Server-DB bei großer Datenmenge

Ein Thema von DataCool · begonnen am 4. Apr 2013 · letzter Beitrag vom 6. Apr 2013
Antwort Antwort
Seite 1 von 2  1 2      
Benutzerbild von DataCool
DataCool

Registriert seit: 10. Feb 2003
Ort: Lingen
909 Beiträge
 
Delphi 10.3 Rio
 
#1

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 14:12
Erstmal Danke für die rege Beteiligung

Oracle, kenne ich auch; Kommt für mich in diesem Fall aber nicht in Frage!
Das ganze Projekt soll nach Fertigstellung auch ohne Extra-Admin auskommen

Eine Trennung der verschiedenen Datenbanken(Programm-DB z.B. Firebird; Bewegungsdaten mit XYZ)
ist eventuell möglich. Diesbezüglich muss ich nochmal in Ruhe nachdenken,
ob in dieser Konstellation trotzdem alle Informationen ohne "großes verbiegen" abfragbar sind.

Weiterhin ist noch zu erwähnen das die Tabellen der Bewegungsdaten nur wachsen
und der Begriff Archiv es ziemlich genau trifft.
Auf die Tabellen laufen immer nur "INSERT" Statements und diese Daten
werden dann nachher nach Bedarf "selektiert".

Greetz Data
Der Horizont vieler Menschen ist ein Kreis mit Radius Null, und das nennen sie ihren Standpunkt.

Geändert von DataCool ( 4. Apr 2013 um 14:26 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Nersgatt
Nersgatt

Registriert seit: 12. Sep 2008
Ort: Emlichheim
693 Beiträge
 
Delphi 10.1 Berlin Professional
 
#2

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 14:42
Das ganze Projekt soll nach Fertigstellung auch ohne Extra-Admin auskommen
Kling für mich wie "wir wollen ein 100-stöckiges Hochhaus bauen - das soll aber nach Fertigstellung ohne Hausmeister auskommen"...
Jens
  Mit Zitat antworten Zitat
Benutzerbild von DataCool
DataCool

Registriert seit: 10. Feb 2003
Ort: Lingen
909 Beiträge
 
Delphi 10.3 Rio
 
#3

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 14:51
Das ganze Projekt soll nach Fertigstellung auch ohne Extra-Admin auskommen
Kling für mich wie "wir wollen ein 100-stöckiges Hochhaus bauen - das soll aber nach Fertigstellung ohne Hausmeister auskommen"...
Natürlich soll und wird es eine Betreuung geben!
Aber keinen Extra ODBA der nur diese DB/Server betreut.

Greetz Data
Der Horizont vieler Menschen ist ein Kreis mit Radius Null, und das nennen sie ihren Standpunkt.
  Mit Zitat antworten Zitat
Patito

Registriert seit: 8. Sep 2006
108 Beiträge
 
#4

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 14:49
Erstmal Danke für die rege Beteiligung
Weiterhin ist noch zu erwähnen das die Tabellen der Bewegungsdaten nur wachsen
und der Begriff Archiv es ziemlich genau trifft.
Auf die Tabellen laufen immer nur "INSERT" Statements und diese Daten
werden dann nachher nach Bedarf "selektiert".

Greetz Data
Wenn in die Log-Tabelle nur Inserts kommen, kann man z.B. auch leicht
eine Tages-Statistik-Tabelle per Trigger befüllen. Dann hat man schon mal
wesentlich weniger Daten, die man analysieren muß.

Schau Dir auch genau an wie effizient Du deine Daten speicherst. (Normalisieren...)
Die Kantine in meiner Datenbank verursacht gerade mal 1 MB an Daten im Jahr.
Wenn man im Jahr 100 GB voll kriegen will muß man schon viel Hunger haben.

Manchmal müssen auch nicht alle Log-Informationen in die Datenbank - die können ruhig in
irgendwelche Log-Files bleiben - nur die interessanten Daten braucht man in der Datenbank.
  Mit Zitat antworten Zitat
Benutzerbild von DataCool
DataCool

Registriert seit: 10. Feb 2003
Ort: Lingen
909 Beiträge
 
Delphi 10.3 Rio
 
#5

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 15:06

Wenn in die Log-Tabelle nur Inserts kommen, kann man z.B. auch leicht
eine Tages-Statistik-Tabelle per Trigger befüllen. Dann hat man schon mal
wesentlich weniger Daten, die man analysieren muß.

Schau Dir auch genau an wie effizient Du deine Daten speicherst. (Normalisieren...)
Die Kantine in meiner Datenbank verursacht gerade mal 1 MB an Daten im Jahr.
Wenn man im Jahr 100 GB voll kriegen will muß man schon viel Hunger haben.

Manchmal müssen auch nicht alle Log-Informationen in die Datenbank - die können ruhig in
irgendwelche Log-Files bleiben - nur die interessanten Daten braucht man in der Datenbank.
Erstmal reden wir hier nicht von einer Kantine, sondern ca. 100 Läden.
Der springende Punkt ist aber das die Daten aus dem Kassensystem um ein vielfaches komplexer sind,
als die bei einer Kantine.
Du bekommst zu jedem Bon mitgeliefert, welcher Kellner den Bon geöffnet, welcher Kellner den Bon
geschlossen hat, an welchem Tisch gestartet/bezahlt wurde(umsetzen),
war vielleicht gerade Happy Hour und Cocktails wurden mit einen Extra-Rabatt verkauft.
Hat ein Mitarbeiter sich selbst was mit Personalrabatt verkauft.
War der Verkauf mit 7% Mwst oder 19% (variiert pro Artikel innerhalb eines Bons)

Auf Basis dieser Daten sind nachher unzählige Auswertungen denkbar und gewünscht,
die Daten schon verdichtet aufzubereiten wird da an manchen Stellen schwierig.

Greetz Data
Der Horizont vieler Menschen ist ein Kreis mit Radius Null, und das nennen sie ihren Standpunkt.
  Mit Zitat antworten Zitat
tsteinmaurer

Registriert seit: 8. Sep 2008
Ort: Linz, Österreich
530 Beiträge
 
#6

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 15:16
Wie lange muss dieser Detailierungsgrad der Daten für Auswertungen zur Verfügung stehen?
  Mit Zitat antworten Zitat
Benutzerbild von DataCool
DataCool

Registriert seit: 10. Feb 2003
Ort: Lingen
909 Beiträge
 
Delphi 10.3 Rio
 
#7

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 15:20
Wie lange muss dieser Detailierungsgrad der Daten für Auswertungen zur Verfügung stehen?
- Minimum 2 Jahre zurück(Kunden Vorgabe)
- Gut wären 3 Jahre (schon mehr als gewünscht)
- 4 Jahre hervorragend( mehr als 4 Jahre auf keinen Fall)
Der Horizont vieler Menschen ist ein Kreis mit Radius Null, und das nennen sie ihren Standpunkt.
  Mit Zitat antworten Zitat
Morphie

Registriert seit: 27. Apr 2008
Ort: Rahden
630 Beiträge
 
#8

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 15:25
Kannst du mal so eine Beispieltabellenstruktur posten?
Meine Erfahrung: Die Größe der Datenbank ist relativ egal, das Design macht den Unterschied.

Notfalls schreibst du dir halt ein Programm mit dem du so große Datenbestände simulieren kannst... Ich vermute aber mal, dass kein aktuelles RDBMS aufgrund der Größe schlappmachen wird.
  Mit Zitat antworten Zitat
Benutzerbild von DataCool
DataCool

Registriert seit: 10. Feb 2003
Ort: Lingen
909 Beiträge
 
Delphi 10.3 Rio
 
#9

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 15:31
Das alte System sieht in etwa so aus:
Code:
DROP TABLE IF EXISTS `transaktion`;
CREATE TABLE `transaktion` (
  `SORT_ID` int(11) NOT NULL,
  `IMPORT_ID` int(11) NOT NULL,
  `ID` int(11) NOT NULL,
  `JOURNAL_NR` int(11) DEFAULT NULL,
  `START_DT` timestamp DEFAULT NULL,
  `ENDE_DT` timestamp DEFAULT NULL,
  `KASSEN_NR` int(11) DEFAULT NULL,
  `TISCH_NR` int(11) DEFAULT NULL,
  `BEDIENER_START` int(11) DEFAULT NULL,
  `BEDIENER_ENDE` int(11) DEFAULT NULL,
  `BON_NR` int(11) DEFAULT NULL,
  `BON_TYP` int(11) DEFAULT NULL,
  `TOTAL` double DEFAULT NULL,
  `TOTAL_TYP` varchar(10) DEFAULT NULL,
  `TOTAL_NETTO` double DEFAULT NULL,
  `FINANZWEG` int(11) DEFAULT NULL,
  `ZAHLGELD` double DEFAULT NULL,
  `AUSLAGEN` double DEFAULT NULL,
  `INFOREC_TYPE` int(11) DEFAULT NULL,
  `INFOREC_VALUE` int(11) DEFAULT NULL,
  `EXPORT_DT` timestamp DEFAULT NULL,
  `GUTSCHEINNUMMER` varchar(50) DEFAULT NULL,
  PRIMARY KEY (`SORT_ID`,`IMPORT_ID`,`ID`),
  KEY `idx_BON_TYP` (`BON_TYP`),
  KEY `idx_FINANZWEG` (`FINANZWEG`),
  KEY `idx_START_ENDE_DT` (`START_DT`,`ENDE_DT`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;

DROP TABLE IF EXISTS `transaktiondetails`;
CREATE TABLE `transaktiondetails` (
  `SORT_ID` int(11) NOT NULL,
  `TRANSAKTION_ID` int(11) NOT NULL,
  `ID` int(11) NOT NULL,
  `PARENT_JOURNALNR` int(11) DEFAULT NULL,
  `JOURNALNR` int(11) DEFAULT NULL,
  `GEBUCHT_DT` timestamp DEFAULT NULL,
  `ABGERECHNET_DT` timestamp DEFAULT NULL,
  `ARTIKEL_NR` int(11) DEFAULT NULL,
  `ANZAHL` int(11) DEFAULT NULL,
  `PREIS` double DEFAULT NULL,
  `ILEVEL` int(11) DEFAULT NULL,
  `MODIFYER` int(11) DEFAULT NULL,
  `SOFORTSTORNO` double DEFAULT NULL,
  `RUECKNAHME` smallint(6) DEFAULT NULL,
  `STORNO` smallint(6) DEFAULT NULL,
  `MOD_NR` int(11) DEFAULT NULL,
  `MOD_TYPE` int(11) DEFAULT NULL,
  `MOD_FACTOR` int(11) DEFAULT NULL,
  `ISTAUSLAGE` smallint(6) DEFAULT NULL,
  PRIMARY KEY (`SORT_ID`,`TRANSAKTION_ID`,`ID`),
  KEY `idx_TRANSAKTION_ID` (`TRANSAKTION_ID`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;


DROP TABLE IF EXISTS `transaktionmwst`;
CREATE TABLE `transaktionmwst` (
  `SORT_ID` int(11) NOT NULL,
  `TRANSAKTION_ID` int(11) NOT NULL,
  `ID` int(11) NOT NULL,
  `PARENT_JOURNALNR` int(11) DEFAULT NULL,
  `JOURNALNR` int(11) DEFAULT NULL,
  `TIMESTAMP_DT` timestamp DEFAULT NULL,
  `ITYPE` int(11) DEFAULT NULL,
  `SUMME` double DEFAULT NULL,
  `TAX_ONLY` double DEFAULT NULL,
  `MWS_NR` int(11) DEFAULT NULL,
  PRIMARY KEY (`SORT_ID`,`TRANSAKTION_ID`,`ID`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
Das neue steht natürlich noch nicht fest, aber diese Art der Informationen müssen gespeichert & logisch verknüpft sein.

Greetz Data
Der Horizont vieler Menschen ist ein Kreis mit Radius Null, und das nennen sie ihren Standpunkt.
  Mit Zitat antworten Zitat
tsteinmaurer

Registriert seit: 8. Sep 2008
Ort: Linz, Österreich
530 Beiträge
 
#10

AW: Welche Server-DB bei großer Datenmenge

  Alt 4. Apr 2013, 15:38
MyISAM Storage Engine, d.h. du/ihr verwendet keine ACID-Transaktionen? Wäre in einem OLTP System IMHO etwas gefährlich, um in Inkonsistenzen rein zu laufen? Oder unterstützt MyISAM in neueren Versionen Transaktion? Hab da schon länger nicht mehr draufgeschaut.
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 2  1 2      


Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 09:08 Uhr.
Powered by vBulletin® Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024-2025 by Thomas Breitkreuz