Was mache ich wenn meine Tabelle voll ist?

[Sir Rufo]

Auch wenn ich jetzt gleich Haue kriege, aber mit einer Zwischenschicht (hatten wir ja erst kürzlich) ist es schon wieder wurstegal, ob es diese Beschränkung auf der DB gibt.

Man bringt der Zwischenschicht bei, damit umzugehen entweder durch den Tausch der Datenbank oder entsprechendes Handling mit mehreren Tabellen.

[jobo]

DIE Zwischenschicht muss dann aber ALLES abfackeln, was rund um die Befüllung noch so ansteht. Weiß nicht, ob sowas effizient umsetzbar ist.
Wie verträgt sich das mit meinen Olap tools usw..?
Abgesehen davon, dass Dich ggF. die Admins erschlagen, die dann die Backups nach zusätzlichen kriterien verwalten müssen.
Ein RDBMS was da keine Beschränkungen hat und über Partitioning verfügt, ist sicher der bessere Ansatz.
Aufbewahrungszeiten von 10 Jahren sind eigentlich Industriestandard, beispielsweise bei sicherheitsrelevanten Komponenten (Airbag, Bremse, ..)

[Sir Rufo]

Hmmm, beim Pizzabringdienst interessiert es mich nicht, mit welchem Auto die vorbeikommen, allerdings glaube ich zu 100% zu wissen, dass bei einer anstehenden Reparatur oder Wartung an den Fahrzeugen weder ich noch die Pizza-Bestell-Hotline bemüht wird. Gleiches gilt für den Pizza-Ofen.

Also die Zwischenschicht legt die Daten in irgendeinem Datengrab ab. Für mich abstrakt für die Zwischenschicht konkret. Und dieses konkrete Datengrab wird gesichert. Die Zwischenschicht ist beim Sichern zu 0,00% involviert.

Und weil die Zwischenschicht nichts speichert muss da auch nichts gesichert werden (keine Daten in dem Sinne).

Maximal bekommt die Zwischenschicht die Info, dass jetzt nur ein lesender Zugriff möglich ist oder die Zwischenschicht signalisiert "bitte jetzt nicht sichern".

[jobo]

Zitat von Sir Rufo:

Hmmm, beim Pizzabringdienst interessiert es mich nicht, mit welchem Auto die vorbeikommen, allerdings glaube ich zu 100% zu wissen, dass bei einer anstehenden Reparatur oder Wartung an den Fahrzeugen weder ich noch die Pizza-Bestell-Hotline bemüht wird. Gleiches gilt für den Pizza-Ofen.

Schönes Beispiel.
Im Prinzip finde ich es ja ok, wenn die Zwischenschicht transparent ist. Aber wie transparent ist es denn? SQL Zugriff usw alles unproblematisch?

Mir fehlt die Kenntnis/Phantasie, wie es mit mehr als 2Mrd bestellten Pizzen aussieht. Und das sind ja noch zuwenig. Die vom Lieferdienst müssen dann irgendwie einen LKW nehmen, ok, ihr Problem. Ich brauch ggF. etwas Platz zum Einlagern, bevor ich sie gegessen habe.
Also an dem Bestellvorgang hat sich nichts geändert, die Umsetzung dürfte sich aber erheblich unterscheiden.
Und in dem Thread hier geht es ja um die Umsetzung und nicht um die Nutzung des coolen Produkts, das es mal werden soll.

Es kommt finde ich etwas auf die Anwendung an. Wenn es Tagesgeschäft ist, 2mrd ++ Datensätze durch die Gegend zu wuppen, muss das schon gut gemacht sein.
Ich sehe das einfach so, nichts ist so performant wie die direkte Nutzung eines DB Servers.
Das Kernproblem bspw. von dwh / olap Software ist immer der initiale Datentransfer und dann die Fortschreibung oder immer wieder neu usw.(bei großen Mengen natürlich).

[Dejan Vu]

Für mich ist z.B. ein OLAP-Cube auch eine Zwischenschicht, denn -ehrlich gesagt- habe ich keine Ahnung, woher die Daten kommen. Ich frage ab und bekomme meine Antworten in unglaublicher Zeit.

Ich habe mit Palo gespielt, und es als genau das angesehen, was Sir Rufo beschreibt, nämlich ein Tool, um Daten zu abstrahieren und aufbereitet anzuzeigen. Eine Zwischenschicht muss ja nicht notwendigerweise eine real existierende Blackbox sein. Eine Zwischenschicht ist -für mich zumindest- eine Abstraktion der dahinterliegenden Daten. Das kann eine Familie von Views und stored procedures sein, virtuelle Tabellen, ein App-Server (RDBMS <--> JSON/XML) oder ein Cube.

[hstreicher]

Beim Datenbank Design ist aber auch der Verwaltungsoverhead pro Datensatz nicht zu unterschätzen
ich würde bei dieser Menge an Daten immer versuchen mehrere in einen Datensatz zusammenzufassen

ein ähnliches Problem wurde hier schon diskutiert

http://www.delphipraxis.net/180224-f...nkgroesse.html

[p80286]

Zitat von Sir Rufo:

Also die Zwischenschicht legt die Daten in irgendeinem Datengrab ab. Für mich abstrakt für die Zwischenschicht konkret. Und dieses konkrete Datengrab wird gesichert. Die Zwischenschicht ist beim Sichern zu 0,00% involviert.

Und weil die Zwischenschicht nichts speichert muss da auch nichts gesichert werden (keine Daten in dem Sinne).

Maximal bekommt die Zwischenschicht die Info, dass jetzt nur ein lesender Zugriff möglich ist oder die Zwischenschicht signalisiert "bitte jetzt nicht sichern".

Hübscher Ansatz, dann tritt aber die Ausgangsfrage nicht auf, da es um "irgendein Datengrab" und nicht mehr um eine konkrete Tabelle in einem konkreten DB-System geht.

Gruß
K-H

P.S. "hübsch" ist nicht ironisch gemeint!

[Sir Rufo]

Zitat von p80286:

Zitat von Sir Rufo:

Also die Zwischenschicht legt die Daten in irgendeinem Datengrab ab. Für mich abstrakt für die Zwischenschicht konkret. Und dieses konkrete Datengrab wird gesichert. Die Zwischenschicht ist beim Sichern zu 0,00% involviert.

Und weil die Zwischenschicht nichts speichert muss da auch nichts gesichert werden (keine Daten in dem Sinne).

Maximal bekommt die Zwischenschicht die Info, dass jetzt nur ein lesender Zugriff möglich ist oder die Zwischenschicht signalisiert "bitte jetzt nicht sichern".

Hübscher Ansatz, dann tritt aber die Ausgangsfrage nicht auf, da es um "irgendein Datengrab" und nicht mehr um eine konkrete Tabelle in einem konkreten DB-System geht.

Gruß
K-H

P.S. "hübsch" ist nicht ironisch gemeint!

Die Frage taucht dann schon auf, allerdings mit einem erheblich größerem Entscheidungsspielraum, da nur die Zwischenschicht intern anders werkeln muss. Den Aufwand darf man dann selber bestimmen.

Für die Benutzer der Zwischenschicht ändert sich nichts. Das macht den Ansatz ja so charmant.

[Dejan Vu]

Nur mal so: Welchen Sinn hat die Zwischenschicht, außer den konkreten Speicher zu verbergen bzw. abstrahieren?