Tabellengröße auf eine bestimmte Anzahl der Datensätze begrenzen???

[romber]

Hallo!

Ich habe in einer Tabelle über 3.000.000 Datensätze und täglich kommen weitere 150.000 hinzu. Ich möchte einen Auftrag erstellen, der ein Mal pro Tag ausgeführt wird und die ältesten Datensätze löscht bis es max. 2.000.000 Datensätze in der Tabelle bleiben. Wie mache ich das?
Vielen Dank!

[taveuni]

Z.B. eine Stored Procedure erstellen und diese direkt auf dem SQL Server zyklisch ausführen lassen.
via SQL Server Agent (MS Management Studio)

[romber]

Vielen Dank für die schnelle Reaktion!

Wie sieht dann die Abfrage aus?

[p80286]

Code:

delete from tabelle,(select max(id) maxid from tabelle) maxx where tabelle.id<maxx.maxid-200000

So ungefähr könnte man das machen.

gruß
K-H

[DeddyH]

Vielleicht in der Art

SQL-Code:

DELETE FROM Tabelle
WHERE ID NOT IN(
  SELECT 
    TOP 2000000 ID
  FROM 
    Tabelle
  ORDER BY ID DESC)

[Furtbichler]

Delete dauert sehr lange, lieber öfter, aber dafür in kleinen Häppchen. Auch bei der Auswahl, welche Daten denn gelöscht werden, würde ich aufpassen.

Wenn man z.B. immer die letzten 5000 löscht (die mit der jeweils kleinsten ID), dann hat man ein Problem, wenn die DB mal keine Daten entgegennimmt (Weihnachten z.B.), dann wird die ja immer kleiner, blöd.

Ich würde das so machen

Code:

create Procedure RemoveOldData 
  @MaxRecordsToKeep int,
  @BulkSizeToDelete int
as
declare @currentMax int
select @currentMax = max(ID) from BigTable -- ID is PK and identity
delete from BigTable 
 where ID in
   (select top (@BulkSizeToDelete) ID 
      from BigTable 
     where ID>@currentMax - @MaxRecordsToKeep
 -- order by ID 
 -- order by would be more accurate but a bit more time consuming
  )

Das passt einigermaßen, wenn, wie gesagt, ein INSERT meistens funktioniert (also ohne Rollback).

Aufruf dann (Zeitgesteuert, alle 5 minuten z.B. 150k pro Tag, alle 5 minuten löschen = ca. 500 recs alle 5 minuten)

Code:

-- keep 3 Mio recs and delete no more than 1000
RemoveOldData (3000000, 1000)

Mit der Zahl 1000 kann man spielen, um zu prüfen, wie lange das dauert.

[Perlsau]

Zitat von Furtbichler:

Delete dauert sehr lange, lieber öfter, aber dafür in kleinen Häppchen. Auch bei der Auswahl, welche Daten denn gelöscht werden, würde ich aufpassen. Wenn man z.B. immer die letzten 5000 löscht (die mit der jeweils kleinsten ID), dann hat man ein Problem, wenn die DB mal keine Daten entgegennimmt (Weihnachten z.B.), dann wird die ja immer kleiner, blöd.

Man könnte auch jedesmal, wenn ein neuer Datensatz angelegt wird, den mit der kleinsten Id oder dem ältesten Datum löschen. So bliebe die Anzahl der Datensätze immer gleich. Hat man eine zeitkritische Datensatz-Aufnahme (z.B. bei Software, die schnell aufeinanderfolgende Meßwerte protokolliert), geht das natürlich nicht, weil dabei die Percormance beeinträchtigt würde.

[Medium]

Wir haben das in einer Messwert-Tabelle mit 36 Messungen alle 10sec mit 30 Tage Vorhalt (=9.331.200 Sätze, da auch nachts und Feiertags gemessen werden muss) auch über feinschrittiges Löschen gemacht. Alle 5min setzt das eintragende Programm ein "DELETE FROM messwerte WHERE messzeit < SUBDATE(NOW(), INTERVAL 30 DAY)" absetzt. Die im Normalfall 1080 Stäze sind kaum spürbar schnell gelöscht. Das garantiert u.a. auch, dass bei Ausfällen der Messung nicht zu viel gelöscht wird. Für so etwas bietet es sich unbedingt an einen Timestamp des Eintragszeitpunktes eines Datensatzes mitzuführen. Ohne diesen dürften eigenltich nur zumindest wackelige Lösungen heraus kommen.

[Furtbichler]

Hatten wir auch. Bis die Maschine 30 Tage still stand. Da war die DB dann leer. Blöd, daher mein o.g. Ansatz, die ungefähr letzten x millionen zu behalten (ohne Timestamp).

Natürlich kommt es darauf an, ob man die letzten 30 Tage oder die letzten 5 Mio Werte behalten will.

[jobo]

Ich kenne die Lizenzvarianten von MSSQL nicht, aber evtl. ist auch Partitioning eine Möglichkeit. Dann läuft der ganze Prozess mehr oder weniger von allein und wahrscheinlich auch viel schneller.
2008 kann Partitioning, wie gesagt, ich weiß nicht, ob es einfach so in der Standardversion dabei ist. In Oracle bspw. ist es leider nur in der Enterprise Version als Zusatzoption zu kaufen.

http://msdn.microsoft.com/en-us/libr...ql.105%29.aspx
http://msdn.microsoft.com/en-us/libr...ql.105%29.aspx