Moin zusammen,
ich habe eine
CSV Datei, die täglich erstellt wird und rund 100.000 Zeilen hat. Ich möchte die Daten in eine MS
SQL DB schreiben, um Sie später besser zu verarbeiten.
Meine erste Idee war, immer die vorhandene Daten in der
DB löschen und dann die neuen Daten in der
DB schreiben. Das hat aber zur Folge, dass sich mein Primärschlüssel rapide erhöht und schnell an seine Grenzen stößt und überläuft.
Meine zweite Idee war, jeden Datensatz aus der Datei mit den Daten aus der
DB zu vergleichen und ggf. ein Update oder Insert durchzuführen und das aktuelle Datum mit zu speichern. Nach dem Einlesen wird dann kontrolliert, welche Datensätze in der
DB kein aktuelles Datum hat und wird gelöscht.
Ich tendiere zur 2. Idee. Leider sind die Kriterien für ein Update oder ein Insert nicht immer genau definiert. Es gibt keine eindeutige Identifikation.
Habt Ihr eventuell noch andere Idee, wie man am geschicktesten die Daten in die
DB bekommt?
Vielen Dank im Voraus.
Sven