AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Datenbanken Große Datenmengen in MySql

Große Datenmengen in MySql

Ein Thema von Ykcim · begonnen am 21. Dez 2012 · letzter Beitrag vom 23. Dez 2012
Antwort Antwort
Ykcim

Registriert seit: 29. Dez 2006
Ort: NRW
639 Beiträge
 
Delphi XE5 Professional
 
#1

Große Datenmengen in MySql

  Alt 21. Dez 2012, 17:06
Datenbank: MySQL • Version: 5 • Zugriff über: UniDac
Hallo Zusammen,

ich habe eine Frage, für die ich keine schöne Lösung habe. Ich habe eine Datenbank mit mehreren Tabellen, in denen 60. Datensätze und mehr enthalten sein können. Diese Daten kommen aus einem ERP-System und werden alle 30 min aktualisiert.
Bei diesem Aktualisierungsvorgang werden die Daten zuerst via "Load data infile in den MySQL Server geschoben. Anschließend hole ich die Daten wieder heraus, um sie zu bereinigen, zusätzliche Spalten anzulegen und verschiedene Berechnungen durchzuführen. Das ganze ist schon eine aufwendige Procedure. Wenn ich aber dann diese Daten wieder zurück in den Datenbankserver schiebe, erstelle ich heute erst wieder eine CSV-Datei und schiebe diese dann via "load data infile" in den MySQL Server.

Diese Lösung gefällt mir aber nicht wirklich. Die Procedure läuft zwar schon seit einem Jahr ohne Probleme aber ich möchte das Programm gerne verbessern. Daher habe ich mir jetzt die UniDac Komponenten zugelegt.

Mich interessiert, wie Ihr das macht, wenn Ihr viele Daten (bei mir sind die vorher in einem Array of Array of String) wieder in den MySQL Server schreiben wollte.

Vielen Dank
Patrick
Patrick
  Mit Zitat antworten Zitat
Benutzerbild von Bernhard Geyer
Bernhard Geyer

Registriert seit: 13. Aug 2002
Ort: Oberreichenbach
16.455 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#2

AW: Große Datenmengen in MySql

  Alt 21. Dez 2012, 18:50
..., in denen 60. Datensätze

Mich interessiert, wie Ihr das macht, wenn Ihr viele Daten (bei mir sind die vorher in einem Array of Array of String) wieder in den MySQL Server schreiben wollte.
60 Datensätze? Das sollen viel sein

Spaß beiseite. Einfach passendes "INSERT INTO ...." als prepared Statement zusammenbauen (Wenn wirklich viele Datensätze sein können auch gleich als Multi-Insert aufbauen

Code:
INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);
(Beispiel jetzt noch ohne Parameter und ratz fatz sind die Daten mit >> 10.000 und mehr Datensätze/Minute in der Datenbank.
Windows Vista - Eine neue Erfahrung in Fehlern.
  Mit Zitat antworten Zitat
Ykcim

Registriert seit: 29. Dez 2006
Ort: NRW
639 Beiträge
 
Delphi XE5 Professional
 
#3

AW: Große Datenmengen in MySql

  Alt 21. Dez 2012, 22:40


Sorry, ich meinte 60.000 Datensätze. Den Punkt habe ich noch gemacht, aber dann die Nullen vergessen...
Patrick
  Mit Zitat antworten Zitat
Benutzerbild von Bernhard Geyer
Bernhard Geyer

Registriert seit: 13. Aug 2002
Ort: Oberreichenbach
16.455 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#4

AW: Große Datenmengen in MySql

  Alt 21. Dez 2012, 23:04


Sorry, ich meinte 60.000 Datensätze. Den Punkt habe ich noch gemacht, aber dann die Nullen vergessen...
60.000 ist auch noch keine große Datenmenge.

Darfst du die Statistiken nicht mit der ERP-Datenbank fahren?
Wäre es evtl. möglich per Replikation die Daten ins eigene DBMS zu bekommen?
Windows Vista - Eine neue Erfahrung in Fehlern.
  Mit Zitat antworten Zitat
Benutzerbild von Sir Rufo
Sir Rufo

Registriert seit: 5. Jan 2005
Ort: Stadthagen
9.454 Beiträge
 
Delphi 10 Seattle Enterprise
 
#5

AW: Große Datenmengen in MySql

  Alt 21. Dez 2012, 23:54
Man muss aber noch dazu sagen, dass der CSV Import so mit das Schnellste ist.

Alles andere ist langsamer
Kaum macht man's richtig - schon funktioniert's
Zertifikat: Sir Rufo (Fingerprint: ‎ea 0a 4c 14 0d b6 3a a4 c1 c5 b9 dc 90 9d f0 e9 de 13 da 60)
  Mit Zitat antworten Zitat
Ykcim

Registriert seit: 29. Dez 2006
Ort: NRW
639 Beiträge
 
Delphi XE5 Professional
 
#6

AW: Große Datenmengen in MySql

  Alt 22. Dez 2012, 00:12
Es handelt sich unter anderem um Fertigungsauftragsdaten, die mit Kundenbedarfen abgeglichen werden und für die Produktionsplanung und die Terminverfolgung verwendet werden. Es geht dabei nicht um Statistiken.

Der CSV import ist das Schnellste?

Mmh, das habe ich nicht gewusst. Ich finde es eine unschöne Lösung, wenn ich nach der Bearbeitung der Daten eine CSV erstelle, diese einlese und dann wieder lösche...
Ist das am Ende gar keine Krücke, sondern ein Verfahren, dass Sinn macht?
Patrick
  Mit Zitat antworten Zitat
Medium

Registriert seit: 23. Jan 2008
3.473 Beiträge
 
Delphi 2007 Enterprise
 
#7

AW: Große Datenmengen in MySql

  Alt 22. Dez 2012, 01:08
So lange du nicht direkt in der DB bzw. in kopierten Tabellen der DB im selben Server arbeiten kannst/darfst, würde ich auch sagen, dass das zumindest was die Geschwindigkeit angeht mit das beste ist was ich kenne.
"When one person suffers from a delusion, it is called insanity. When a million people suffer from a delusion, it is called religion." (Richard Dawkins)
  Mit Zitat antworten Zitat
Benutzerbild von alcaeus
alcaeus

Registriert seit: 11. Aug 2003
Ort: Dietersheim b. München
6.536 Beiträge
 
#8

AW: Große Datenmengen in MySql

  Alt 23. Dez 2012, 22:22
Hi,

je nachdem wie du die Daten verarbeitest (ich hab den Weg der Daten noch nicht ganz mitgekriegt) solltest du dir auch mal INSERT ON DUPLICATE angucken. Ist ein MySQL-spezifischer Befehl, der kurz gesagt einen Insert versucht und bei einer Key Violation ein entsprechendes Update ausfuehrt.
Was ich mich frage: wo kommen die Daten urspruenglich her wenn du sie per CSV importierst? Eine andere Datenbank? Eventuell solltest du dann mit ner Replikation (d.h. die Datenbank noch zusaetzlich auf einem zweiten Server vorhalten, wird automatisch aktualisiert) und Triggern arbeiten. Dann koenntest du auf eine Veraenderung der Daten direkt reagieren.

Greetz
alcaeus
Andreas B.
Die Mutter der Dummen ist immer schwanger.
Ein Portal für Informatik-Studenten: www.infler.de
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 05:51 Uhr.
Powered by vBulletin® Copyright ©2000 - 2019, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2019 by Daniel R. Wolf