Ergebnis der Suchanfrage

• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 12. Jun 2013
  Jein. Die Verarbeitung 100%, aber dem SQL mal die BüroWARE-Logik zu erklären, warum manche Sätze leer sind, manche Sätze vom Programmierer für "andere" Zwecke mißbraucht wurden etc... Ich weiss warum was wo steht und in Delphi kann ich's gut abhandeln. Den SQL jetzt so zu erlernen dass ich schlafwandlerisch wie in Delphi fuhrwerken kann wird wahrscheinlich net sein. Abgesehen davon: Der gute Mann...
• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 11. Jun 2013
  JoJo, mein Fehler, hab beim ersten Mal drüberlesen gedacht: Geil, XML und gut ist. Aaaaber, nach intensiver Lektüre auf der MSDN-Seite hab ich eben folgendes gezimmert:
  
  TEXTDatei lesen (und die leeren / unnötigen Sätze filtern)
  Ergebnis in Textdatei - die hat nur 'sinnvollen' Inhalt, ist fixedlength
  Aus meinem Array mit Beginn / Länge und Feldname ein XML für fixedLength ausgeben (Der Import...
• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 11. Jun 2013
  Für die Interessierten: Hab BULK ausprobiert, der glatte Wahnsinn...
  
  Lesen der Positionsdatei und Ausgeben der Sätze (nur die Sinnvollen, ohne Umwandlungen) dauert ca. 5 Minuten. Import via BULK, naja, 10 Sekunden? Wenn überhaupt. Demgegenüber waren's vorher ca. 7 Stunden...
  
  So, ab an das XML-Schreiben...
  
  GLG, Erwin
• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 11. Jun 2013
  Mal herzlichen Dank an alle 'entfernten Mitarbeiter'! Für die kleineren Dateien (bis 20.000 Sätze) pfeift's so eh... Leider geht mir (da ich hier bei mir nur einen Express im Einsatz hab) danach schon bei den Belegen die Luft aus und er wird wieder extrem langsam... Sehr seltsam. Die Artikel (10.038 Records) sind - vielleicht auch gechached? - in 31 Sekunden in der DB, die Adressen (mit 19.000...
• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 10. Jun 2013
  Oh Mann... das glaub' ich einfach alles nicht mehr...
  
  Also zuerstmal ganz wesentlich (das hab ich in den letzten Minuten durch Probieren herausgefunden):
  
  var
  vNull: variant; //Da nicht initiiert wird bleibt die NULL!
  
  und meinen Code hab ich zu
  
  if (sVA<>'') or (regFillAll) then //WENN WAS ZU SCHREIBEN IST
• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 10. Jun 2013
  Das war mein erster Optimierungsschritt. Wenn ich die ReadFile-Routine aufrufe bastel ich als erstes das SQL-Statement 'INSERT INTO' + TableName und so und dann 2 Strings, der Erste mit den Feldnamen und der Zweite mit ':0001, :0002' etc... Hat schon viel gebracht!
  
  Jetzt hab ich folgendes gebaut:
  
  sVA:=aSQLVals.sValue; //STRING, WHAT ELSE
  if (sVA<>'') or...
• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 10. Jun 2013
  Hab grad die Änderung eingepflegt, jetzt lautet die Zeile
  
  DBqu.Parameters.Value:=sVA;
  
  
  
  Ein kurzer Test über Artikelstamm hat ergeben: statt 7 Minuten nur mehr 1:30!!!!!!!!!! WOW!!! Das kann was!
  
  :thumb::thumb::thumb:
• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 10. Jun 2013
  Meine Entwicklungsumgebung läuft tutto completto auf einem Mac Mini mit 16GB. Darauf rennen diverse VM's, 1 x die XP-Entwicklerkiste mit D7 und auf einer anderen VM der SQL... Das ganze auf einer SSD. Also quasi local...
  
  
  Die Feldnamen hab ich ja in einem Array (aBWVars), wenn ich Dich richtig verstehe sollte ich mein ParamByName(aBWVars.sNum) durch die Zugriffsvariable (also das i) ersetzen?...
• Forum: Datenbanken

  AW: Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 10. Jun 2013
  Danke, lieber Freund! Jetzt hast' mir einen zweiten Schlauch zum draufsteigen hergelegt :lol:
  
  Ich hab von dem Dir genannten Teil genau NULL (und ich meine nicht das gute SQL NULL, das 'wir kennen den Zustand nicht' NULL) Ahnung, von daher wäre das wahrscheinlich Overkill? Ich mein, im Prinzip bin ich am Weg, nur denke ich mir dass es einen 'Mittelweg' geben sollte, also zwischen 7 Minuten und...
• Forum: Datenbanken

  Grosse Datenmengen in SQL einfügen - Tuning?

   
    by Joerginger, 10. Jun 2013
  Hallo liebe DP-Profis,
  
  ich bastel seit geraumer Zeit an einem ZusatzTool zu unserem ERP-System herum, das Daten aus (fixed-length) Text"Dateien" in MS-SQL-Tabellen abbilden soll... Und bis auf kleine Problemchen läufts auch, theoretisch, aber natürlich nicht so performant, wie ich mir das vorstelle. Die Textfiles beinhalten pro Datensatz bis zu 530!!! Felder, und z.B. im Belegstamm haben wir...