Firedac als JSON ohne Feldbezeichner exportieren

[mytbo]

Zitat von Kostas:

Jetzt dache ich, ich durchlaufe die Query und exportiere die Daten ohne die Feldbezeichner einfach als Array von Werten.

Wenn ich dich richtig verstehe, hast du direkten Zugriff auf die FireDAC Query. Wenn es nur auf die Größe der JSON-Datei ankommt, dann packe sie. Ist dir die Struktur wichtig, kannst du es mit mORMot2 einfach erledigen. In mORMot gibt es verschiedene Wege. Weil ich einige Varianten schon in Artikeln oder Post im Forum vorgestellt habe, kommt heute mORMot TDynArray zum Einsatz. Es umhüllt alle Arten von dynamischen Arrays und stellt ca. 80 Eigenschaften und Funktionen für die Bearbeitung bereit. Egal ob es sich um ein array of Integer , array of String oder array of "record" handelt. TDynArray selbst hat keine Daten! Für die Lösung der Aufgabe wird ein array of array of Variant definiert. Dieser Typ reicht für die Aufgabe, weil jeder Datensatz, als auch die Anzahl der Datensätze handhabbar sind. Als Benchmark: Der Aufbau der Liste und die JSON Serialisierung für 1M Datensätze im gewünschten Format benötigt ca. 0,5 Sekunden. An der Gesamtlaufzeit ist dieser Teil vernachlässigbar klein. Entscheidend ist, wie schnell die Query die Daten liefert. In den Benchmarks schlägt sich FireDAC durchschnittlich. Wenn die Datenbank vor Ort ist, werden es geschätzt 50K Datensätze pro Sekunde bestimmt sein. Damit ist die Aufgabe in ca. 10 Sekunden erledigt. Den folgenden Quelltext habe ich aus den Kopf geschrieben, weil ich schon länger die mORMot Connection Klassen und nicht die Delphi Vorgehensweise nutze.

Delphi-Quellcode:

uses
  mormot.core.base,
  mormot.core.data,
  mormot.core.text,
  mormot.core.perf,
  mormot.core.os;

type
  TVariantDynArrayDynArray = array of array of Variant;

var
  idxPersonID, idxName, idxTitel, idxVorname, idxGeburtsdatum, idxPersonalNr, idxEintrittsjahr, idxFachNr, idxFach: Integer;
  dynArr: TDynArray;
  arrItem: TVariantDynArray;
  arrList: TVariantDynArrayDynArray;
  arrListCount: Integer;
  timer: TPrecisionTimer;
begin
  idxPersonID := qrPersonen.FindField('PERSONID').Index;
  idxName := qrPersonen.FindField('NAMEN').Index;
  idxTitel := qrPersonen.FindField('TITEL').Index;
  idxVorname := qrPersonen.FindField('VORNAME').Index;
  idxGeburtsdatum := qrPersonen.FindField('GEBURTSDATUM').Index;
  idxPersonalNr := qrPersonen.FindField('PERSONALNR').Index;
  idxEintrittsjahr := qrPersonen.FindField('EINTRITTJAHR').Index;
  idxFachNr := qrPersonen.FindField('FACHNR').Index;
  idxFach := qrPersonen.FindField('FACH').Index;

  dynArr.Init(TypeInfo(TVariantDynArrayDynArray), arrList, @arrListCount);
  dynArr.Capacity := 1 shl 18;
  SetLength(arrItem, 10);

  timer.Start;
  qrPersonen.First;
  var run: Integer := 1;
  while not qrPersonen.EoF do
  begin
    arrItem[0] := run;
    arrItem[1] := qrPersonen.Fields[idxPersonID].AsLargeInt;
    arrItem[2] := qrPersonen.Fields[idxName].AsString;
    arrItem[3] := qrPersonen.Fields[idxTitel].AsString;
    arrItem[4] := qrPersonen.Fields[idxVorname].AsString;
    arrItem[5] := qrPersonen.Fields[idxGeburtsdatum].AsString;
    arrItem[6] := qrPersonen.Fields[idxPersonalNr].AsString;
    arrItem[7] := qrPersonen.Fields[idxEintrittsjahr].AsInteger;
    arrItem[8] := qrPersonen.Fields[idxFachNr].AsLargeInt;
    arrItem[9] := qrPersonen.Fields[idxFach].AsString;
    dynArr.Add(arrItem);
    Inc(run);

    qrPersonen.Next;
  end;

  FileFromString(dynArr.SaveToJson, MakePath([Executable.ProgramFilePath, 'data.json']));
  ShowMessage(timer.Time);

Solltest du die mORMot Lösung umsetzen, würde ich mich über eine Rückmeldung mit Benchmark (DB, CPU, SSD Anbindung und Geschwindigkeit) Laufzeit freuen.

Bis bald...
Thomas