Moin, ist jemandem etwas aufgefallen, ob bei DataSnap mehr Daten ankommen, als man weg schickt?
Problem:
Bei uns kommen alle Text-Felder bis zu 4 Mal so groß beim Clienten an, als sie der Server bekommt.
xxx im Server-
Query wird zu xxx im Client-
Query
* VARCHAR(1) -> TWideStringField(10)
* VARCHAR(30) -> TWideStringField(126)
* VARCHAR(100) -> TWideStringField(402)
Da wir damals Probleme mit MEMOS/BLOBS hatten, wo sich DataSnap weigerte die übertragen zu wollen, hatten wir TDBXDataSetReader.CopyReaderToDataSet kopiert und etwas abgeändert.
Dort wird aus TEXT (TDBXDataTypes.BlobType+TDBXSubDataTypes.MemoSubTy
pe) ein TDBXDataTypes.WideStringType mit Länge 5000 gemacht, aber sonst ist alles gleich.
Bei dem WideStringType(5000) wird die Länge aber nur verdoppelt und nicht vervierfacht
* VARCHAR(5000) -> TWideStringField(10002)
Also scheinbar wird einmal vor und nach TDBXDataSetReader.CopyReaderToDataSet jeweils verdoppelt.
Ob das Nachher serverseitig oder clientseitig passiert, weiß ich noch nicht.
Serverseitig gibt es eine Reihe gecashte DataSets, die bei Abfrage kopiert werden und die Kopie wird dann von DataSnap mittels TDBXDataSetReader übertragen und freigegeben.
Der Apps hat quasi so eine Methode function GetDataSet(QueryName: String): TDBXDataSetReader;
und im Client wird dann wieder mit TDBXDataSetReader.CopyReaderToDataSet der Inhalt in ein TClientDataSet kopiert.
Zusätzlich werden dabei noch clientabhängig serverseitig sowas wie CalcFields angehängt und gefüllt, bzw. Datensätze rausgefiltert (nicht mit kopiert), beim Umkopieren innhalb von CopyReaderToDataSet.
Das hat aber alles keinen Einfluss auf die meisten VARCHAR-Felder, welche sich dennoch einfach so vergrößern.
Das Problem ist jedenfalls, daß wir nun im Client ein Dataset haben, das bei einem Kunden teilweise 500 MB belegt und es dann beim Scannen knallt, wenn auch noch ein größeres Bild in den
RAM rein möchte.
In meinem Test sind das z.B. 3 TEXT, welche bei 2000 Datensätze über 120 MB
RAM verschwenden. 10000*2 * 3 * 2000 = 120.000.000 , zuzüglich der anderen Spalten im
SQL, wo die VARCHAR auch 4 Mal so groß sind.
Ist das ein allgemeines Problem, welches eventuell schon bekannt ist?
Bevor ich hier weiter viele Stunden in DataSnap versenke und versuche das zu finden.