TIBSQL vs isql-fb Shell

[mkinzler]

Zitat:

würde ich auf jeden Fall ersetzen durch

Und Warum? Um es noch langsamer zu machen?
Ich würde die Abfrage eher parametrisieren.

[hoika]

Hallo,
es geht doch (hier) um einen direkten Vergleich eines Delphi-Programmes und der Konsole.
Es wäre doch unfair gegenüber der Konsole, mit Prepare zu arbeiten

[stalkingwolf]

Zitat von mkinzler:

Zitat:

würde ich auf jeden Fall ersetzen durch

Und Warum? Um es noch langsamer zu machen?
Ich würde die Abfrage eher parametrisieren.

Das funktioniert in diesem Fall nicht. Es ist eine große ASCII Datei mit 10.000 SQL Befehlen ( insert ) die nur in der Schleife ausgeführt werden sollen.

Ich habe mittlerweile die meisten Performanceproblem Quellen gefunden.
Es war zum einen der mehrmalige Zugriff auf sql.text ( auch wenn es nur 50ms sind. Das mal 10.000 summiert sich und ich brauch das nachher eher in der 1.000.000 Region ).
Dann meine Logs welchen jede executetime in ein TMemo geschrieben hat zum auswerten.

Ich habe nun die reine Executezeit mit gettickcount davor und danach summiert und liege bei 11 Sekunden.

[Fritzew]

Wie sieht es mit den Transactions aus?
Starte eine Transaction explicit für Deine TIBSQL
nach dem ausführen natürlich das Commit nicht vergessen.

[hoika]

Hallo,
mir fehlt immer noch der Quellcode des Delphi-Programms.
Das ISQL arbeitet doch bestimmt so clever,
dass er die Inserts nicht jedesmal zusammenbaut,
sondern sich merkt, dass es der gleiche Befehl ist.
Inwiefern da Prepare's benutzt werden, weiß ich nicht.

Und noch mal meine Frage:
Laufen beide Programme auf dem gleichen Rechner?

[stalkingwolf]

Hier der Quellcode. Beispiel mit TIBQuery nicht TIBSQL

Code:

procedure TForm1.bbexecClick(Sender: TObject);
var i,j         : integer;
    q           : TIBquery;
    command,
    line        : string;
    start,summe,
    t1,t2       : cardinal;

begin

    if input.lines.text = '' then exit;
   
    ibdb.DatabaseName := edDatabase.Text;
    ibdb.Connected    := TRUE;
    ibtrans.Active    := TRUE;

    bbexec.enabled    := FALSE;

    sb1.Panels[0].Text := ibdb.DatabaseName;
    caption := application.Title + ' - '+ibdb.DatabaseName;

    q:=tibquery.create(nil);
    q.UniDirectional:=FALSE;
    q.database      :=ibdb;

    output.lines.Clear;

    pb1.Position    := 1;
    pb1.Max         := input.lines.count;
    command         := '';
    summe           := 0;

    output.lines.add(format('%s - %s : Starte',[datetostr(date),timetostr(now)]));
    start := gettickcount;
    for i := 0 to input.lines.count -1 do begin

        pb1.Position:=i+1;

        command:=command+input.lines[i];

        if pos(';',input.lines[i]) = 0 then continue;

        try
            command:=stringreplace(command,#13#10,'',[rfReplaceAll]);
            command:=stringreplace(command,#13,'',[rfReplaceAll]);
            command:=stringreplace(command,#10,'',[rfReplaceAll]);


            q.sql.text  := command;
            command     := '';
            t1          := GetTickCount;
            q.open;
            t2          := getTickcount;
            summe       := summe+(t2-t1);
            output.lines.add(format('EXEC Time : <%d>',[(t2-t1)]));

            if q.eof then begin
                output.lines.add('EOF : '+q.sql.text);
            end else begin

                while not  q.eof do begin
                    line:='';
                    for j:=0 to q.FieldCount -1  do begin
                        if j = 0 then line:=q.FieldList[j].AsString
                        else line:=line+';'+q.FieldList[j].AsString;
                    end;
                    output.lines.add(line);
                    q.next;
                end;
            end;

        except
            on e:exception do begin
                output.lines.add(e.message);
            end;
        end;

        q.close;
    end;

    output.lines.add(format('%s - %s : Dauer Programm : %s sec ',[datetostr(date),timetostr(now),floattostr((gettickcount-start) / 1000)]));
    output.lines.add(format('%s - %s : Dauer Execute  : %s sec ',[datetostr(date),timetostr(now),floattostr((summe) / 1000)]));

    if ibtrans.Active then ibtrans.CommitRetaining;


    output.lines.add(format('%s - %s : Ende ',[datetostr(date),timetostr(now)]));
    Application.ProcessMessages;

    q.free;
    bbexec.enabled:=TRUE;
    ibtrans.Active:=FALSE;
    ibdb.Connected:=FALSE;
end;

Bei dem durchführen auf dem gleichen Rechner (d.h Firebird unter Windows ). Ist der Unterschied 3(isql) zu 7(Delphi) Sekunden.

Letztendlich hat sich das ganze nun so gut wie geklärt. Ich habe nicht gedacht das die Interaktion mit der UI so extrem langsam ist. Ich habe dies nun auf einigen System (PC, VMWare Client, Hyper-V System ) getestet und es schwankt enorm.
Auf Hyper-V Systemen ist die Diskrepanz am größten.

[hoika]

Hallo,
sehr gut.

Zitat:

output

das ist ja jetzt hoffentlich eine Stringlist und kein Memo?

5 Sachen sehe ich.

Zitat:

q.UniDirectional:=FALSE;

True setzen, du willst in der Query doch nicht per Prior zurücklaufen.

Zitat:

pb1.Position:=i+1;

Wieder ein Oberflächenelement, was sich 10.000 neu zeichnet
mache lieber sowas wie

Delphi-Quellcode:

if (i div 100)=0 then
begin
  pb1.Position:=i+1;
end;

also nur jeden 100. Eintrag zeichnen.
Wenn Max auf 10.000 steht, fällt ein Pos+1 nicht auf.

Zitat:

q.open;

Das habe und den ganzen Block mit dem q.eof habe ich überhaupt nicht verstanden.
Ein Insert wird über q.ExecSQL ausgeführt.

Zitat:

GetTickCount

Du ermittelst die Laufzeit jedes einzelnen Inserts.
Also 20.000 GetTickCounts.

[stalkingwolf]

Mir war klar das der Quellcode an Stellen auseinander genommen wird die keine Relevanz haben.
Daher hatte ich ihn nicht gepostet.

Aber zu den 5 Punkten oben.
1.) unidirectional stand vorher auf TRUE. Macht keinen Unterschied.
2.) Resultat soll direkt sichbar sein. Macht aber keinen Unterschied.
3.) siehe 2.
4.) Das Programm führt nicht nur insert, delete sondern auch select aus. Falls es ein select ist, wird die Ausgabe ausgegeben. Daher open und nicht execquery. Macht in meinen Test aber keinen Unterschied.
5.) Das ist doch der ganze Sinn der Sache.

@mkinzler
Siehe Punkt 3 und es ist ein gezielter Performancetest auf viele SQL Anweisungen.

[mkinzler]

Warum führst Du das gesammte Skript nicht komplett aus und zerlegst es in einzelne Abfragen?