AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Datenbanken Benötigte Zeit für einen Abfrage

Benötigte Zeit für einen Abfrage

Ein Thema von Dumpfbacke · begonnen am 27. Dez 2013 · letzter Beitrag vom 28. Dez 2013
Antwort Antwort
Seite 2 von 2     12
Furtbichler
(Gast)

n/a Beiträge
 
#11

AW: Benötigte Zeit für einen Abfrage

  Alt 28. Dez 2013, 11:38
Erfahrungsgemäß interessiert es doch keine Sau, wie so etwas im Detail funktioniert, solange es funktioniert. Die Standardlösung ist immer , den fehlenden Index einzubauen und fertig.
Rischtisch. Es interessiert die meisten Säue nicht. Mich als Klugscheißersau schon. Dank deiner Erklärung habe ich mir mal das Verhalten vom SQL-Server genauer angeschaut und mal wieder dazugelernt, wie unterschiedlich MSSQL und FB sind (und zwar nur, was den Optimizer anbelangt).
  Mit Zitat antworten Zitat
Benutzerbild von IBExpert
IBExpert

Registriert seit: 15. Mär 2005
642 Beiträge
 
FreePascal / Lazarus
 
#12

AW: Benötigte Zeit für einen Abfrage

  Alt 28. Dez 2013, 13:45
Weil für die zweite Abfrage kein passender Index verfügbar ist
Erstelle dir einen Index der beide Felder beinhaltet, dann sollte das fixer gehen
nein, Firebird kombiniert in einem SQL pro Tabelle auch mehrere Einzelindizes, wenn das sinnvoll
erscheint. Die beiden Einzelindizes sind also durchaus korrekt.

Über welche Zeitunterschiede und welche Datenmengen reden wir denn eigentlich.

Der IN Operator ist nicht schneller als die die OR Implementation, das sieht man am Plan, der für beide
Varainten meistens identisch ist.

Wenn solche Abfragen bei dir Standard sind, dann kann es ggf sogar sinnvoll sein, das du auf
Feld 2 gar keinen Index hast, dann muß Firebird in der Ergebnismenge auf Feld1 einen Tablescan
machen. Solche Probleme treten aber erst bei sehr großen Datenmengen wirklich relevant auf.
Holger Klemt
www.ibexpert.com - IBExpert GmbH
Oldenburger Str 233 - 26203 Wardenburg - Germany
IBExpert and Firebird Power Workshops jederzeit auch als Firmenschulung
  Mit Zitat antworten Zitat
Dumpfbacke

Registriert seit: 10. Mär 2005
Ort: Mitten in Deutschland
328 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#13

AW: Benötigte Zeit für einen Abfrage

  Alt 28. Dez 2013, 14:11

nein, Firebird kombiniert in einem SQL pro Tabelle auch mehrere Einzelindizes, wenn das sinnvoll
erscheint. Die beiden Einzelindizes sind also durchaus korrekt.

Über welche Zeitunterschiede und welche Datenmengen reden wir denn eigentlich.

Der IN Operator ist nicht schneller als die die OR Implementation, das sieht man am Plan, der für beide
Varainten meistens identisch ist.

Wenn solche Abfragen bei dir Standard sind, dann kann es ggf sogar sinnvoll sein, das du auf
Feld 2 gar keinen Index hast, dann muß Firebird in der Ergebnismenge auf Feld1 einen Tablescan
machen. Solche Probleme treten aber erst bei sehr großen Datenmengen wirklich relevant auf.
Die Datenmenge ist leider etwas größer. Das Ergebnis beinhaltet 19 Treffer und die Tabelle enhält leider 192585 Datensätze.

EIn in geht auch nicht schneller dieses habe ich bereits geprüft. Das ein Or jeodch so lange dauert hätte ich nicht erwartet.

Tanja
Tanja
  Mit Zitat antworten Zitat
Benutzerbild von Union
Union

Registriert seit: 18. Mär 2004
Ort: Luxembourg
3.487 Beiträge
 
Delphi 7 Enterprise
 
#14

AW: Benötigte Zeit für einen Abfrage

  Alt 28. Dez 2013, 14:16
Also unter 200k Sätze ist ja nicht wirklich groß. Ist das die komplette Query oder nur der "Kern"? Hängen da in der Realität noch Joins dran? Und von welchen Laufzeiten (in ms) sprechen wir hier? Wird das einmalig oder in einer Schleife aufgerufen?
Ibi fas ubi proxima merces
sudo /Developer/Library/uninstall-devtools --mode=all
  Mit Zitat antworten Zitat
Dumpfbacke

Registriert seit: 10. Mär 2005
Ort: Mitten in Deutschland
328 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#15

AW: Benötigte Zeit für einen Abfrage

  Alt 28. Dez 2013, 14:55
Also unter 200k Sätze ist ja nicht wirklich groß. Ist das die komplette Query oder nur der "Kern"? Hängen da in der Realität noch Joins dran? Und von welchen Laufzeiten (in ms) sprechen wir hier? Wird das einmalig oder in einer Schleife aufgerufen?
Leider hast du hier recht. Ich war mir sicher das ich die Join auskomentiert hatte und es wurde nicht schneller. Es kommt also von dem leider sehr komplexen Join. Oh man ab und zu steht man einfach auf dem Schlauch und sucht am falschen Ende.

Ich versuchen hier mal alles Darzustellen:

Tabelle 1:
Delphi-Quellcode:
Feld1 VarChar(3)
Feld2 VarChar(40)
Feld3 VarChar(40)
BNummer VarChar(12)
und noch viele weitere Felder
Es ist auf jedem Feld von oben ein Index

Tabelle2:
Delphi-Quellcode:
AAZaehler Numeric (9,0)
AAStatus CarChar(13)
BNummer VarChar(12)
Kriterium VarChar(35)
und noch viele weitere Felder
Es ist auf jedem Feld ein Index und auf dem AAZaehler noch ein DESC Index wegen dem Maxwert

So sieht nun mein Select Aus
Delphi-Quellcode:

....
From Tebelle1
Left Outer join Tabelle2 on (Tabelle1.BNummer = Tabelle2.BNummer and
                            Tabelle2.aazaehler = (Select Max(AAZaehler) from Tabelle2 AA where AA.BNummer = Tabelle1.BAnummer and
                            AA.Kriterium = 'IDand AA.AAStatus <> 'Erledigt' ))
Where Tabelle1.Feld1 = '4EEand (Tabelle1.Feld2 = 'Frankfurtor Tabelle1.Feld2 = 'München'
Ich muss leider der Join so machen auf jeden Fall aus meiner Sicht. Eventuell kann es ja jemand besser und gibt mir einen Tip.

Ich beschreibe es mal in Worten
Ich möchte alle Datensätze aus der Tabelle1 haben bei dem im Feld1 4EE und im Feld2 Frankfurt oder München steht. Des weiteren soll noch ein Spalte (AAZaehler) aus der Tabelle2 kommen. Hier ist nun mein Problem. Es können in der Tabelle mehrere Datensätze mit den Kriteren sein. Ich möcht den mit dem größten AAZaheler.

Inhalt der Tabelle2
Delphi-Quellcode:
AAZaehler AAStatus Kriterium BNummer
1 Erledigt ID 1
2 Offen ID 1
3 Neu ID 1
4 Erledigt ID 1
5 Neu AA 2
Es sollte also bei dem Select aus der Tabelle2 der AAZaehler 3 und nur diser herauskommen.

Danke schon einmal und Entschuldigung das ich Euch zuerst in die falsche Richtung geschickt habe.

Tanja
Tanja

Geändert von Dumpfbacke (28. Dez 2013 um 16:33 Uhr)
  Mit Zitat antworten Zitat
Benutzerbild von Union
Union

Registriert seit: 18. Mär 2004
Ort: Luxembourg
3.487 Beiträge
 
Delphi 7 Enterprise
 
#16

AW: Benötigte Zeit für einen Abfrage

  Alt 28. Dez 2013, 15:02
Also ich würde entweder den Join als View anlegen (mit einem GROUP BY) oder mit einer Subquery arbeiten.
Ibi fas ubi proxima merces
sudo /Developer/Library/uninstall-devtools --mode=all
  Mit Zitat antworten Zitat
nahpets
(Gast)

n/a Beiträge
 
#17

AW: Benötigte Zeit für einen Abfrage

  Alt 28. Dez 2013, 16:29
In Ermangelung einer entsprechenden Datenbank (und daher ungetestet) hier ein Vorschlag, wie er unter Oracle funktionieren könnte:
Delphi-Quellcode:
  select *
  from Tabelle1,
       Tabelle2,
       (Select Max(AAZaehler) As AAZaehler
        from Tabelle2
        where Kriterium = 'ID'
        and AAStatus <> 'Erledigt'
       ) MaxAAZaehler
  where Tabelle1.BNummer = Tabelle2.BNummer (+)
  and Tabelle1.Feld1 = '4EE'
  and Tabelle1.Feld2 = 'Frankfurt'
  and Tabelle2.aazaehler = MaxAAZaehler.aazaehler
  union
  select *
  from Tabelle1,
       Tabelle2,
       (Select Max(AAZaehler) As AAZaehler
        from Tabelle2
        where Kriterium = 'ID'
        and AAStatus <> 'Erledigt'
       ) MaxAAZaehler
  where Tabelle1.BNummer = Tabelle2.BNummer (+)
  and Tabelle1.Feld1 = '4EE'
  and Tabelle1.Feld2 = 'München'
  and Tabelle2.aazaehler = MaxAAZaehler.aazaehler;
Sofern die "Oraclevariante" nicht funktioniert eine View anlegen:
Delphi-Quellcode:
create view V_MaxAAZaehler as
Select Max(AAZaehler) As AAZaehler
from Tabelle2
where Kriterium = 'ID'
and AAStatus <> 'Erledigt'
und dieses SQL probieren:
Delphi-Quellcode:
select *
  from Tabelle1,
       Tabelle2,
       V_MaxAAZaehler
  where Tabelle1.BNummer = Tabelle2.BNummer
  and Tabelle1.Feld1 = '4EE'
  and Tabelle1.Feld2 = 'Frankfurt'
  and Tabelle2.aazaehler = V_MaxAAZaehler.aazaehler
  union
  select *
  from Tabelle1,
       Tabelle2,
       V_MaxAAZaehler
  where Tabelle1.BNummer = Tabelle2.BNummer
  and Tabelle1.Feld1 = '4EE'
  and Tabelle1.Feld2 = 'München'
  and Tabelle2.aazaehler = V_MaxAAZaehler.aazaehler
oder eventuell auch
Delphi-Quellcode:
select *
  from Tabelle1,
       Tabelle2,
       V_MaxAAZaehler
  where Tabelle1.BNummer = Tabelle2.BNummer
  and Tabelle1.Feld1 = '4EE'
  and (Tabelle1.Feld2 = 'Frankfurtor Tabelle1.Feld2 = 'München')
  -- bzw.
  -- and Tabelle1.Feld2 in ('Frankfurt','München')
  and Tabelle2.aazaehler = V_MaxAAZaehler.aazaehler
Konstrukte dieser Art: ... and Tabelle2.aazaehler = (Select Max(AAZaehler) from Tabelle2 AA where AA.BNummer = Tabelle1.BNummer... haben sich in der Vergangenheit bei meinen Implementierungen häufig als arge Flaschenhälse oder Perfomancekiller herausgestellt, so dass ich es tunlichst vermeide, derartige Konstrukte zu verwenden.
Je nach Datenbank und Cleverness des Optimierers kann es sein, dass das Subselect in der Wherebedingung je Datensatz ausgeführt wird. Hier kommen dann auch bei wenigen Millisekunden für die Ausführung des Subselectes für einen Datensatz, doch recht schnell sehr hohe Laufzeiten für ein paar tausend Datensätze heraus.

Geändert von nahpets (28. Dez 2013 um 16:31 Uhr) Grund: Schreib... und sonstige Fehler rausgemacht...
  Mit Zitat antworten Zitat
jobo

Registriert seit: 29. Nov 2010
3.072 Beiträge
 
Delphi 2010 Enterprise
 
#18

AW: Benötigte Zeit für einen Abfrage

  Alt 28. Dez 2013, 16:35
Dank deiner Erklärung habe ich mir mal das Verhalten vom SQL-Server genauer angeschaut und mal wieder dazugelernt, wie unterschiedlich MSSQL und FB sind (und zwar nur, was den Optimizer anbelangt).
Ich würde bei einem kommerziellen Produkt eines Marktführers auch ganz andere Maßstäbe anlegen, als bei einem kostenlosen OpenSource Produkt. Selbst oder gerade bei guten Optimizern bleibt es dank ihrer Komplexität, mangelnder Kenntnis des Statistik Zustandes und der Grenzwert Gewichtungen im Extremfall immer wieder eine Überraschung, was der Optimizer macht.

..

So sieht nun mein Select Aus
Delphi-Quellcode:

....
From Tebelle1
Left Outer join Tabelle2 on (Tabelle1.BNummer = Tabelle2.BNummer and
                            Tabelle2.aazaehler = (Select Max(AAZaehler) from Tabelle2 AA where AA.BNummer = Tabelle1.BAnummer and
                            AA.Kriterium = 'IDand AA.AAStatus <> 'Erledigt' ))
Where Tabelle1.Feld1 = '4EEand (Tabelle1.Feld2 = 'Frankfurtor Tabelle1.Feld2 = 'München'
Ich muss leider der Join so machen auf jeden Fall aus meiner Sicht. Eventuell kann es ja jemand besser und gibt mir einen Tip.
Ich habe in meiner ersten Antwort etwas von Selektivität geschrieben- kannste ja mal nachschlagen. Du kannst versuchen, Dir das hier zu nutze zu machen und dem Optimizer etwas auf die Sprünge zu helfen. Wenn es also tatsächlich 200k Sätze sind- nicht viel, aber auch nicht zu vernachlässigen-, die Dank der Where Bedingung 4EE+Frankfurt|München auf 19 zusammenschmilzen, ist das eine sehr brauchbare Reduktion, mit der ich experimentieren würde.
Z.B.:
Das oben zitierte Statement so umbauen, dass Tabelle1 Select mit Where Bedingung ganz allein in einem inneren Selekt liegt und der Join auf Tabelle2 mit Group By "darüber".
Code:
Select * from (Select * from Tabelle1 where 4EE and Franktfurt|München)
Left Outer join Tabelle2 on (siehe oben)
Gruß, Jo
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 07:36 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz