AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Programmierung allgemein Datenbanken Performance-Problem mit Subselects

Performance-Problem mit Subselects

Ein Thema von Jasocul · begonnen am 12. Mai 2021 · letzter Beitrag vom 18. Mai 2021
Antwort Antwort
Seite 1 von 2  1 2   
Benutzerbild von Jasocul
Jasocul

Registriert seit: 22. Sep 2004
Ort: Delmenhorst
1.186 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#1

Performance-Problem mit Subselects

  Alt 12. Mai 2021, 10:27
Datenbank: SQL-Server • Version: unwichtig • Zugriff über: Direkt
In einer SQL-Abfrage habe ich 2 Subselects. In beiden greife ich auf die selbe Tabelle zu, nur die Bedingungen sind ein wenig anders.

Ich habe jetzt folgendes Phänomen:
Wenn beide Subselects in der Gesamtabfrage enthalten sind, dauert es ewig.
Nehme ich eins der Subselects raus, ist die Anwort in wenigen Sekunden da. Dabei ist es egal, welches der Subselects ich dafür nehme.

Ich greife in den Selects nur auf Tabellen zu (also keine Views, Functions, o.ä.).
Indexe werden gezogen, auch wenn bei einem Subselect ein Index Scan entsteht. Es gibt kein Table Scan.

Gibt es hier jemanden, der noch eine gute Idee Idee hat, wie ich das beheben kann?

Folgendes habe ich bereits versucht:
  • union
  • Ein einzelnes Subselect daraus machen mit "or"
  • Mit "with" schon die Datenmenge beschränken
  • Mit case arbeiten, damit je nach Bedingung nur eine Abfrage ausgelöst wird

In allen Fällen das selbe Ergebnis. Sobald beide Subselects in der Abfrage stehen, ist die Performance im Nirwana.
Peter
  Mit Zitat antworten Zitat
mkinzler
(Moderator)

Registriert seit: 9. Dez 2005
Ort: Heilbronn
39.770 Beiträge
 
Delphi 10.4 Sydney
 
#2

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 10:52
Wirklich Subselects oder Joins?
Markus Kinzler
  Mit Zitat antworten Zitat
Benutzerbild von Jasocul
Jasocul

Registriert seit: 22. Sep 2004
Ort: Delmenhorst
1.186 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#3

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 10:57
Ja, Subselects.
Eine Umstellung auf Joins habe ich noch nicht getestet.
Peter
  Mit Zitat antworten Zitat
hoika
Online

Registriert seit: 5. Jul 2006
Ort: Magdeburg
7.960 Beiträge
 
Delphi XE4 Professional
 
#4

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 10:59
Hallo,
ein SubSelect wird ja für jeden Datensatz der Hauptabfrage durchgeführt,
das kann halt dauern.

Ich würde was anderes Probieren (wie oben schon gesagt, Outer Joins z.B.)
Heiko
  Mit Zitat antworten Zitat
Benutzerbild von Bernhard Geyer
Bernhard Geyer

Registriert seit: 13. Aug 2002
16.863 Beiträge
 
Delphi 10.4 Sydney
 
#5

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 11:00
Was sagt der Query-Analyser bezüglich Ausführungsplan dazu?

Wir hatten mal das Problem (bei MS SQL Server) da hier der Query-Analyser in einer Version Mist gebaut hat
und für relativ einfache Abfrage meinte mindestens 1 GB an RAM zu benötigen und eine riesige Ergebnisse zu haben.
Windows Vista - Eine neue Erfahrung in Fehlern.
  Mit Zitat antworten Zitat
Benutzerbild von Jasocul
Jasocul

Registriert seit: 22. Sep 2004
Ort: Delmenhorst
1.186 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#6

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 11:08
Hallo,
ein SubSelect wird ja für jeden Datensatz der Hauptabfrage durchgeführt,
das kann halt dauern.

Ich würde was anderes Probieren (wie oben schon gesagt, Outer Joins z.B.)
Genauso ist es richtig.
Da habe ich wohl den Wald vor lauter Bäumen nicht mehr gesehen.
Die Abfragen hatte ich ja schon mit with in den Tests vorbereitet, aber dann einfach nicht daran gedacht, dass es dann mit einem Outer join ganz einfach umzubauen ist.

Was sagt der Query-Analyser bezüglich Ausführungsplan dazu?

Wir hatten mal das Problem (bei MS SQL Server) da hier der Query-Analyser in einer Version Mist gebaut hat
und für relativ einfache Abfrage meinte mindestens 1 GB an RAM zu benötigen und eine riesige Ergebnisse zu haben.
Der hat mir nur den Hinweis auf auf den Index Scan geliefert.

Faszinierend finde ich es trotzdem, dass jedes Subselect alleine kein Problem verursacht und erst die gleichzeitige Nutzung die Performance einbrechen lässt.
Ich kann jetzt zwar das Problem beheben, aber die Ursache des Phänomens kenne ich immer noch nicht.

Vielen Dank für den richtigen Schubser
Peter
  Mit Zitat antworten Zitat
Delphi.Narium

Registriert seit: 27. Nov 2017
1.744 Beiträge
 
Delphi 7 Professional
 
#7

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 11:39
Hallo,
ein SubSelect wird ja für jeden Datensatz der Hauptabfrage durchgeführt,
das kann halt dauern.

Ich würde was anderes Probieren (wie oben schon gesagt, Outer Joins z.B.)
Zitat von Jasocul:
Faszinierend finde ich es trotzdem, dass jedes Subselect alleine kein Problem verursacht und erst die gleichzeitige Nutzung die Performance einbrechen lässt.
Ich kann jetzt zwar das Problem beheben, aber die Ursache des Phänomens kenne ich immer noch nicht.
Naja:

Man könnte in diesem Zusammenhang grob sagen:

Wenn ein Subselect schnell (10 ms) ist, aber für 1.000.000 Datensätze 1.000.000 mal schnell ausgeführt wird, so kann das dann insgesamt schon mal 'ne Weile dauern. -> 1.000.000 mal 10 ms -> ca. 2 Stunden und 45 Minuten.
Nur so als sehr grober Gedankengang, wenn man nach derartigen Performanzproblemen sucht.

Und nein: Das ist keine allgemeingültige Regel, sondern nur so ein Gedankenfetzen, den man im Hinterkopf behalten sollte.
  Mit Zitat antworten Zitat
Benutzerbild von Jasocul
Jasocul

Registriert seit: 22. Sep 2004
Ort: Delmenhorst
1.186 Beiträge
 
Delphi 10.2 Tokyo Professional
 
#8

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 13:31
Man könnte in diesem Zusammenhang grob sagen:

Wenn ein Subselect schnell (10 ms) ist, aber für 1.000.000 Datensätze 1.000.000 mal schnell ausgeführt wird, so kann das dann insgesamt schon mal 'ne Weile dauern. -> 1.000.000 mal 10 ms -> ca. 2 Stunden und 45 Minuten.
Nur so als sehr grober Gedankengang, wenn man nach derartigen Performanzproblemen sucht.

Und nein: Das ist keine allgemeingültige Regel, sondern nur so ein Gedankenfetzen, den man im Hinterkopf behalten sollte.
Da sind wir völlig einer Meinung.

In diesem Fall muss aber noch ein anderes Problem vorliegen.
Ich habe hierbei folgende Laufzeiten erhalten (Test mit 1000 Datensätzen als Ergebnismenge):
Mit beiden Subselects gleichzeitig: ca. 1 Minute 10 Sekunden
Nur Subselect 1: ca. 0,7 Sekunden
Nur Subselect 2: ca. 1,1 Sekunden

Dass ich dann nicht davon ausgehen kann, dass es nur 1,8 Sekunden dauert, ist mir klar. Aber in diesem Fall ist das um den Faktor 60 langsamer.
Es ist auch nicht das erste SQL, das ich optimiere. Eigentlich laufen solche Sachen immer auf meinem Tisch auf, wenn die Kollegen nicht mehr weiterwissen. Daher ist es mir schon peinlich, dass ich auf die banale Lösung mit dem Join nicht gekommen bin.

Ich habe mir die bisherige Abfrage gespeichert. Vielleicht habe ich irgendwann mal Zeit, das genauer zu untersuchen.
Peter
  Mit Zitat antworten Zitat
Delphi.Narium

Registriert seit: 27. Nov 2017
1.744 Beiträge
 
Delphi 7 Professional
 
#9

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 13:56
Eigentlich laufen solche Sachen immer auf meinem Tisch auf, wenn die Kollegen nicht mehr weiterwissen.
Oh, da bist Du aber nicht zu beneiden, den "Job" hatte ich auch mal ein paar Jahre, das ist nicht immer unbedingt spaßig, vor allem dann nicht, wenn man da gewaltige Laufzeitunterschiede herausarbeitet und das dann auch noch regelmäßig

Bezüglich SubSelect:

Mein Ansatz war immer:

Gibt es in einem Select ein Subselect dann lautet die erste Frage:

Wie bekomme ich das weg?

Nur wenn das nicht gelingt:

Wie bekomme ich das schneller?
  Mit Zitat antworten Zitat
DasWolf

Registriert seit: 7. Jun 2016
Ort: Neubrandenburg
70 Beiträge
 
Delphi 10.1 Berlin Professional
 
#10

AW: Performance-Problem mit Subselects

  Alt 12. Mai 2021, 14:02
Was für Unterabfragen sind das denn genau? Unterabfragen im SELECT- oder WHERE-Teil?
Beinhalten die Unterabfragen a in (select a from...) oder exists(select 1 from...) .
  Mit Zitat antworten Zitat
Antwort Antwort
Seite 1 von 2  1 2   

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +2. Es ist jetzt 12:20 Uhr.
Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2021 by Daniel R. Wolf