Datenbank: SQL-Server • Version: unwichtig • Zugriff über: Direkt
Performance-Problem mit Subselects
In einer SQL-Abfrage habe ich 2 Subselects. In beiden greife ich auf die selbe Tabelle zu, nur die Bedingungen sind ein wenig anders.
Ich habe jetzt folgendes Phänomen: Wenn beide Subselects in der Gesamtabfrage enthalten sind, dauert es ewig. Nehme ich eins der Subselects raus, ist die Anwort in wenigen Sekunden da. Dabei ist es egal, welches der Subselects ich dafür nehme. Ich greife in den Selects nur auf Tabellen zu (also keine Views, Functions, o.ä.). Indexe werden gezogen, auch wenn bei einem Subselect ein Index Scan entsteht. Es gibt kein Table Scan. Gibt es hier jemanden, der noch eine gute Idee Idee hat, wie ich das beheben kann? Folgendes habe ich bereits versucht:
In allen Fällen das selbe Ergebnis. Sobald beide Subselects in der Abfrage stehen, ist die Performance im Nirwana. |
AW: Performance-Problem mit Subselects
Wirklich Subselects oder Joins?
|
AW: Performance-Problem mit Subselects
Ja, Subselects.
Eine Umstellung auf Joins habe ich noch nicht getestet. |
AW: Performance-Problem mit Subselects
Hallo,
ein SubSelect wird ja für jeden Datensatz der Hauptabfrage durchgeführt, das kann halt dauern. Ich würde was anderes Probieren (wie oben schon gesagt, Outer Joins z.B.) |
AW: Performance-Problem mit Subselects
Was sagt der Query-Analyser bezüglich Ausführungsplan dazu?
Wir hatten mal das Problem (bei MS SQL Server) da hier der Query-Analyser in einer Version Mist gebaut hat und für relativ einfache Abfrage meinte mindestens 1 GB an RAM zu benötigen und eine riesige Ergebnisse zu haben. |
AW: Performance-Problem mit Subselects
Zitat:
Da habe ich wohl den Wald vor lauter Bäumen nicht mehr gesehen. Die Abfragen hatte ich ja schon mit with in den Tests vorbereitet, aber dann einfach nicht daran gedacht, dass es dann mit einem Outer join ganz einfach umzubauen ist. Zitat:
Faszinierend finde ich es trotzdem, dass jedes Subselect alleine kein Problem verursacht und erst die gleichzeitige Nutzung die Performance einbrechen lässt. Ich kann jetzt zwar das Problem beheben, aber die Ursache des Phänomens kenne ich immer noch nicht. Vielen Dank für den richtigen Schubser |
AW: Performance-Problem mit Subselects
Zitat:
Zitat:
Man könnte in diesem Zusammenhang grob sagen: Wenn ein Subselect schnell (10 ms) ist, aber für 1.000.000 Datensätze 1.000.000 mal schnell ausgeführt wird, so kann das dann insgesamt schon mal 'ne Weile dauern. -> 1.000.000 mal 10 ms -> ca. 2 Stunden und 45 Minuten. Nur so als sehr grober Gedankengang, wenn man nach derartigen Performanzproblemen sucht. Und nein: Das ist keine allgemeingültige Regel, sondern nur so ein Gedankenfetzen, den man im Hinterkopf behalten sollte. |
AW: Performance-Problem mit Subselects
Zitat:
In diesem Fall muss aber noch ein anderes Problem vorliegen. Ich habe hierbei folgende Laufzeiten erhalten (Test mit 1000 Datensätzen als Ergebnismenge): Mit beiden Subselects gleichzeitig: ca. 1 Minute 10 Sekunden Nur Subselect 1: ca. 0,7 Sekunden Nur Subselect 2: ca. 1,1 Sekunden Dass ich dann nicht davon ausgehen kann, dass es nur 1,8 Sekunden dauert, ist mir klar. Aber in diesem Fall ist das um den Faktor 60 langsamer. Es ist auch nicht das erste SQL, das ich optimiere. Eigentlich laufen solche Sachen immer auf meinem Tisch auf, wenn die Kollegen nicht mehr weiterwissen. Daher ist es mir schon peinlich, dass ich auf die banale Lösung mit dem Join nicht gekommen bin. Ich habe mir die bisherige Abfrage gespeichert. Vielleicht habe ich irgendwann mal Zeit, das genauer zu untersuchen. |
AW: Performance-Problem mit Subselects
Zitat:
Bezüglich SubSelect: Mein Ansatz war immer: Gibt es in einem Select ein Subselect dann lautet die erste Frage: Wie bekomme ich das weg? Nur wenn das nicht gelingt: Wie bekomme ich das schneller? |
AW: Performance-Problem mit Subselects
Was für Unterabfragen sind das denn genau? Unterabfragen im SELECT- oder WHERE-Teil?
Beinhalten die Unterabfragen
Delphi-Quellcode:
oder
a in (select a from...)
Delphi-Quellcode:
.
exists(select 1 from...)
|
AW: Performance-Problem mit Subselects
@Delphi.Narium:
Die Vorgehensweise ist bei mir ähnlich. Allerdings ist unser DWH in die Jahre gekommen und inzwischen ziemliches Stückwerk. Ich habe das auch nicht erstellt. Aber ich darf das DWH in ein paar Monaten komplett neu aufbauen. Veranschlagte Zeit 1 bis 2 Jahre. Mein Chef meinte nur, dass ich dann bitte auch alles normalisieren soll, damit das endlich was brauchbares wird. :-D Zitat:
|
AW: Performance-Problem mit Subselects
Schau mal, ob deine SubSelects Locks erzeugen + diese ev. eskalieren.
Schau mal, ob "with (nolock)" etwas ändert. |
AW: Performance-Problem mit Subselects
Zitat:
Im Lock-Protokoll (sp_lock) taucht in der Ressource ein "encryption scan" auf, wenn beide Subselects aktiv sind. Wenn nur eins davon aktiv ist, sieht alles normal aus. Die Datenbank ist aber gar nicht verschlüsselt! Da muss ich mich jetzt wohl mal etwas weiter einsteigen. Oder kennt hier schon jemnd dieses Phänomen? |
AW: Performance-Problem mit Subselects
Wir hatten ein ähnliches Problem nach dem Umstieg auf MS SQL Server 2019. Einige Abfragen mit Sub-Selects waren plötzlich deutlich langsamer, als auf dem alten SQL-Server 2012.
Wir haben dann den Kompatibilitätsgrad der Datenbank auf 110 (SQL-Server 2012) herunter gesetzt und siehe da - die Abfragen flitzen wieder wie früher. Mit jeder höheren Version des Kompatibilitätsgrads werden die Abfragen immer langsamer. Eine langfristige Lösung haben wir aber noch nicht; müssen wohl alle Sub-Selects mal umbauen… |
AW: Performance-Problem mit Subselects
Das ist gut zu wissen. Ich bin mit dem Problem noch auf SQL Server 2008. Im Laufe des Jahres soll die DB nach Möglichkeit noch auf 2014 oder 2019 umziehen.
|
AW: Performance-Problem mit Subselects
Bis dann am Besten die Subselects umbauen
|
AW: Performance-Problem mit Subselects
Zitat:
|
AW: Performance-Problem mit Subselects
Zitat:
Aber vielleicht stecken auch da Infos für dich: https://stackoverflow.com/questions/...n-and-subquery https://dba.stackexchange.com/questi...sub-query-tsql https://www.sqlservercentral.com/for...-with-subquery |
AW: Performance-Problem mit Subselects
Zitat:
Die locks bzw. dieser spezielle Locktyp dient wohl primär für TDE, aber eben nicht nur https://docs.microsoft.com/de-de/arc...n-a-sql-server Also hier im Fall relativ harmlos, außer, der Optimizer verhaut sich und setzt sie ein, ohne dass es Not tut. Ein Downgrade der Compatibility als Gegenmaßnahme würde ja dazu führen, dass dieses und alle anderen neuen Features nicht mehr zur Verfügung stehen, die Holzhammermethode. Dann lieber Optimizer Hints, die scheint es auch unter MSSQL Server zu geben, als Query Hints (u.a.) https://docs.microsoft.com/en-us/sql...ql-server-2016 Damit kann man sicher gezielt und effizient einzelne Queries tunen, ohne dass man die komplette Abfrage neu schreibt. https://www.sqlshack.com/query-optim...ps-and-tricks/ Umschreiben ist sicher die bessere Alternative, aber kostet auch mehr Feinarbeit/Zeit. Dazu sei mal noch die CTE genannt, die gerade bei wiederkehrender Nutzung gleicher Datenbestände sehr gut helfen kann. Beides, Query Hints und CTE sind sicher auch abhängig von der SQL Server Version unterschiedlich mächtig oder verfügbar. Das habe ich nicht im Detail nachgeschaut. 2008 ist natürlich schon recht betagt, plus Downgrade ist man fast schon im vorigen Jahrtausend. GgF wäre hier zu bedenken, ob solche Features in Express Versionen verfügbar sind, falls ihr sowas auch nutzt. |
AW: Performance-Problem mit Subselects
Danke jobo.
Der 2008 soll ja abgelöst werden, kann aber noch dauern. Umgeschrieben ist das SQL-Statement schon. Läuft stabil und mit erheblich besserer Performance. Die Erläuterungen für das Encryption scan sind interessant. Bei mir werden es da wohl die Sort Spills sein. Die Optimizer-Hints schaue ich mir auf jeden Fall in Ruhe an. Danke für den Link. |
Alle Zeitangaben in WEZ +1. Es ist jetzt 23:55 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz