Benchmarkvergleich von Datenbanken: Wo? Wer? Wie?

[alzaimar]

Ich suche einen Benchmarkvergleich der gängigen Datenbanksysteme und werde im Netz nicht fündig. Mich interessiert insbesondere mal ein Vergleich zwischen MySQL und den anderen DBMS. Feature-Matrizen gibt es wie Sand am Meer, aber einen echten Performancevergleich mit einer wohldefinierten Datenmenge auf Referenzhardware habe ich noch nicht gefunden. Leider beteiligt sich MySQL nicht am TPC-B Benchmark.

Natürlich sind die DBMS nicht direkt vergleichbar, aber ich bin diese ewigen Diskussionen leid, bei denen diese Glaubensfragen djihad-gleich ausgetragen werden. Es muss doch möglich sein, eine Referenz-DB zu erstellen und dann gezielt einige Benchmarks drüber laufen zu lassen. Die DB kann ja dann noch handoptimiert werden (indexe etc.).

Ich hab gestern gegoogelt, aber wirklich nichts Brauchbares gefunden. Nur eben belanglose Glaubensbekenntnisse von MySQL-Jüngern und MSSQL-Anbetern (zu denen ich mich zähle). Oder Vergleich der Features.

Also: Kann Jemand wirklich sagen, wie sich die DBMS (MySQL, MSSQL, FB, Oracle, etc.) in einem Vergleich schlagen? Hat jemand eine Quelle?

Sachdienliche Hinweise, die zur Ergreifung der quälenden Frage führen, nimmt jedes Delphi-Forum entgegen. Hinweise werden auf Wunsch vertraulich behandelt.

Wenn es wirklich im Netzt Nichts gibt, wird es Zeit, das Jemand das mal anstößt.

[mkinzler]

Hier gibt es eine TPC Benchmark von IB und FB
http://www.fbdeveloper.com/

[Bernhard Geyer]

die TPC-Benchmarks sind schon der Standart bezüglich Performance-Tests. Das sich MySQL hier nicht beteiligt liegt daran das die großen HW-Hersteller primär diese Tests aufsetzen und letztendlich an der HW-Bundelung der Datenbank (+Service) die Hersteller ihr Geld verdienen. Ich glaube gehört zu haben das so ein TPC-Test im 6-Stelligen €-Bereich Kosten verursacht um ihn Aufzusetzen + Durchzuführen.

Ich kann aber von unseren Kunden sagen (welche MySQL, Oracle und MS SQL-Server verwenden) das es sehr stark auf die HW und die Fähigkeit des Datenbank-Administrators ankommt wie schnell eine Datenbank ist. Ein Kunde hatte sich zwischen Oracle und MySQL unterscheiden müssen. Und für den Preis von Oracle hat er sich eine schöne Linux-HW-Kiste hingestellt und entsprechenden Support von MySQL gekauft und meckert bisher nicht über die Performance (DB ist schon im GB-Bereich).

[alzaimar]

Dank Euch beiden.

Was mir so vorschwebt, ist eine Plattform (z.B. DP :stupid:), welches ein Referenz-Schema sowie Testdaten zur Verfügung stellt (z.B. in Form von Textdaten oder einem Testdatengenerator). Weiterhin könnte man sich auf einen Satz von Test-Abfragen und Szenarien einigen, um die Performance zu testen.

Anschließend ist Jeder eingeladen, eine DB mit seinem Favoriten zu erstellen, die DB zu optimieren und die Resultate (also das handoptimierte Schema) zu präsentieren. In den Diskussionen würde sich schon die beste (oder die besten) Alternativen herauskristallisieren

Dann hätten wir für jedes DBMS:
1. Ein (optimiertes) SQL-Schema
2. Einen Satz von Testdaten
3. Optional einen Dump der fertigen DB

Nun kann sich Jeder, der mal wieder nichts zu tun aber irgendeine DB auf seinem Rechner installiert hat, den Dump saugen, den Benchmark starten und unter Angabe seiner Hardware die Ergebnisse zurückposten. Mit der Zeit sollten doch brauchbare Ergebnisse zustande kommen. Natürlich wären die Ergebnisse nur für dieses Datenbankschema aussagekräftig, aber es wäre besser als gar nichts.

Na ja, wollte nur Klarheit in dieses leidige Thema bringen.

[Elvis]

Vorsicht!
TPC ist nicht umsonst die einzige Seite mit vergleichenden Benchmarks. Die meisten DBMS-Anbieter verbieten jegliche vergleichende Tests.
Ganz drakonisch hier sind Oracle und Microsoft, haben ja beide auch am meisten zu verlieren (Ruf und Kohle).

[mkinzler]

Vor nicht allzulanger Zeit gab es einen Wettbewerb von Heise. Es ging hier zwar nicht nur um die Datenbank sondern eine ganze Plattform (Datenbank + Webanwendung)

[alzaimar]

@Elvis: Ach, stimmt ja.
@mkinzler: Ach, stimt ja. (c't 13/06, Seite 190).

Hat jemand zufällig noch die c't 13/06? :mrgreen:

[Bernhard Geyer]

Zitat:

Zitat von Elvis

Vorsicht!
TPC ist nicht umsonst die einzige Seite mit vergleichenden Benchmarks. Die meisten DBMS-Anbieter verbieten jegliche vergleichende Tests.
Ganz drakonisch hier sind Oracle und Microsoft, haben ja beide auch am meisten zu verlieren (Ruf und Kohle).

Ein großes Problem wird sein eine wirklich 100%ige Nachvollziehbarkeit zu gewährleisten. Und ob ein 0815-Windows-PC mit zig installierten Programmen diesen Kriterien entspricht? Gegen die Test-SW können sie (vermutlich) nichts sagen, aber gegen die Veröffentlichung von nicht nachvollziehbaren Testergebnissen.

[alzaimar]

Das Gute an so einer Testsuite wäre ja, das kein abschließendes Ranking stattfindet: Man postet nur seine persönlichen Ergebnisse. Und irgendwelche Spezialisten tunen die DB, von mir auch auch die Hersteller selbst. Damit ist schonmal Fairness gewährleistet.

Ob MySQL auf einem Celeron mit zwiefach genoppten Cryovergaser und handgeschöpftem RAM nun schneller ist, als ein MSSQL in einem Athlon mit Dualport-CPU und Foobar-Optimizer, ist ja nun wirklich schnurz egal.

Durch den Download der Testsuiten kann ich mir aber innerhalb von 1-2 Tagen ein Bild der Datenbanken auf meinem Zielsystem machen. Und wer richtig Bock hat (davon gibt's ja im social web erstaunlich viele), der führt das Benchmark mit allen DBMS durch und postet seine Ergebnisse. Da steht dann nämlich, das auf diesem einen PC FooDB beim Query schneller als DeinSQL, aber dafür beim INSERT in die Knie gegangen ist.

Nachdem das geklärt ist, brauchen wir ja nur noch Freiwillige, die das übernehmen :mrgreen: