Wie verhindere ich paralleles Ausführen von Integrationstests (DUnitX, TestInsight)?

[wonderbird]

Guten Morgen zusammen,

im GitHub Projekt wonderbird / gof-patterns / Repository experimentiere ich mit FireDAC und SQLite. Dazu habe ich mehrere integrative Unit Tests geschrieben, welche auf der selben SQLite Datei arbeiten. Ich verwende die aktuelle Version von DUnitX (master branch v0.3.1) und TestInsight 1.2.0.1.

Wenn ich alle Unit Tests im TestInsight Explorer ausführe, dann schlägt ein SQLite Test konsistent fehl. Lasse ich den Test anschließend allein laufen, dann ist er erfolgreich.

Ich vermute, dass TestInsight (oder DUnitX) die Tests parallel ausführt. Bei der aktuellen Teststruktur würde das dazu führen, dass zwei Tests gleichzeitig die Datenbank befüllen. In der Folge würde einer (oder beide) der Tests einen Fehler melden, weil mehr Einträge als erwartet aus der DB zurückgegeben werden.

Gibt es eine Möglichkeit, parallele Test-Ausführung für ausgewählte Tests zu unterbinden?
(siehe z.B. XUnit Attribut "DisableTestParallelization")

Könnte eine andere Ursache für das Fehlschlagen dieses Tests vorliegen?

Ich danke Euch im Voraus für Eure Hilfe!
wonderbird

--
Hier der Aufbau meiner Tests als Beispiel. Problematisch dürfte das INSERT statement sein. Quelle ist die Datei TestUsingFireDAC.pas. FireDAC und SQLite werden in der Klasse SqliteDatabaseConfiguration.pas konfiguriert.

Code:

unit TestUsingFireDAC;

interface

uses
  DUnitX.TestFramework, System.IOUtils;

type

  [TestFixture]
  TestTUsingFireDAC = class
  public
    [Test]
    procedure WhenCreateDbCreateTableInsertRow_ThenRowExists;
  end;

implementation

uses
  FireDAC.Comp.Client, FireDAC.Phys.SQLiteDef,
  System.Classes, Spring.Collections, Exercise, System.DateUtils, SysUtils,
  SqliteDatabaseConfiguration;

procedure TestTUsingFireDAC.
  WhenCreateDbCreateTableInsertRow_ThenRowExists;
var
  Connection: TFDConnection;
  Rows: IList<TDateTime>;
  Params: TFDPhysSQLiteConnectionDefParams;
  Query: TFDQuery;
  Value: TDateTime;
begin
  DeleteFile(TSqliteDatabaseConfiguration.DatabaseFileName);

  Connection := TFDConnection.Create(nil);
  Connection.ConnectionDefName := TSqliteDatabaseConfiguration.ConnectionDefinitionName;
  Connection.Connected := True;

  Connection.ExecSQL('CREATE TABLE IF NOT EXISTS exercises (id INTEGER PRIMARY KEY AUTOINCREMENT, start DATETIME)');
  Connection.ExecSQL('INSERT INTO exercises VALUES (NULL, ''2021-10-08T07:00:00.000Z'')');

  Query := TFDQuery.Create(nil);
  Query.Connection := Connection;
  Query.SQL.Text := 'SELECT start FROM exercises';
  Query.Open;

  Rows := TCollections.CreateList<TDateTime>;
  while not Query.Eof do
  begin
    Value := Query.FieldByName('start').AsDateTime;
    Rows.Add(Value);
    Query.Next;
  end;

  Query.Free;
  Connection.Free;

  Assert.AreEqual(1, Rows.Count, 'unexpected number of entries in DB.');
end;

initialization

TDUnitX.RegisterTestFixture(TestTUsingFireDAC);

end.

[Der schöne Günther]

DUnitX macht eigentlich keine Tests parallel:

https://github.com/VSoftTechnologies...es.pas#L68-L71

[wonderbird]

Danke für die Info. Ich werde mal die DeleteFile Statements umstellen, sodass die Datei bei Testende gelöscht wird.

[Stevie]

TestInsight hat keine eigene Ausführlogik - es hängt sich als Listener an das verwendete Framework, stößt dieses an und steuert über die Listener callbacks, welche Tests ausgeführt werden und sammelt die Ergebnisse ein.

Klingt, als ob du Anhängigkeiten zwischen Tests hast.

[wonderbird]

Das Problem habe ich gelöst, indem ich das DeleteFile am Anfang des Tests entfernt habe. Stattdessen habe ich ein "DELETE FROM exercises" statement nach dem CREATE eingefügt (s.u.). Nun laufen die Tests zuverlässig durch.

Danke Stevie, dass Du die Abhängigkeiten hervorgehoben hast.

Mir war zwar bewusst, dass ich durch die gemeinsame Datenbank-Datei "shared state" habe, aber ich dachte es reicht aus, die Datei vor Testbeginn zu löschen. Ich nehme an, dass FireDAC und SQLite die DB cachen. Dadurch würden sich die Tests trotzdem weiterhin beeinflussen.

Es hat nicht ausgereicht, das DeleteFile Statement ans Ende der Tests bzw. in eine TearDown Methode zu verschieben.

Danke Euch beiden für die Diskussion :) Sie hat mir ein paar gute Einblicke in DUnitX und TestInsight verschafft.

--
Hier kommt der Fix:

Code:

diff --git a/Repository/TestUsingFireDAC.pas b/Repository/TestUsingFireDAC.pas
index 7bf9246..b753b1f 100644
--- a/Repository/TestUsingFireDAC.pas
+++ b/Repository/TestUsingFireDAC.pas
@@ -30,13 +30,13 @@ var
   Query: TFDQuery;
   Value: TDateTime;
 begin
-  DeleteFile(TSqliteDatabaseConfiguration.DatabaseFileName);
-
   Connection := TFDConnection.Create(nil);
   Connection.ConnectionDefName := TSqliteDatabaseConfiguration.ConnectionDefinitionName;
   Connection.Connected := True;

   Connection.ExecSQL('CREATE TABLE IF NOT EXISTS exercises (id INTEGER PRIMARY KEY AUTOINCREMENT, start DATETIME)');
+  Connection.ExecSQL('DELETE FROM exercises');
+
   Connection.ExecSQL('INSERT INTO exercises VALUES (NULL, ''2021-10-08T07:00:00.000Z'')');

   Query := TFDQuery.Create(nil);

[wonderbird]

Mit dieser Nachricht möchte ich die Frage als "gelöst" markieren. Entschuldigt die separate Nachricht bitte. Ich habe gerade erst gelesen, dass man die Einstellung an der Abschlussnachricht statt durch Bearbeiten der Eingangsfrage vornimmt.