Wenn es nur um das einmalige Bereinigen einer Tabelle geht, dann kann man das auch mit der Datenbankoberfläche machen. Dazu legt man eine Leertabelle mit gleicher Struktur an, wählt einen candidate key zum primary key und kopiert per
SQL die Daten von der Ursprungstabelle in die Leertabelle:
insert into LEER select * from DATEN
Es werden keine Duplikate übernommen. Sollte auch per Programm auf diese Weise funktionieren.
Grüße vom marabu