Datenbank Duplicates

[-187-]

Hm okay das Query sagt mir das es keine Duplicates gibt. Seltsam ! Ich schreib mein kleines Tool mal um damit ich dir die vermeintlichen Duplicates ausgeben kann.

[idefix2]

Was sein könnte, ist, dass Dein Tool vielleicht Daten als Duplicates ansieht, die für Firebird unterschiedlich sind, das hängt bei Firebird vom verwendeten Zeichensatz und von der verwendeten Collation ab (Gross-Kleinschreibung, Umlaute etc.)

Versuch einmal

SQL-Code:

select feld from tabelle
group by upper(feld) having (count(*)>1)

[Namenloser]

Enthalten manche der Feldinhalte vielleicht Zeilenumbrüche?

[-187-]

@idefix, dann bekomm ich "Invalid expression in the select list (not contained in either an aggregate function or the GROUP BY clause)"

@NamenLozer, also ich habe in meiner exportierten list genauso viele zeile wie rows in der db oder worauf möchtest du hinaus ?

[idefix2]

Ja, Du hast recht, so wie oben geschrieben geht es nicht. aber so:

SQL-Code:

select upper(ip_name) from musik
group by upper(ip_name) having count(*)>1

Das hab ich in meiner DB probiert, ip_name -> feld, musik -> tabelle

[-187-]

Hm wie es scheint bist du dem Problem auf die Schliche gekommen. Da ist die genau die Anzahl an Duplicates. Meine SQL Kenntnisse sind minimal. Was genau machen wir jetzt anders ? Wir selektieren alle UPPER CASE records die es öfter als einmal gibt. Wieso wurden die vorher nicht mit überprüft ? Oder macht das DBMS einen unterschied zwischen AAA und aaa ?

[mkinzler]

Natürlich besteht ein Unterschied zwischen 'AAA', 'aaa' und 'Aaa' usw. Willst das nicht musst du einen Expression-Index auf UPPER() anlegen ( geht ab FB 2.1)

[borwin]

Bei der Abfrage wird der Inhalt des Feldes genau überprüft. Dabei erflogt die Überprüfung Zeichenweise und ein 'A' ist dann etwas anderes als ein 'a'. Um das zu umgehen werden alle Zeichen auf UPPER gesetzt. Eine weitere Falle beim abfragen von Texten sind die Leerzeichen. Für die Datenbank ist 'MEIER' und 'MEIER ' nicht gleich. Um auch diesen Fall zu umgehen noch ein TRIM um die Felder legen.
Dann sieht das ganze dann so aus

Code:

SELECT TRIM(UPPER(ip_name)) 
FROM musik
GROUP BY TRIM(UPPER(ip_name)) 
HAVING COUNT(*)>1

Um das Einfügen von doppelten Datensätzen zu verhindern musst Du Deinen Index verändern.
Lege ein sogenantes COMPUTER BY Feld an mit Index an

Zitat:

create index idx_name on musik computed by (trim(upper(ip_name)));

Das verhinder schon doppelte Datensätze. Geht ab FB 2.0

Gruß Borwin

[-187-]

Hm nachdem ich die Duplicates jetzt gefunden habe müsste ich diese noch löschen

Code:

SELECT UPPER(VORNAME) FROM NAMEN1 GROUP BY UPPER(VORNAME) HAVING (COUNT(*)>1)

Mein Anlauf war das SELECT Statement durch das DELETE Statement zu ersetzen aber dann bekomm ich die Fehlermeldung "Unknown token Upper".

Hat jemand einen Ansatz wie man duplicates aus einer DB löscht ?

[mkinzler]

delete from namen1 where id not in ( SELECT MIN(ID), UPPER(VORNAME) FROM NAMEN1 GROUP BY UPPER(VORNAME));