Delphi-Version: 2007
Doppel schnell aus Liste löschen.
Bei 100.000 Punkten kann das schon mal 10 sec. dauern. Hat jemand eine bessere Idee? Die Klasse ist eigentlich schon ziemlich optimiert, analog TList (Capacity, Move und Co.) :gruebel:
Delphi-Quellcode:
function TFloatPoints.IndexOf(const Value: TFloatPoint): integer;
var I: integer; begin Result := -1; for I := 0 to FCount - 1 do if Util_SameFloatPoint(FItems[I], Value) then begin Result := I; Break; end; end; procedure TFloatPoints.RemoveDoubles; var List: TFloatPoints; I: integer; begin List := TFloatPoints.Create; try for I := 0 to FCount - 1 do if List.IndexOf(FItems[I]) < 0 then List.Add(FItems[I]); Assign(List); finally List.Free; end; end; |
AW: Doppel schnell aus Lise löschen.
Warum baust Du eine Liste neu auf, wenn Du welche rauslöschen willst? Oder habe ich das nicht verstanden?
Schachpunkt kömmte aus dies "Util_SameFloatPoint" sein. ... Ach, "Double" für "doppelte" ...
Delphi-Quellcode:
Das ist aus meiner Toolsammlung, hilft das weiter?
function IsDuplicateInList(List: array of Variant): Boolean;
var i : Integer; ii: Integer; begin for i := 0 to Length(List) - 2 do for ii := i + 1 to Length(List) - 1 do if List[i] = List[ii] then Exit(True); Result := False; end; Das Sortieren der Liste könnte helfen. |
AW: Doppel schnell aus Lise löschen.
Hi Bud. Stimmt. Die Werte sollen aber rausgelöscht werden. So isses schomal schneller. In der Compare gibst wohl nichts zu optimieren? (Sch.. dxf Files, das sind ja Unmengen von Punkten drin..)
Delphi-Quellcode:
Edit: Falls du wissen möchtest wofür:
procedure TFloatPoints.RemoveDoubles;
var I, J: integer; begin for I := FCount - 2 downto 0 do for J := FCount - 1 downto I + 1 do if Util_SameFloatPoint(FItems[I], FItems[J]) then Delete(J); end; function Util_SameFloatPoint(const A, B: TFloatPoint; const Eps: double = 1E-4): boolean; begin Result := SameValue(A.X, B.X, Eps) and SameValue(A.Y, B.Y, Eps); end; http://abel-software.de/download/DrawPadTutorial.pdf Seite 4, Dxf Fangpunkte. |
AW: Doppel schnell aus Lise löschen.
Es wäre hilfreich, zu wissen wie TFloatPoint, TFloatPoints und Util_SameFloatPoint definiert sind.
Ohne diese Informationen sind alle Vorschläge wie "Topfschlagen". |
AW: Doppel schnell aus Lise löschen.
Ok. Hier:
Delphi-Quellcode:
TFloatPoint = record
X, Y: double; procedure Clear; end; TFloatPoints = class private FItems: array of TFloatPoint; .. function TFloatPoints.Add(const Value: TFloatPoint): integer; begin Result := FCount; if Assigned(FOnFloatPointsAdd) then // TSnapPointsFinderThread; FOnFloatPointsAdd(Value) else Ins(Result, Value); end; procedure TFloatPoints.Ins(const Index: integer; const Value: TFloatPoint); begin if (Index >= 0) and (Index <= FCount) then begin if FCount = FCapacity then SetCapacity(FCapacity + DeltaCapacity); if Index < FCount then begin Move(FItems[Index], FItems[Index + 1], (FCount - Index) * SizeOf(TFloatPoint)); FillChar(FItems[Index], SizeOf(TFloatPoint), 0); end; FItems[Index] := Value; Inc(FCount); end; end; procedure TFloatPoints.Delete(const Index: integer); begin if (Index >= 0) and (Index < FCount) then begin Dec(FCount); if Index < FCount then begin Move(FItems[Index + 1], FItems[Index], (FCount - Index) * SizeOf(TFloatPoint)); FillChar(FItems[FCount], SizeOf(TFloatPoint), 0); end; FItems[FCount].Clear; end; end; |
AW: Doppel schnell aus Lise löschen.
Das ist deshalb so langsam, weil du für jeden Punkt im Schnitt die Hälfte oder so aller anderen Punkte durchläufst, um die Koordinaten zu vergleichen. Dadurch explodiert natürlich die Laufzeit bei größerem n. Du musst also das Nachschlagen von in der Nähe liegenden Punkten beschleunigen.
Wenn die Werte der Koordinaten alle in der gleichen Größenordnung sind, wäre eine Möglichkeit, sie durch Multiplikation mit einer geeigneten Konstante in Integer konvertieren, und diese dann einfach in eine Hashmap einzufügen (ggf. mehrfach wegen unterschiedlicher Rundung). Eine andere Möglichkeit, die auch ohne Integer-Konvertierung funktionieren würde, wäre ein K-d-Baum. |
AW: Doppel schnell aus Lise löschen.
Versuch es mal so:
Bei ca. 100000 Einträgen wird am Schluss ca. 100000*100000 mal SameValue aufgerufen. Die Idee ist, in TFloatPoints.InList, wiederholtes laden des Items (das mit allen Einträgen der Liste verglichen wird) und Epsilon in die FPU Register zu vermeiden und auch die Zugriffe auf die Items der Liste zu beschleunigen. Ein kurzer Test verlief erfolgreich. Ich habe 1000 Einträge mit Zufallswerten von X und Y im Bereich 0 bis 9 erzeugt. Somit können nur max 100 verschiedene Einträge vorhanden sein. Nach Aufruf von RemoveDuplicates enthielt die Liste dann auch 100 statt vorher 1000 Einträge. Auf das Clear für "gelöschte" Einträge habe ich verzichtet, denn erstens kann auf diese Einträge eh nicht zugegriffen werden (bzw. sollte nicht zugegriffen werden können) und zweitens weiß ich nicht, was Clear macht. Ich vermute TFloatPoint.Clear setzt X und Y = 0. Da aber X=0 und Y=0 auch gültige Koordinaten sind, sehe ich da keine Vorteile. Ich habe übrigens ein
Delphi-Quellcode:
eingefügt und die Definition von FItems auf
type TAFloatPoint=Array of TFloatPoint;
Delphi-Quellcode:
geändert.
FItems:TAFloatPoint;
Delphi-Quellcode:
procedure TFloatPoints.RemoveDoubles;
FUNCTION InList(List:TAFloatPoint; const Item:TFloatPoint; Count:Integer):Boolean; const Epsilon:Double=1E-4; asm fld Epsilon // st0=Epsilon fld QWord [edx] // st0=X, st1=Epsilon fld QWord [edx+8] // st0=Y, st1=X, st2=Epsilon @Loop: fld QWord [eax] // st0=List.X, st1=Y, st2=X, st3=Epsilon fsub st,st(2) // st0=List.X-X fabs fcomip st,st(3) // List.X-X vs. Epsilon ja @Next // Verschieden (Abs(List.X-X) > Epsilon) fld QWord [eax+8] // st0=List.Y, st1=Y, st2=X, st3=Epsilon fsub st,st(1) // st0=List.Y-Y fabs fcomip st,st(3) // List.X-X vs. Epsilon jbe @True // Gleich (Abs(List.X-X) <= Epsilon) @Next: add eax,16 sub ecx,1 jnz @Loop xor al,al jmp @End @True: mov al,1 @End: ffree st(2) ffree st(1) ffree st end; var I,J: integer; begin if FCount<2 then Exit; J:=1; for I:=1 to FCount-1 do if not InList(FItems,FItems[I],J) then begin FItems[J]:=FItems[I]; Inc(J); end; FCount:=J end; |
AW: Doppel schnell aus Lise löschen.
1. Vorschlag: Sortiere die Liste und dann lösche beim einmaligen Durchlaufen alle Punkte raus, die "gleich! dem vorherigen Wert sind. Das 'löschen' geht so, das man das entstehenden Loch einfach mit dem nächsten Element auffüllt. etwa so:
Delphi-Quellcode:
Sortieren ist vom Aufwand O(n log n), ergo ist das Verfahren vom gleichen Aufwand. Besser als O(n^2), wie beim zu optimierenden Verfahren.
procedure RemoveDuplicates (aList : TSomeList);
Var i,j : Integer; Begin aList.Sort(); j := 0; for i := 1 to aList.Length - 1 do if aList[i].CompareTo(aList[j]) <> TCompareResult.Equal then begin inc(j); aList[j] := aList[i]; end; aList.Length := j; end; Es geht aber noch schneller: Verwende dazu eine Dictionary und übertrage mit o.g. Pattern nur die Werte, die noch nicht in der Dictionary sind.
Delphi-Quellcode:
K.a. ob es in Delphi eine THashmap gibt. Das ist eine Dictionary, aber nur für Schlüssel (ohne Nutzdaten)
procedure RemoveDuplicates<TElement> (aList : TSomeList);
Var i,j : Integer; lookup : THashMap<TElement>; Begin j := 0; lookup := THashmap<TElement>.Create; try for i := 1 to aList.Length - 1 do if not lookup.Contains(aList[i]) then begin lookup.Add(aList[i]); inc(j); aList[j] := aList[i]; end; finally lookup.Free; end; aList.Length := j; end; Der Aufwand ist hier O(n), wenn das Nachschlagen ('Contains') und Anfügen ('Add') an eine THashmap vom Aufwand O(1) ist. Das sollte aber so sein, da hier idR Hashlisten zum Einsatz kommen. Wegen der Floatwerte muss der Comparator der THashmap vermutlich angepasst werden. |
AW: Doppel schnell aus Lise löschen.
Vielleicht wäre es ja auch möglich, die doppelten Elemente gar nicht erst in die Liste aufzunehmen?
Also beim Einlesen der Daten in die Liste schon prüfen, ob der Wert schon enthalten ist. |
AW: Doppel schnell aus Liste löschen.
Dann hättest Du -rein theoretisch- das gleiche Performanceproblem bzw. Optimierungspotential
|
Alle Zeitangaben in WEZ +1. Es ist jetzt 09:34 Uhr. |
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz