Schau welche Objekte oder Zeichenanweisungen in das ClipRect des Canvas der PaintBox fallen (siehe dazu
IntersectRect()) und dann rufe im MouseMove nicht Invalidate auf sondern nur ein
InvalidateRect() für den Bereich, der aktuell sichtbar ist (also den unsichtbaren Bereich einfach nicht neuzeichnen).
Auch ist die Frage: warum zeichnest du ständig neu im MouseMove? Würde es nicht reichen dies nur zu tun, wenn aktiv was verschoben wird? zZ. braucht man in deinem Code z.B. nur Shift gedrück zu lassen beim Mouse Move und schon malt er...
Besser wäre hier doch ein InvalidateRect() nur für das gezogene Element mit dem Rechteck seiner Grösse in der alten Position/Ausmaß und danach nochmal in der neuen Position. Dies würde dann schon von Windows ordentlich kombiniert werden.