Ich würde das Design von der Logik trennen. Sprich, du hast deine Daten, die du abspeicherst und eine Routine, die aus diesen Daten die Panels platziert/färbt.
Dann bist du nicht auf die Panels angewiesen und könntest später problemlos deine
GUI z.B. mit TCanvas lösen (nur als Beispiel).
Dazu musst du dann nur die Routine anpassen, die die Daten verarbeitet.