Okay, weniger als 4 TB sind wirklich sehr wenig. Wieso müssen es mehrere Server sein, die diesen Speicher halten?
>1k Clients hingegen sind ziemlich viel. Da kann ich deinen Wunsch nach Redundanz auch verstehen.
Mein Vorschlag wäre, dass du statt Master-Master (was im Storage-Bereich schnell kompliziert wird) einen Master-Slave Ansatz verfolgst. Zwei identische Storage Server mit einem erweiterbaren RAID (ich empfehle RAID 6). Da kannst du nach Belieben immer wieder Platten nachschieben.
Softwareseitig würde ich ein DRBD (sowas wie RAID 1 über Netzwerk) und Heartbeat vorschlagen. Der Master Server synchronisiert seine Daten permanent über eine schnelle Gigabit-Verbindung mit dem Slave. Fällt der Master Server aus, übernimmt der andere in wenigen Sekunden, indem er sich selbst zum Master
promotet. Der Master kann dann, sobald er wieder verfügbar ist, seine Rolle als Slave wahrnehmen. Das Vorgehen ist
hier gut beschrieben.
Eine Alternative, falls du wirklich mehrere Master benötigst, ist GlusterFS. Damit kannst du beliebig viele Server in dein Stroage-Cluster hinzufügen. GlusterFS unterstützt auch Redundanz der Daten, sodass alle Daten auch verfügbar sind, wenn ein Server dauerhaft oder temporär ausfällt. GlusterFS ist allerdings eher nach unten beschränkt als nach oben. Ob das mit nur 2 Servern schlau (oder überhaupt möglich) ist, wage ich zu bezweifeln.
Das Problem das du hast, ist, dass es immer einen Master braucht, der gleichzeitige Zugriffe auf deinen Storage kontrolliert. Darunter zählen auch Locks auf Dateien. Daher ist eine Aufteilung in zwei unabhängige Master nicht ohne weiteres möglich. Selbstverständlich kann man Storage auf mehrere Server aufteilen (Stichwort iSCSI). Man könnte dann ein RAID über die Netzlaufwerke erstellen und dieses freigeben. Fällt der Master, der dieses RAID freigibt allerdings aus, so fällt das gesamte Cluster aus. Daher mein Vorschlag mit DRBD und Heartbeat.
Vielleicht hilft dir das ein wenig weiter. Ansonsten wäre noch interessant, gerade in Bezug auf jaenickes Post, welches Betriebssystem vorgeschrieben ist. Auch Budget, Zeitaufwand und Kenntnisse mit entsprechender Software ist natürlich eine Frage. Kannst du genaueres über die Clients verraten?