Dateivergleich über Netzwerk

[Marco Steinebach]

Hallo zusammen,
ich habe ein Programm, dessen Dateien, auf die es zugreift, auf einem Netzwerklaufwerk liegen.
Um den Netzwerk-Traffik zu minimieren, habe ich mir folgendes überlegt:
ich speichere eine lokale Kopie aller Dateien. Sind Netzwerk- und lokale Version gleich, wird die lokale Version zum Lesen verwendet, sonst wird die Netzwerk-Version erst wieder lokal kopiert.
Gespeichert wird sowieso immer im Netzwerk um Inkonsistenzen zu verhindern.
Ich dachte, ich könnte einfach (im Pseudocode) sagen:
wenn das FileDate von Quelle und Ziel unterschiedlich ist, kopieren, sonst kannstde die lokale kopie nehmen.
1. Kann man das überhaupt so lösen?
2. gibt's dafür vielleicht gescheitere Strategien?

Für Antworten wäre ich sehr dankbar, ich hänge nämlich absolut fest! ;-)
Herzliche Grüße
Marco

[Aphton]

Joa, klingt eigentlich ok.. Ich würds halt aber nicht mit Datum sondern eher mit einem Hash machen - am besten ist, du legst eine Textdatei im Netzlaufwerk ab, wo dann (Datei,Hash) Tupel enthalten sind.. Du müsstest dann immer nur die Textdatei runterladen (minimale Netzwerkauslastung), dort drinnen dann die Hashes extrahieren und mit den Hashes der lokalen Daten überprüfen und bei Ungleichheit updaten..

[p80286]

Wenn Du wirklich das kopieren ersparen willst, dann solltest Du auch noch die Dateigröße vergleichen.
Eine weitere Möglichkeit wären Prüfsummen/Hashwerte der Netz-Dateien zu hinterlegen, aber wer garantiert das diese nach 1 Minute,30Minuten...12Stunden noch stimmen?

Also bleibt keine andere Möglichkeit als die Originaldatei zu lesen, Dann kannst Du auch gleich kopieren.

Gruß
K-H

[Der schöne Günther]

Wenn es dir nur um den Traffic geht, warum nicht eingebaute Windows-Bordmittel wie "Offline-Dateien"? Das ist doch, meine ich, extra dafür gemacht worden.

[p80286]

Zitat:

Zitat von Der schöne Günther (Beitrag 1263636)

Wenn es dir nur um den Traffic geht, warum nicht eingebaute Windows-Bordmittel wie "Offline-Dateien"? Das ist doch, meine ich, extra dafür gemacht worden.

OK, das gibt es als Datei-Attribut aber wie wendet man's praktisch an?

Gruß
K-H

[himitsu]

Wie wilst du die Dateien vergleichen?

Grundsätzlich bleibt da ja erstmal nur Dateigröße und eventuell Änderungsdatum.
Und wenn der Traffic gespart werden soll, dann maximal eine parieller Vergleich/Hash des Dateiinhalts (z.B. nur die ersten paar Byte/Kilobyte der Datei).


Alternativ müsste auf der anderen Seite des Netzwerks ebenfalls irgendein Programm laufen, von welches man den Hash der Datei(en) bekommt.

[jensw_2000]

Erzähl man etwas mehr zu der Zielumgebung.
Ab Windows Server 2008 / Windows 7 gibt es dafür sehr cool Lösungen wie Remotedifferenzialkomprimierung oder ab 2008 R2 Branch Cache.

Offline Dateien helfen Dir nicht weiter. Wenn Online, dann werden IMMER die Dateien vom Netzwerkshare geladen. Wenn Offline, dann immer die lokale Kopie. Der Sync erfolgt recht langsam im Hintergrund.

[Sir Rufo]

Die Schlagworte wurden ja schon genannte (Größe, Hash-Werte (z.B. MD5 und SHA1)) um zu erkennen, ob die lokale Datei eine exakte Kopie der Datei auf dem Netzlaufwerk ist.

Problematisch ist aber nun, wie man an die aktuelle Größe und die aktuellen Hash-Werte der Datei auf dem Netzlaufwerk kommt.

Hier führt eigentlich kein Weg daran vorbei auf der Netzwerkressource einen Dienst zu implementieren, der zu einem Dateinamen diese Informationen ermittelt und zurückgibt. Und wenn man schon dabei ist, dann kann der Dienst diese Datei auch gleich mit ausliefern.

Die Anwendung fragt nun nach einer Datei, bekommt vom Server-Dienst die Informationen über Größe und Hash-Werte der Datei auf dem Server. Nun schaut man, ob es im lokalen Cache solch einen Eintrag gibt, der diese Eigenschaften hat (Größe, Hash-Werte). Wenn ja, dann wird diese Datei ausgeliefert, wenn nicht, dann wird die Datei vom Server gelesen, im Cache abgelegt und dann von dort gelesen.

[Marco Steinebach]

Hallo zusammen,
ersteinmal ganz herzlichen Dank für eure Antworten.

Kurz zur Erklärung: Das Programm läuft auf mehreren Rechnern im lokalen Netz, und legt seine Dateien (Daten) auf einem Laufwerk ab. Ich weiß, ich weiß, SQL o.ä. wäre die elegantere Lösung, hab ich aber hier nicht. ;-)
d.h., wenn eine der laufenden Instanzen etwas speichert, ändert sich ja das Datum der Datei. Wenn nun irgendein Client, auch der, der gerade gespeichert hat, jetzt prüft, ob seine lokale Kopie mit der Netzwerk-Version übereinstimmt, sollte das ja nicht der Fall sein, weil die beiden Datumswerte unterschiedlich sind - denke ich, oder?
Brauch ich, in diesem Fall, die Hash-Prüfung überhaupt?
Serverseitig läuft ein Programm (wenn's auch kein Dienst ist ;-)), so daß auch die Abfrage bzw. Kommunikation über diesen Weg möglich wäre.
Den Traffik wollte ich minimieren, weil es, greift man über ein VPN auf's Netzwerk zu, dann einfach schneller geht wenn man nur das Datum vergleichen muß, die Dateien sind zwar nicht groß, aber auch 200 KB wollen übertragen werden.

Ich glaube, nach der Lektüre eurer Antworten, muß ich meine Frage präzisieren:
Ich kann mittels

Delphi-Quellcode:

GetFileTime

ja wunderschön alle drei Datums-Zeitwerte ermitteln und vergleichen.
Schreibe ich nun die lokale Kopie, muß ich...
welchen der drei Datumswerte, wie, ändern?

Viele Grüße
Marco

[Dejan Vu]

Wenn nur deine Anwendungen die Originaldatei ändern, und eine Änderung immer über das Datum erkennbar ist, dann reicht das doch (das Prüfen über das Datum).

Ich habe eine Anwendung, die läuft auch 100fach bei einem Kunden sowohl Anwendung als auch Konfigurationsdateien liegen im Netz. Wenn morgens alle Arbeiter die Anwendung im Netz starten würden, wäre das Netz doch ziemlich überlastet. Außerdem ist es dann nicht möglich ein Update einzuspielen. Also habe ich mir eine kleine Batchdatei geschrieben, die lokal ausgeführt wird und genau das macht, was Du vorhast:

1. Kopiere die Dateien aus dem Netz, wenn sie neuer sind als die lokale Kopie
2. Starte die lokale Kopie mit lokaler Konfiguration.

Wenn ich ein Update einspiele oder sich die Config verändert hat, geht eine Mail an alle raus 'Bitte beenden Sie die Anwendung bei Gelegenheit und starten diese dann neu'.

In einem anderen Fall macht das die Anwendung selbst, indem sie 1x pro Minute prüft, ob sich etwas am Datum der Netzanwendung geändert hat ("Huch? Die ist ja neuer als ich"), daraufhin beendet sich die Anwendung (nach Bestätigung durch den Benutzer). Die Batchdatei habe ich um eine dritte Zeile erweitert:

1. Kopiere die Dateien aus dem Netz, wenn sie neuer sind als die lokale Kopie
2. Starte die lokale Kopie mit lokaler Konfiguration.
3. Goto 1

Beenden geht dann: Die Konsole schließen, die die Batchdatei ausführt, danach die Anwendung schließen.