ReFS: Geplante Features und Abkündigungen

[himitsu]

[Beiträge wurden aus http://www.delphipraxis.net/167751-r...zurueck-2.html abgetrennt]
Irgendwer hatte hier im Forum mal behauptet, daß ADS in Win8 eh wieder abgeschafft wurde, somit währe das Argument gleich mal weg. :angle:
(ich glaub ich sollte langsam auch mal nachsehn, ob das auch stimmt)

Und nein, ich hab Delphi mit Lazarus extra nicht verglichen ... hier und da hat jeder seine Vor- und Nachteile.
Wollte nur erwähnen, daß Crossplattform nicht unbedingt ein Grund sein muß, um von Delphi auf Lazarus zu wechseln.

[Assarbad]

Zitat:

Zitat von himitsu (Beitrag 1162153)

Irgendwer hatte hier im Forum mal behauptet, daß ADS in Win8 eh wieder abgeschafft wurde, somit währe das Argument gleich mal weg. :angle:
(ich glaub ich sollte langsam auch mal nachsehn, ob das auch stimmt)

Man kann ADS nicht einfach abschaffen. Aber bei einem neuen Dateisystem (eben ReFS) kann man es von Beginn an weglassen ;)

Und selbst wenn es jetzt irgendwie auf zauberhafte Weise verschwände, würden wir auf Windowsversionen ab NT 3.51 bis inklusive Windows 7 noch immer damit konfrontiert.

Ich finde übrigens ADS äußerst nützlich und interessant. Das Problem ist wohl eher die stiefmütterliche Integration (oder deren komplettes Fehlen) im Win32-Subsystem. Und dafür ist MS nunmal ganz allein verantwortlich.

[himitsu]

Joar, daß es ein Feature vom Dateisystem ist und man es da schlecht rausbekommt, war mir schon klar, aber man könnte es ja auch aus dem Dateisystemtreiber weglassen, man hätte ja für Win8 den alten NTFS-Treiber neu aufsetzen können.

Und wegen dem ReFS ... Ohhh, haben die es doch noch geschafft ... dachte schon die hatten langsam mal aufgegeben ... NTFS sollte ja schon vor mehreren Jahren ersetzt werden. :roll:

Und ja, ADS find ich eigentlich auch recht praktisch ... hatte schon fast Angst für ein Projekt, welches diese nutzen sollte, wozu ich aber einfach noch nicht gekommen bin es anzufangen. :cry:
Gibt es für Linux/Mac eigentlich auch sowas ähnliches? (OK, abgesehn davon die Daten sonstwohin umzuleiten/abzulegen)

[Assarbad]

Zitat:

Zitat von himitsu (Beitrag 1162159)

Joar, daß es ein Feature vom Dateisystem ist und man es da schlecht rausbekommt, war mir schon klar, aber man könnte es ja auch aus dem Dateisystemtreiber weglassen, man hätte ja für Win8 den alten NTFS-Treiber neu aufsetzen können.

Abwärtskompatibilität?! Ich glaub in jedem Lexikon wirst du bei dem Begriff finden, daß er von Microsoft erfunden wurde (Scherz!).

NTFS hat eine Spezifikation und es gibt gewisse Grade von Abwärts- und Vorwärtskompatibilität die man "nicht mal eben so" über Bord werfen kann, wenn man nicht den kompletten Überblick über die Software hat (und das haben sie nicht, lies mal Raymond Chen's Blog ... die sind selber immer wieder verwundert und werden von alten Fehlern geplagt ;)).

Zitat:

Zitat von himitsu (Beitrag 1162159)

Und wegen dem ReFS ... Ohhh, haben die es doch noch geschafft ... dachte schon die hatten langsam mal aufgegeben ... NTFS sollte ja schon vor mehreren Jahren ersetzt werden. :roll:

Dabei handelte es sich aber um einen anderen Versuch der meines Wissens nach wirklich eingestellt wurde.

Zitat:

Zitat von himitsu (Beitrag 1162159)

Gibt es für Linux/Mac eigentlich auch sowas ähnliches? (OK, abgesehn davon die Daten sonstwohin umzuleiten/abzulegen)

Auf Macs werden die Resource Forks gern mit den ADS verglichen und werden glaub ich über Samba auch mit der gleichen Semantik dargestellt.

[implementation]

Die ADS kannte ich noch gar nicht wirklich. Hab mir mal die Beschreibung auf Wiki angesehen, aber kann mir einfach keine sinnvolle Verwendung vorstellen.
Habe ich das richtig verstanden, dass einfach Daten vor dem Nutzer in andern Dateien versteckt werden? Das empfinde ich nicht als sonderlich nett dem Nutzer gegenüber :gruebel:

Vielleicht reicht auch einfach mein Tellerrand nicht aus, einen Verwendungszweck zu sehen :nerd:

[Assarbad]

Zitat:

Zitat von implementation (Beitrag 1162167)

Die ADS kannte ich noch gar nicht wirklich. Hab mir mal die Beschreibung auf Wiki angesehen, aber kann mir einfach keine sinnvolle Verwendung vorstellen.

Eine der derzeitigen Anwendungen ist dort sogar ausdrücklich genannt: Internet Explorer und Firefox speichern in ADS die Information daß die Datei heruntergeladen wird. Die Shell (üblicherweise der Explorer) nutzt das dann als Anhaltspunkt um den Benutzer nochmals zu fragen ob er der Quelle der Datei vertraut (ähnlich wie dies der UAC-Dialog auch tut). Diverse Stg*-Funktionen (bspw. StgCreatePropSetStg) setzen meines Wissens nach auch auf ADS auf - zumindest auf Systemen die dies unterstützen. MS Office benutzt diese Funktionalität.

Zitat:

Zitat von implementation (Beitrag 1162167)

Habe ich das richtig verstanden, dass einfach Daten vor dem Nutzer in andern Dateien versteckt werden? Das empfinde ich nicht als sonderlich nett dem Nutzer gegenüber :gruebel:

Nein. "Versteckt" erscheint es nur weil zu wenige Programme in Windows überhaupt ADS-fähig sind. Das kann man aber schwerlich den ADS anlasten. WinRAR ist bspw. seit langem ADS-fähig und kann ADS mit in den Archiven speichern und danach auch wiederherstellen.

Die Win32-APIs zum Thema (mit Ausnahme der Backup-APIs, welche spezielle Rechte benötigen), sind aber quasi nicht existent. Benutzer müssen also auf der Native API aufsetzend die ADS-Fähigkeit in ihr Programm einbauen: mind. NtQueryInformationFile.

Ich will aber - aufgrund meines beruflichen Hintergrunds - nicht unerwähnt lassen, daß Malware auch ADS mißbraucht. Beispielsweise ist es in den letzten Jahren in Mode gekommen ADS an Verzeichnisse anzuhängen (ja, auch die können ADS haben) und dort Programme oder DLLs (jedenfalls Code) zu "verstecken" (in dem Sinn den du wohl meintest). Das ist aber nur deshalb möglich, weil MS nach wie vor keine ADS offiziell in der Win32-API unterstützt.

Ach noch eins: ich könnte mir vorstellen, daß dies (@himitsu) die Begründung liefern könnte, die ADS ohne Begründung zu streichen - auch auf NTFS. Denn die Native API wird zwar de-facto benutzt, von MS aber auch de-facto nicht unterstützt (bis auf die seeeeehr wenigen Ausnahmen in winternl.h).

[Luckie]

Redet ihr von sowas: http://www.michael-puff.de/Programmi...ikel/ADS.shtml ? In wie fern unterstützt die WinAPI das nicht?

[mkinzler]

Das Problem an ADS ist m.E., dass sie nicht konsequent integriert und umgesetzt sind (Explorer). Es gibt zawr wenig Programme, wie Olli schon schrieb, welche diese sinnvoll einsetzen.
Aber man benötigt Fremdprogramme um sie aufzudecken, da der Explorer sie nicht anzeigt; deshalb nutzte verschiedene Malware dies auch aus. Aber anstatt diese abzuschaffen, solle man eher den Missbrauch erschweren, in dem man das Vorhandensein im Explorer anzeigt.

[Assarbad]

Zitat:

Zitat von Luckie (Beitrag 1162171)

Redet ihr von sowas: http://www.michael-puff.de/Programmi...ikel/ADS.shtml ? In wie fern unterstützt die WinAPI das nicht?

Nunja. Dann mach mal folgende Hausaufgabe:

Zitat:

Ermitteln Sie ohne spezielle Rechte zu benutzen (sprich, die Backup-API fällt raus) die Datenströme die ein Verzeichniseintrag außer dem Standarddatenstrom noch hat.

Bonusaufgabe: geben Sie eine weitere Alternative zu der gefundenen Lösung, welche nicht die Backup-API benutzt.

Auf die Plätze - fertig - LOS!

[Luckie]

Mist, ich hätte es besser wissen sollen, wenn Olli im Thread postet. :(

[Assarbad]

Zitat:

Zitat von Luckie (Beitrag 1162178)

Mist, ich hätte es besser wissen sollen, wenn Olli im Thread postet. :(

Nichts für ungut :) ... stell mich doch nicht als ach so grausamen Gesellen hin ;)

Habe mir deinen Code angeschaut. Du benutzt natürlich die Backup-API (wie es die meisten auch für Hardlinks bis Windows 2000 und danach noch taten, obwohl ja MoveFileEx zum Erstellen schon ab NT 3.51 funzte). Ich wollte nur darstellen, daß die Unterstützung im Win32-Subsystem nicht ausreichend ist ohne auf die Native API zurückzugreifen (klick) oder die internen Strukturen des Dateisystems zu parsen (wäre die Bonusantwort gewesen, also DeviceIoControl und Freunde, was aber wieder gewisse Rechte erfordert) ...

(Auch zum Auflisten von Hardlinks bedarf es so einiger Krücken ...)

[jaenicke]

Zitat:

Zitat von himitsu (Beitrag 1162153)

Irgendwer hatte hier im Forum mal behauptet, daß ADS in Win8 eh wieder abgeschafft wurde, somit währe das Argument gleich mal weg. :angle:
(ich glaub ich sollte langsam auch mal nachsehn, ob das auch stimmt)

Es stimmt teilweise.
ADS (wie auch Hard Links, Komprimierung, EFS, ...) werden beim neuen Dateisystem ReFS in Windows 8 nicht mehr unterstützt. Dieses gibt es zwar erstmal nur in der Serverversion und kann auch (noch?) nicht zum Booten oder für Wechseldatenträger benutzt werden, aber das mag sich ja alles noch ändern. Zumindest die spätere Verfügbarkeit in Clients ist ja schon angekündigt.
In NTFS hingegen bleiben diese Funktionalitäten erhalten, wobei NTFS mit Storage Spaces auch noch eine Erweiterung enthält, die auch in ReFS zur Datensicherheit enthalten ist.

[Assarbad]

Zitat:

Zitat von jaenicke (Beitrag 1162191)

Es stimmt teilweise.
ADS (wie auch Hard Links, Komprimierung, EFS, ...) werden beim neuen Dateisystem ReFS in Windows 8 nicht mehr unterstützt.

Irgendwelche Quellennachweise? Gerade Hardlinks kann ich mir nicht vorstellen. Wie sollen da RIS oder auch SxS noch funktionieren. Gerade bei SxS würde das zu einer außerordentlichen Speicherverschwendung führen. Und Deduplizierung auf nem Server ohne Hardlinks (via RIS), na ich weiß ja nicht.

Komprimierung auf Dateisystemebene wie in NTFS ist anachronistisch, so gesehen wech damit. EFS ist quasi heute schon nicht mehr aktuell ... ADS haben einen begrenzten Nutzen und sind nicht gut im System integriert. Aber Hardlinks?

[jaenicke]

Zitat:

Zitat von Assarbad (Beitrag 1162192)

Irgendwelche Quellennachweise?

Klar, grad nochmal kurz gesucht:

Zitat:

Q) What semantics or features of NTFS are no longer supported on ReFS?

The NTFS features we have chosen to not support in ReFS are: named streams, object IDs, short names, compression, file level encryption (EFS), user data transactions, sparse, hard-links, extended attributes, and quotas.

http://blogs.msdn.com/b/b8/archive/2...dows-refs.aspx
http://blogs.msdn.com/b/b8/archive/2...fficiency.aspx
Da gab es noch ein wenig mehr, aber das finde ich gerade nicht...

Zitat:

Zitat von Assarbad (Beitrag 1162192)

Gerade Hardlinks kann ich mir nicht vorstellen.

Es gibt ja noch ein paar andere Features dieser Art, die es auch noch gibt:

Zitat:

In addition, ReFS inherits the features and semantics from NTFS including BitLocker encryption, access-control lists for security, USN journal, change notifications, symbolic links, junction points, mount points, reparse points, volume snapshots, file IDs, and oplocks.

[Assarbad]

Danke. Bin doch leicht geschockt in Sachen Hardlinks.

• user data transactions - Braucht ReFS nicht mehr, logisch.
• sparse - hat nur einen begrenzten Wert, auf Servern aber durchaus nicht zu vernachlässigen.
• hard-links - siehe oben, ich kapier's nicht
• extended attributes - Hätte erwartet daß die einen Teil dessen abfangen was mit ADS verloren geht
• quotas - Whoa, noch so ein Hammer. Die kamen erst in Windows 2000 (NTFS 5) hinzu ...

Bei den bleibenden Features bin ich nicht so sehr erstaunt ...

• BitLocker encryption - klaro, das ist der moderne Ersatz für EFS
• access-control lists for security - ohne würden sie keine Geschäfte mit der US-Regierung mehr machen können
• USN journal - cool
• change notifications - Abwärtskompat.
• symbolic links - wäre ein Witz die in Vista eingeführten Symlinks schon wieder rauszuwerfen
• junction points - na ein Glück - ich benutze sie ebenso intensiv wie Hardlinks
• mount points, reparse points - ditto ... sind ohnehin intern das gleiche die drei vorgenannten
• volume snapshots - yay!
• file IDs - könnten sie nicht anders machen, sogar FAT32 auf NT hat File IDs wenn auch nicht persistent
• oplocks - ich wäre geschockt, wäre es anders

Der Unterschied zwischen "Storage Spaces" und "Dynamic Disks" erschließt sich mir auch noch nicht so ganz.

[jaenicke]

Zitat:

Zitat von Assarbad (Beitrag 1162194)

Der Unterschied zwischen "Storage Spaces" und "Dynamic Disks" erschließt sich mir auch noch nicht so ganz.

Letztere habe ich nie ernsthaft benutzt, aber es wäre mir neu, dass damit z.B. thin provisioning oder hot-spares möglich wären um mal nur zwei Beispiele zu nennen.

// EDIT:
Und du dir mal die Screenshots anschaust, sieht mir das auch nach einer guten Integration in die Systemsteuerung aus.

[himitsu]

OK, die Komrpimierung ist nicht sonderlich gut (für sowas wie Textdateien/Logfiles ist es allemale ausreichend).
Und welche andere Dateikomrpimierung kann von sich behaupten, daß sie kaum einen Overhead hat, wen man mitten in dieser Datei was verändert? (im Prinzip alle großen Komprimierungsprogramme müssen dafür die komplette Datei erstmal entpacken, bis auf NTFS)

SparseFiles liegen dann auch weg? Ist doch bescheuert. :cry:

Und EFS ... Also die Zugriffsrechte kann man total vergessen, die lassen sich ja sowas von leicht umgehn (vorallem wenn Windows nicht läuft), wogegen EFS doch wohl noch als sicher anzusehn ist,
die einzige native Sicherheit des Dateisystems darstellt, ohne daß man zusätzliche Programme (z.B. TrueCrypt) installieren muß.

Nunja, HardLinks sind doch unsicher, für ein "sicheres" Dateisystem.
Sicher = nicht Sicher im Zugriff vor dem Bösen ... sondern sicher, so daß es nicht kaputt geht (Datenverlust).

mount points: Man kann kein Laufwerk/Partition mehr als Verzeichnis mounten?
Ist doch blöd, denn dieses Feature nutze ich, damit eine meiner Festplatten nicht ständig hochläuft, nur weil mal wer z.B. in Destktop/Computer alle Laufwerke auflisten will.

volume snapshots: Und daß wo grade in Win7 (vielleicht auch schon Vista) der ShadowService viel genutzt wird.

Auf USN kann ich uch gut verzichten, aber wer wissen will was auf seiner Platte los war, für den soll das doch angeblich ganz praktisch gewesen sein (wenn ich das richtig verstanden hab).

change notifications: Toll, und wie soll man dann verzeichnisse überwachen können?
Wenn jetzt jeder kleine Programmierer anfängt globale Hooks zu instllieren, na dann Danke. :wall:

File IDs: Eigentlich doch recht pracktisch, um Dateien mit wenig Speicher (kleiner ID, anstatt langem Pfad) anzusprechen und sich zu merken.

[mkinzler]

@Frank: Diese unteren Punkte bleiben bestehen :)

[himitsu]

:oops:
Na dann hatte ich's wohl im Halbschlaf irgendwie falsch verstanden.
Irgendwie war ich bei Ollis Aufzählung davon ausgegangen > oben ganz schlimm > unten, nja egal, dann isses halt weg. :stupid:


Aber dennoch SparceFiles und die Kompression sind eine nette Angelegenheit.
Die Tansaktionen sind doch auch eine gutes Feature.
Für mein kleines Setup setze ich diese ein, falls was beim Installieren schief läuft. (Dateisystem und Registry)
Und wie können Administratoren ohne Quotas überleben? Die User müllen denen doch glatt die Platte Storage voll.


Duhu, MK?
Könntest du das Threadende eventuell ein bissl nch drüben schupsen?

[Assarbad]

Zitat:

Zitat von himitsu (Beitrag 1162218)

Nunja, HardLinks sind doch unsicher, für ein "sicheres" Dateisystem.
Sicher = nicht Sicher im Zugriff vor dem Bösen ... sondern sicher, so daß es nicht kaputt geht (Datenverlust).

Inwieweit? Erläutere mal bitte inwieweit das deiner Meinung nach die Datensicherheit berührt. Für mich sind das einfach weitere Referenzen zum gleichen Dateiobjekt.

[Assarbad]

Zitat:

Zitat von himitsu (Beitrag 1162235)

Aber dennoch SparceFiles und die Kompression sind eine nette Angelegenheit.

Wobei man ähnlich selten wie bei ADS Anwendungen findet die sie benutzen. Aber zumindest geht das über Win32 :)

Zitat:

Zitat von himitsu (Beitrag 1162235)

Die Tansaktionen sind doch auch eine gutes Feature.

Wird aber zur Datensicherheit/-zuverlässigkeit offenbar nicht mehr gebraucht. Das war ja sozusagen der Haupteinsatzgebiet. Es gibt derzeit eine schöne Diskussion zur Semantik des NTFS-Dateisystems auf der OSR-Mailingliste für Kernelentwickler. Da geht es unter anderem Darum wie sich MS sicher sein kann, daß etwas auf dem Datenträger ist (denn die Hardware lügt manchmal). Und ja mir ist bewußt daß Transaktionen noch für weitere Dinge verwendet werden können und sollten. Seltsam finde ich es insofern schon, wenn das rausfliegt.

Zitat:

Zitat von himitsu (Beitrag 1162235)

Und wie können Administratoren ohne Quotas überleben? Die User müllen denen doch glatt die Platte Storage voll.

Kapier ich auch noch nicht. Allgemein halte ich es für einen Rückschritt :| ... aber das geht mir bei Metro (auf dem Desktop) auch so. Man wird's ja sehen ...