Upload großer Dateien

[OlliWW]

Hallo,

Ich möchte aus meiner Anwendung per HTTP(s) Dateien auf meinen Webserver übertragen. Diese Dateien sind sehr groß (immer < 1 GB, bis zu 20 GB).

Nun könnte ich mit den Indy HTTP Komponenten einfach einen Stream "Posten" und so die Daten an meinen Webserver übergeben. Ich habe nun allerdings schon vielfach gelesen, dass es bei großen Dateien zu Problemen mit der Dateigröße kommt, da diese dann zunächst in den Arbeitsspeicher geladen wird und dann in einem Stück gepostet wird.

Kennt jemand einen guten Weg, große Dateien per HTTPS zu übertragen? Vielleicht eine Komponenten die die File in Chunks aufteilt oder ähnliches?

Andere Protokolle (FTP, SFTP,...) kommen leider nicht in Frage.

[Der schöne Günther]

Ohne wirklich etwas in der Richtung gemacht zu haben würde ich behaupten dass die angesprochenen Probleme daher kommen, wenn man die Dateien (die ja schon irgendwo auf der Platte liegen) wirklich mit Methoden wie LoadFromFile(..) oder ähnliches reinlädt oder an Indy übergibt.

Ich habe mit Indy nie viel gemacht, aber neben Dateien hat das Ding garantiert Unterstützung für Streams. Dann nimmst du einen TFileStream (oder TBufferedFileStream) und gibst das weiter.

[himitsu]

Unabhängig davon, ob die Übertragung über den RAM, eine FileCahe oder direkt abläuft, hat z.B. PHP (was ist dein WebServer?) einige LIMITs bei der Größe der POST-Daten und dem RAM.
https://stackoverflow.com/questions/...a-post-request

Auch deswegen übertragen viele Webseiten Uploads via JavaScript (AJAX und Co.) ... teilen es da auf und führen intern z.B. mehrere HTTP-Requests durch.



Es gibt auch WebDAV-Implementationen die mit PHP/JavaScript laufen und in "normale" Webseiten integriert werden könnten.
Als Beispiel ist z.B. im ownCloud sowas drin

[OlliWW]

Über die Serverseite hatte ich mir auch schon Gedanken gemacht.

Wenn man den Upload aufteilen will, dann müsste man auf der Programm-Seite den Stream auch in "Chunks" aufteilen und irgendwie ein intelligentes Script auf der Serverseite schreiben, dass die Chunks wieder zusammenbaut.

Ich denke ich könnte das alles implementieren, ich hatte aber gehofft, dass es dafür schon ein Framwork gibt.

Aufteilen hätte auch den Vorteil, dass man das sogar multithreaded laufen lassen könnte, um mehr Bandbreite zu nutzen.

[KodeZwerg]

Zitat von OlliWW:

Aufteilen hätte auch den Vorteil, dass man das sogar multithreaded laufen lassen könnte, um mehr Bandbreite zu nutzen.

Vorweg, ich bin kein Internet/Delphi experte.

Das verstehe ich nicht, sind deine einzelnen Verbindungen von der Gesamtbandbreite beschränkt so das ein multi-connect tatsächlich mehr speed bringt?

Ansonsten würde ich meinen das so ein vorhaben eher kontra-produktiv ist da immer ein Paket auf ein anderes warten muss um wieder ein ganzes zu werden.

[himitsu]

Eventuell/Vermutlich kannst bei deinem Webserver auch etwas über CGI oder ASP nachrüsten
und z.B. am PHP vorbei mit Perl oder Python und in Windows-Servern sogar als EXE/DLL.
http://www.virtualuniversity.ch/soft...mierung/1.html

Mit einem Rootserver (auch bei virtual und dedicated) wäre aber etwas Eigenes via TCP/IP bestimmt einfacher
und kann man auch über JavaScript clientseitig von der Webseite ansprechen.
Bei uns redet z.B. demnächst ein WebClient mit dem in Delphi geschriebenem DataSnap-Server (REST).

Für andere Platformen, wie z.B. Adroid auf einem Tablet mit Laser-Barcodescanner, nutzen wir kein Delphi. (Embarcadero war da einfach zu langsam und hat es verkackt)