Problem mit Freisetzung von FileStream und Frage zum IdHTTP Datei Download

[Athris]

Guten Morgen,

anknüpfend an meinen Thema Threads habe ich nun eine Situation die für mich unverständlich ist. Ich bastel zurzeit an ein Programm welches Dateien aktualisiert. Die Aktualisierung und der Download findet in einem eigenen Thread statt. Im ersten Schritt hole ich mit die ContentLength der Datei im Web und die Größe der Datei (falls diese existiert) von der lokalen Datei. Ist die Größe unterschiedlich so wird die Datei an die Downloadmethode weitergeleitet. Die Downloadmethode löscht im ersten Schritt die lokale Datei (falls diese existiert) und beginnt dann mit dem Download. Den Download splitte ich in Chunks auf und lade dadurch immer Teilstücke.

Quellcode der DateiDownload Methode:

Delphi-Quellcode:

procedure TUpdateThread.DateiDownload(strUrl, strLocalFile:String);
var
  flgexit:Boolean;
  intLength, intRangeEnd, intStartLength: Int64;
  IdDateiDownload: TIdHTTP;
  fileDatei: TFileStream;
begin
  IdDateiDownload := TIdHTTP.Create(nil);
  fileDatei:=nil;
  try
    try
      IdDateiDownload.ConnectTimeout := 10000;
      IdDateiDownload.ReadTimeout := 10000;
      IdDateiDownload.Head(strUrl);
      intStartLength := 0;
      intLength := IdDateiDownload.Response.ContentLength;

      //Ermittel die Startgröße
      if FileExists(strLocalFile) then begin
        fstrProtText := 'Die '+strLocalFile+' Datei existiert bereits und wird nun gelöscht';
        fflgProtCaption := false;
        Synchronize(AddProt);
        DeleteFile(strLocalFile);
      end;

      //Setze die Progressbar
      fintProgressStartPosition := intStartLength;
      fintProgressMaxPosition := intLength;
      Synchronize(MainDownloadProgressBegin);

      fstrProtText := 'Lade die Datei '+ExtractFileName(strLocalFile)+' herunter';
      fflgProtCaption := true;
      Synchronize(AddProt);

      flgexit := false;

      //Prüfe ob Datei verwendet wird
      repeat
        fileDatei:=nil;
        if not FileExists(strLocalFile) then begin
          fileDatei := TFileStream.Create(strLocalFile, fmCreate);
        end
        else begin
          fileDatei := TFileStream.Create(strLocalFile, fmOpenReadWrite);
          flgexit := fileDatei.Size >= intLength;
          if not flgexit then
            fileDatei.Seek(Max(0, fileDatei.Size-4096), soFromBeginning);
        end;
        try
          intRangeEnd := fileDatei.Size+50000;

          if intRangeEnd < intLength then begin
            IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-'+ IntToStr(intRangeEnd);
          end
          else begin
            IdDateiDownload.Request.Range := IntToStr(fileDatei.Position) + '-';
            flgexit := true;
          end;
          IdDateiDownload.Get(strUrl, fileDatei);
        finally
          fileDatei.Free;
        end;
        if intRangeEnd < intLength then begin
          fintProgressPosition := intRangeEnd;
          Synchronize(MainDownloadProgressWork);
        end
        else begin
          fintProgressPosition := intLength;
          Synchronize(MainDownloadProgressWork);
        end;
      until (flgexit OR Terminated);
      IdDateiDownload.Disconnect;
    except
      on E : Exception do
      Begin
        MessageDlg('Bei dem Herunterladen von Dateien ist ein Fehler aufgetreten: '+E.Message, mtError, [mbOK], 0);
      end;
    end;
  finally
    IdDateiDownload.Free;
  end;
end;

Wie zu sehen ist wird bei einer existierenden Datei diese erst einmal gelöscht (um eventuell eine ältere, falsche oder nicht vollständig heruntergeladene Version der Datei zu entfernen. Im Anschluss daran erstelle ich einen Filestream und downloade den ersten Teil. Danach knüpfe ich an den bestehenden Filestream an und downloade das nächste Stück. Bis letztendlich die Datei vollständig heruntergeladen ist.

Nun zu meinem Problem:
Bei manchen Dateien kommt es vor das völlig willkürlich mitten im Downloadprozess der Quellcode in eine Exception läuft und die Exception Meldung folgendes mitteilt:
Fehler

Das tritt völlig willkürlich auf egal ob die Datei nur 8MB oder 1500MB groß ist. Beim debuggen erscheint die Meldung natürlich nicht (also wenn ich Schritt für Schritt durchgehe). Es wirkt so auf mich als ob nach einem Chunk Download die Datei nicht korrekt freigegeben wird. Ich sehe nur keine Stelle in meinem Quellcode wo dies der Fall sein könnte. Des Weiteren ist die Geschwindigkeit an sich unheimlich träge. Für 8 MB brauche ich z.B. knapp 20 Sekunden und dass bei knapp 1MB/s Downloadrate (getestet bei einem Direktdownload über Firefox).

Jetzt werden sich bestimmt einige Fragen: "Warum lädst du nicht die Datei an einem Stück runter?". Würde ich gerne, doch dann funktioniert meine Vergleichsmethode nicht mehr. Sobald ich z.B. eine 8 MB Datei Downloade und mitten im Downloadprozess schließe ich das Fenster, so liegt auf der Festplatte die Datei bereits mit 8 MB als Größenangabe, weil der Filestream direkt diese 8 MB reserviert. Dabei ist ab Zeile X einfach nur noch "Nichts" eingetragen, da der Download ja abgebrochen wurde. Beim nächsten Programmstart vergleiche ich die Größen und tada die Größen sind gleich, obwohl die lokale Datei defekt ist. Vielleicht hat hier jemand einen Lösungsansatz?

Ich stehe leider mit der Situation absolut auf dem Schlauch und würde mich sehr freuen falls mir jemand helfen kann

[Union]

Du lädst eine .exe herunter? Vielleicht schlägt der Virenscanner dort zu?

[TiGü]

Gibt es nur eine laufende Instanz von TUpdateThread oder mehrere?
Die treten sich dann natürlich auf die Füße, wenn mehrere Filestreams auf eine Datei zugreifen.

Hilfreich wäre es auch für uns, wenn du ein kurzes Testprojekt erstellst und hier gezippt anzuhängst.
So sehen wir schneller, woran es scheitert, anstatt mühsam Zeile für Zeile deine Methode zu durchdenken.
Abgesehen davon fehlen uns ja auch entscheidene Teile deiner Anwendung. Vielleicht ist der Fehler ganz woanderes.

[Athris]

Der Thread wird nur einmal im FormActivate der main.pas gestartet.

Virenscanner könnte natürlich sein, da das Problem bisher nur bei Exe Dateien aufgetreten ist wäre dies sehr wahrscheinlich. Nur kann ich den User wohl nicht dazu nötigen seinen Virenscanner zu deaktivieren

Ein Testprojekt kann ich leider nicht zur Verfügung stellen.

[TiGü]

Zitat von Athris:

Ein Testprojekt kann ich leider nicht zur Verfügung stellen.

Wieso nicht?
Einfach ein neues kleines Projekt mit einen Formular erstellen und da die Unit mit den Thread reinpfrimeln, bissel Komponenten draufgeklatscht (halt so ähnlich wie im richtigen Projekt) und fertig.
Keiner verlangt, dass du dein richtiges Projekt hochlädst.

[baumina]

Mach ne Zip-Datei und lad die runter, die ist zudem auch noch kleiner als so ne exe.

[Union]

Du könntest due Dateien zunächst unter einem anderen, temporären Namen speichern. Nach dem erfolgreichen Download benennst Du sie um. Damit erledigst Du beide Probleme (Virenscanner und unvollständige Downloads). Die meisten Browser machen es ähnlich.

[Athris]

Ich lade ja auch weitere Exe Dateien runter bei denen nichts passiert. Wäre die Variante den Download an einem Stück durchzuführen keine alternative? So hätte der Virenscanner doch kein Zugriff auf die Datei solang der Filestream offen ist, oder?

[Union]

Wie sieht denn der CallStack aus? Tritt der Fehler beim DeleteFile oder bei einem von den TFileStream.Create auf?

[TiGü]

Ich habe einen Verdacht!
Bitte starte deinen Thread nicht im OnActivate, sondern im OnCreate.

Also statt:

Delphi-Quellcode:

procedure TfrmMain.FormActivate(Sender: TObject);
var
  pntUpdateThread: TUpdateThread;
begin
  pntUpdateThread := TUpdateThread.Create(true);
  pntUpdateThread.FreeOnTerminate := True;
  pntUpdateThread.Resume;
end;

Delphi-Quellcode:

procedure TfrmMain.FormCreate(Sender: TObject);
var
  pntUpdateThread: TUpdateThread;
begin
  pntUpdateThread := TUpdateThread.Create(true);
  pntUpdateThread.FreeOnTerminate := True;
  pntUpdateThread.Start;
end;

Es kann nämlich durchaus sein, dass OnActivate mehrfach aufgerufen wird, das startet deinen Thread neu und ruckzuck gibt es zwei oder mehr Instanzen von deinen Thread, die alle auf das gleiche Dateihandle rummachen wollen.