IdUDPServer hat manchmal Datenverlust --> wie macht das Wireshark?

[Poolspieler]

Hallo jaenicke,
das ist auch ein guter Ansatz.
Aber woher weiß der Empfangsthread, ob der verarbeitende Thread die Daten schon abgeholt hat? Stichwort "Pufferüberlauf"...
Das aktualisieren der Pointer muss aber trotzdem synchronisiert erfolgen oder?
Oder sind Pointer threadsave?

Gruß,

Poolspieler

[Sir Rufo]

Hier mal so ein grober Entwurf, der aber schon tut

UPDATE
Eine kurze Erklärung

Der TMessageQueueThread<T> ist selber nicht threadsafe und nur dazu gedacht von einem einzigen Thread gefüttert zu werden. Sollen die Nachrichten von mehreren Threads zusammengeführt werden, so wird zusätzlich noch eine weitere threadsafe Queue benötigt, die dann von den TMessageQueueThread gefüttert wird, jetzt aber entkoppelt vom eigentlichen Tread, der die Nachrichten produziert.

Jede Art der Synchronisierung würde den eigentlichen Thread wieder ausbremsen und das gilt es hier ja ausdrücklich zu vermeiden.

Delphi-Quellcode:

unit Unit1;

interface

uses
  System.SysUtils,
  System.Classes,
  System.SyncObjs,
  System.Generics.Collections;

type
  TMessageQueueThread<T> = class( TThread )
  private
    FQueueProc: TProc<T>;
    FInQueue, FOutQueue: TQueue<T>;
    FEvent: TEvent;
  protected
    procedure Execute; override;
    procedure DoProcessQueue( AQueue: TQueue<T> );
    procedure TerminatedSet; override;
  public
    constructor Create( AQueueProc: TProc<T> );
    destructor Destroy; override;

    procedure Enqueue( const AItem: T );
  end;

  TReceiveThread = class( TThread )
  private
    FMessageQueue: TMessageQueueThread<string>;
    FFMTset: TFormatSettings;
  protected
    procedure Execute; override;
  public
    constructor Create( AProc: TProc<string> );
    destructor Destroy; override;
  end;

implementation

{ TRelayQueueThread<T> }

constructor TMessageQueueThread<T>.Create( AQueueProc: TProc<T> );
begin
  inherited Create( False );
  FEvent := TEvent.Create( nil, False, False, '' );
  FQueueProc := AQueueProc;
  FInQueue := TQueue<T>.Create;
  FOutQueue := TQueue<T>.Create;
end;

destructor TMessageQueueThread<T>.Destroy;
begin
  inherited;
  FInQueue.Free;
  FOutQueue.Free;
  FEvent.Free;
end;

procedure TMessageQueueThread<T>.DoProcessQueue( AQueue: TQueue<T> );
begin
  while AQueue.Count > 0 do
    begin
      FQueueProc( AQueue.Peek );
      AQueue.Dequeue;
    end;
end;

procedure TMessageQueueThread<T>.Enqueue( const AItem: T );
begin
  FInQueue.Enqueue( AItem );
  FEvent.SetEvent;
end;

procedure TMessageQueueThread<T>.Execute;
begin
  inherited;
  while not Terminated do
    begin
      FEvent.WaitFor( );

      if Terminated
      then
        Exit;

      // Queues tauschen
      FOutQueue := TInterlocked.Exchange < TQueue < T >> ( FInQueue, FOutQueue );
      // Queue verarbeiten
      DoProcessQueue( FOutQueue );
      // Queue leeren, nur für alle Fälle, sollte ja eh jetzt leer sein :o)
      FOutQueue.Clear;
    end;
end;

procedure TMessageQueueThread<T>.TerminatedSet;
begin
  inherited;
  FEvent.SetEvent;
end;

{ TReceiveThread }

constructor TReceiveThread.Create( AProc: TProc<string> );
begin
  inherited Create( False );
  FFMTset := TFormatSettings.Create( '' );
  FMessageQueue := TMessageQueueThread<string>.Create( AProc );
end;

destructor TReceiveThread.Destroy;
begin
  inherited;
  FMessageQueue.Free;
end;

procedure TReceiveThread.Execute;
var
  LMsg: string;
begin
  inherited;
  while not Terminated do
    begin
      LMsg := FormatDateTime( 'hh:nn:ss.zzz', Now, FFMTset );
      FMessageQueue.Enqueue( LMsg );
    end;
end;

end.

Der ReceiveThread ist jetzt nur zum Testen des MessageQueueThread da

Und der Test mit der Synchronisierung

Delphi-Quellcode:

unit Form.Main;

interface

uses
  Unit1,

  Winapi.Windows, Winapi.Messages, System.SysUtils, System.Variants, System.Classes, Vcl.Graphics,
  Vcl.Controls, Vcl.Forms, Vcl.Dialogs, Vcl.StdCtrls;

type
  TForm1 = class( TForm )
    Button1: TButton;
    ListBox1: TListBox;
    procedure Button1Click( Sender: TObject );
  private
    FTestThread: TReceiveThread;
    procedure ReceiveMessage( Arg: string );
  public
    { Public-Deklarationen }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}

procedure TForm1.Button1Click( Sender: TObject );
begin
  if Assigned( FTestThread )
  then
    FreeAndNil( FTestThread )
  else
    FTestThread := TReceiveThread.Create( ReceiveMessage );
end;

procedure TForm1.ReceiveMessage( Arg: string );
begin
  TThread.Synchronize( nil,
      procedure
    begin
      ListBox1.Items.Add( Arg + ' - ' + FormatDateTime( 'hh:nn:ss.zzz', Now ) );
    end );
end;

end.

Und nach dem Druck auf den Button, relativ schnell wieder den Button drücken, der Thread haut dir gnadenlos die ListBox voll

[OlafSt]

Ich habe so ein ähnliches Problem vor geraumer Zeit gehabt. Als erstes habe ich die Indy-UDP-Komponenten entsorgt und eine Dritt-Implementation von UDP eingesetzt (UdpSockUtil, zu finden auf entwickler-ecke.de).

Im Empfängerthread wird dann eine TQueue mit den Empfangsdaten gefüllt. Nach jedem Empfang wird mit Postmessage der Hauptthread verständigt. Dieser wiederum liest dann solange Daten aus der Queue, bis diese leer ist.

Ich habe die Synchronisation manuell mit TCriticalSections gemacht, so das ich exakte Kontrolle darüber habe, wann wer wie wo was liest oder schreibt - vor allem blockiere ich so die Queue nur für den einzelnen Lese/Schreibvorgang und gebe sie sofort wieder "frei".

Falls die Windows-Messagequeue überzulaufen beginnt, kann man die Postmessages einfach auf jeden zweiten/dritten Eintrag begrenzen. Der Hauptthread arbeitet dann eh alles ab.

[Poolspieler]

Hallo OlafSt,
ich werde mir Deinen Ansatz genau anschauen - und das für mich zutreffende umsetzen. Danke!

Welches Argument spricht gegen Indy?
Bzw. welche Vorteile bietet UdpSockUtil?

Ich persönlich (aber das ist nur meine Meinung...) versuche immer so viel wie möglich mit den Bordmitteln von Delphi zu programmieren.
Ich nutze z.B. TChart Prof. Und da fängt das Problem schon an. Bei jeder neuen Delphiversion muss ich erstmal ein bis zwei Monate warten, bis es eine lauffähige Version von Steema für die neue Delphiversion gibt.
Für manche Projekte habe ich auch schon die TMS-Komponenten genutzt - da ist es nicht viel anders.

Deshalb versuche ich neue (und auch laufende) Projekte möglichst nicht mit Drittanbietern zu "belasten".

Viele Grüße,

Poolspieler

[OlafSt]

Die XE4-Implementation der Indy-UDP-Komponenten hat ne Macke. Habe das nicht weiter verfolgt (mir war das Fixen, neukompilieren und neu-Einbinden einfach zu kompliziert und ich hatte reichtlich Termindruck) und das ganze auf UdpSockUtil ungestellt. Die lassen sich problemlos von Version zu Version mitnehmen und gepflegt werden die auch noch

UdpSockUtils arbeitet direkt mit Sockets, direkter am System gehts kaum noch. Womit sich auch das mitschleppen dicker Units erübrigt. Aber - das ist jedem selbst überlassen.

Ansonsten bin ich da ganz bei dir - so wenig Fremdkomponenten wie möglich. Nur: Wirklich toll aussehende Anwendungen kriegt man damit nicht hin

[Poolspieler]

Hallo,
ich gebe Dir in allen Punkten Recht.
Was mit XE4 und Indy war, weiß ich nicht mehr. Aber irgend ein Update gab es damals... Aktuell nutze ich XE7.

Ich werde mein Glück mit Indy noch etwas weiter versuchen (weil es ja prinzipiell schon mal damit läuft) - optional kann ich mir mal UdpSockUtils anschauen.

Zitat:

Ansonsten bin ich da ganz bei dir - so wenig Fremdkomponenten wie möglich. Nur: Wirklich toll aussehende Anwendungen kriegt man damit nicht hin

Stimmt, deswegen nutze ich manchmal z.B. die TMS Komponenten...

Viele Grüße,

Poolspieler

[mensch72]

TChart 500T Datenpunkte... wenn die Verarbeitung / Anzeige teilweise nicht hinter her kommt, worauf kommt es denn dann in deiner Anwendung an?

Lieber mal ein paar Daten "weglassen" und dafür aber die Anzeige möglichst immer wieder "realtime" synchron halten, ODER eine Art "Gummiband" mit Dynamischen Puffer, welcher alles "irgendwann" dann eben verzögert darstellt und erst wenn wenig los mal wieder realtime synchron ist.

Fall 1 wird gerne bei Börsendaten genommen, denn da zählt letztendlich nur der aktuelle Kurs, wenn da mal einer zwischendurch fehlt ist das zwar nicht schön, aber kein Kurs ist da teils besser wie ein alter und nun schon falscher Kurs, von dem man nicht weiß, das er "alt" ist.

Meine Lösung: 3 "Block"-Puffer mit 4 möglichen States:"Write","Data","Read","Free"
- nur die StateZugriffe müssen synchronisiert werden, eine einfache kurze CriticalSection reicht hier, sind ja nur 1 oder 2 Variablenzugriffe zu schützen
- der Empfangsthread setzt synchronisiert den Puffer mit "WriteState" auf "DataState" und wechselt zyklisch den anderen Puffer von "Free/Data-State" auf "WriteState", ein Pufferwechsel wird dem WorkThread "signalisiert"
- der WorkThread setzt synchronisiert den Puffer mit "ReadState" auf "FreeState" und setzt den Puffer mit "DataState" auf "ReadState", dann werden die Daten des neuen "ReadState" Puffers beliebig langsam verarbeitet/angezeigt
- wenn die Anzeige sagen wir mal 3sec dauert und der Empfangsthread alle 1sec den Puffer wechselt, dann werden eben mal 2sec keine Empfangsdaten angezeigt, dann aber dafür sofort wieder die aktuellsten... für Visuelle Aufgaben ist das oft die eleganteste Lösung... für vollständige Datenlogs ist das aber ungeeignet, da muss es dann ein dynamischer FiFo sein. => Bei FiFo-Lösungen aber immer einen Empfangs-TimeStamp mit abspeichern! Nur so kann man bei der "späteren" Verarbeitung/Anzeige dann erkennen, das es alte Daten mit Zeitverzug sind

[jaenicke]

Zitat von Poolspieler:

Aber woher weiß der Empfangsthread, ob der verarbeitende Thread die Daten schon abgeholt hat? Stichwort "Pufferüberlauf"...

Das muss man prüfen. Da mit den Atomic...-Funktionen die Zugriffe threadsicher passieren, ist aber keine weitere Synchronisation nötig. Und die atomaren Funktionen werden direkt in Assembler umgesetzt, das ist Compilermagic. So entsteht wenig Aufwand für die Synchronisation, auch wenn man noch weitere Sachen prüfen muss.

Zitat von Sir Rufo:

Hier mal so ein grober Entwurf, der aber schon tut

Auf den ersten Blick würde ich sagen, dass der Austausch der Pointer der beiden Queues in TMessageQueueThread<T>.Execute genau kurz nach dem Assemblerbefehl passieren kann, der den bisherigen Pointer in TReceiveThread.Execute holt. So würde dann Enqueue auf der Queue ausgeführt, die in DoProcessQueue verarbeitet wird. Oder sehe ich das falsch?