REST Problem (Alles geht nur Delphi nicht)

[t2000]

Hallo zusammen und ein gutes Neues :-)

Wir haben ein Problem mit einem REST-API Zugriff auf den Zahlungsdienstleister PAYONE.
Vorab, wir sind dort Kunde und möchten einige Dinge über eine Zugriff über die REST API machen. Die relevanten Daten haben wir hier natürlich verfälscht.
Hier die Dokumentation von denen: https://docs.payone.com/display/publ...ce+Definitions

REST Zugriffe testen wir alle mit POSTMAN. Dort funktionieren die Bespiele auch und wir bekommen den angeforderten Kontakt.
Wir können die Abfrage im POSTMAN auf 2 unterschiedliche Arten machen
im Body als raw
oder als Parameter

POSTMAN macht dazu dann die folgende curl Abfrage
im Body als raw

Code:

curl --location --request POST 'https://api.pay1.de/post-gateway/' \
--header 'Content-Type: application/x-www-form-urlencoded;charset=UTF-8' \
--header 'Accept: application/json' \
--data-raw 'mid=88888&portalid=88888&key=0123456789abcdef0123456789abcdef&api_version=3.11&mode=live&request=getuser&encoding=UTF-8&aid=88888&type=userdata&customerid=88888'

als Parameter

Code:

curl --location --request POST 'https://api.pay1.de/post-gateway/' \
--header 'Content-Type: application/x-www-form-urlencoded;charset=UTF-8' \
--header 'Accept: application/json' \
--data-urlencode 'mid=88888' \
--data-urlencode 'portalid=888888' \
--data-urlencode 'key=0123456789abcdef0123456789abcdef' \
--data-urlencode 'api_version=3.11' \
--data-urlencode 'mode=live' \
--data-urlencode 'request=getuser' \
--data-urlencode 'encoding=UTF-8' \
--data-urlencode 'aid=88888' \
--data-urlencode 'type=userdata' \
--data-urlencode 'customerid=88888'

Beide Versionen laufen im POSTMAN einwandfrei

Im Delphi bekommen wir es mit den Komponenten TRESTClient, TRESTRequest, TRESTResponse nicht zum laufen.
Wir bekommen vom Anbieter immer 400 - Bad request

So in Delphi

im Body als raw

Delphi-Quellcode:

  LParameter := 'mid=88888&portalid=88888&key=0123456789abcdef0123456789abcdef&api_version=3.11&mode=live&request=getuser&encoding=UTF-8&aid=88888&type=userdata&customerid=88888';

  RESTClient1.BaseURL      := 'https://api.pay1.de/post-gateway/';
  RESTClient1.Accept       := 'application/json';
  RESTClient1.ContentType  := 'application/x-www-form-urlencoded; charset=UTF-8';

  RESTRequest1.Method         := rmPOST;

  RESTRequest1.AddParameter( 'Content-Type', 'application/x-www-form-urlencoded; charset=UTF-8', TRESTRequestParameterKind.pkHTTPHEADER);
  RESTRequest1.AddParameter( 'Accept', 'application/json', TRESTRequestParameterKind.pkHTTPHEADER);
  RESTRequest1.AddBody( LParameter, TRESTContentType.ctNone);           // wahlweise probiert
  RESTRequest1.AddBody( LParameter, TRESTContentType.ctTEXT_PLAIN);     // wahlweise probiert

  try
    RESTRequest1.Execute;                    // request ausführen
  except
    on e: Exception do begin
      s := e.Message;
      memo1.lines.Add(s);
    end;
  end;
  s := RESTResponse1.StatusCode.ToString + ' / '  + RESTResponse1.Content;
  memo1.lines.Add(s);

als Parameter

Delphi-Quellcode:

  RESTClient1.BaseURL      := 'https://api.pay1.de/post-gateway/';
  RESTClient1.Accept       := 'application/json';
  RESTClient1.ContentType  := 'application/x-www-form-urlencoded; charset=UTF-8';

  RESTRequest1.Method         := rmPOST;

  RESTRequest1.AddParameter( 'Content-Type', 'application/x-www-form-urlencoded; charset=UTF-8', TRESTRequestParameterKind.pkHTTPHEADER);
  RESTRequest1.AddParameter( 'Accept', 'application/json', TRESTRequestParameterKind.pkHTTPHEADER);

  LRequestKind :=  TRESTRequestParameterKind.pkURLSEGMENT;  // wahlweise probiert
  LRequestKind :=  TRESTRequestParameterKind.pkGETorPOST;   // wahlweise probiert
  LRequestOpt  :=  [];                                           // wahlweise probiert
  LRequestOpt  :=  [TRESTRequestParameterOption.poDoNotEncode];  // wahlweise probiert

  RESTRequest1.AddParameter( 'mid',         '88888',                            LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'portalid',    '88888',                            LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'key',         '0123456789abcdef0123456789abcdef', LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'api_version', '3.11',                             LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'mode',        'live',                             LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'request',     'getuser',                          LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'encoding',    'UTF-8',                            LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'aid',         '88888',                            LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'type',        'userdata',                         LRequestKind, LRequestOpt);
  RESTRequest1.AddParameter( 'customerid',  '88888',                            LRequestKind, LRequestOpt);

  try
    RESTRequest1.Execute;                    // request ausführen
  except
    on e: Exception do begin
      s := e.Message;
      memo1.lines.Add(s);
    end;
  end;
  s := RESTResponse1.StatusCode.ToString + ' / '  + RESTResponse1.Content;
  memo1.lines.Add(s);

Wir haben den gleichen Zugriff auch mit einem anderen Entwicklungspaket (WinDev) ausprobiert. Auch dort geht alles sofort einwandfrei.
Die Tests wurde auf 2 unterschiedlichen Computern gemacht. Auf beiden ist der POSTMAN in Ordnung und Delphi nicht.
Getestet wurde mit Delphi 10.4.2 und auch mit Delphi 11

Die REST Komponenten liegen auf der Form im Default Zustand. Ausprobiert haben wir nocht die Häkchen bei "SecureProtokols". Macht keinen unterschied.

Hat jemand ein Idee, wie wir das Problem finden können?

Vielen Dank

[Bbommel]

Du gibst den Content-Type und das Accept immer als "Parameter" mit. Das ist falsch, denn es sind Header-Felder im Request.

Du musst also die beiden Zeilen

Delphi-Quellcode:

  RestRequest.ContentType:=ctAPPLICATION_X_WWW_FORM_URLENCODED;
  RestRequest.Accept:='application/json';

einbauen und

Delphi-Quellcode:

  RESTRequest1.AddParameter( 'Content-Type', 'application/x-www-form-urlencoded; charset=UTF-8', TRESTRequestParameterKind.pkHTTPHEADER);
  RESTRequest1.AddParameter( 'Accept', 'application/json', TRESTRequestParameterKind.pkHTTPHEADER);

rausschmeißen, dann sollte es hoffentlich klappen.

[t2000]

Der TRestRequest hat keinen ContentType. Aber laut POSTMAN muss das "Entity" genau den ContentType haben.

[Rollo62]

Zitat:

Zitat von t2000 (Beitrag 1500402)

... REST Zugriffe testen wir alle mit POSTMAN. ...

Ja das ist wohl die amtliche Referenz in dem Bereich.

Du könntest aber auch mal mit dem RestDebugger herumspielen.
Der ist normalerweise bei den Enterprise Version dabei ( beim im Source unter \Embarcadero\Studio\22.0\source\data\rest\restdebu gger\ ).
Jedenfalls kann der, wenn es funktioniert, direkt per CopyUndPaste die RestKomponenten erstellen, und erleichtert das Austesten ungemein.

[t2000]

Der RestDebugger funktioniert auch nicht !!
Es muss eine Einmstellung bei der Delphi Komponente sein.
Alles anderen Tools, die wir bisher getestet haben, funktionieren.
Nur eben Delphi (eigene Source und auch RestDebugger) nicht.

[Uwe Raabe]

Ohne weitere Recherche der Vorgaben und ohne Testmöglichkeit hätte ich jetzt diesen Ansatz gewählt:

Delphi-Quellcode:

  RESTClient1.BaseURL := 'https://api.pay1.de';
  RESTRequest1.Resource := 'post-gateway';
  RESTRequest1.Method := rmPOST;

  RESTRequest1.AddParameter( 'mid', '88888');
  RESTRequest1.AddParameter( 'portalid', '88888');
  RESTRequest1.AddParameter( 'key', '0123456789abcdef0123456789abcdef');
  RESTRequest1.AddParameter( 'api_version', '3.11');
  RESTRequest1.AddParameter( 'mode', 'live');
  RESTRequest1.AddParameter( 'request', 'getuser');
  RESTRequest1.AddParameter( 'encoding', 'UTF-8');
  RESTRequest1.AddParameter( 'aid', '88888');
  RESTRequest1.AddParameter( 'type', 'userdata');
  RESTRequest1.AddParameter( 'customerid', '88888');

  RESTRequest1.Execute;

Natürlich klappt das mit den obigen Daten erstmal nicht. Daher kann ich es auch nicht testen.

Das TRESTRequest.Execute überschreibt einige Parameter des Clients. Daher müssen diese Werte beim Request angegeben werden: Accept, HandleRedirects, AllowCookies, AcceptCharset, AcceptEncoding, ConnectTimeout, ReadTimeout

Der Default für den dritten und vierten Parameter bei AddParameter ist eh schon pkGETorPOST und []. Daher kann man die weglassen.

Der ContentType wird ebenfalls beim Execute intern anhand der übergebenen Parameter ermittelt. Bei rmPOST und pkGETorPOST wird schon der ContentType ctAPPLICATION_X_WWW_FORM_URLENCODED verwendet. Man braucht das also nicht mehr setzen (abgesehen davon, dass man das zumindest in 10.4.2 gar nicht kann).

[SubData]

Lässt sich der Request vollständig mitloggen? Also inklusive aller Veränderungen, die die Komponente selbst vornimmt?
Ich erinnere mich, dass PayOne da durchaus ein wenig zickig sein kann, allerdings musste ich da nicht mit Delphi bei.

[Bbommel]

Zitat:

Zitat von t2000 (Beitrag 1500407)

Der TRestRequest hat keinen ContentType. Aber laut POSTMAN muss das "Entity" genau den ContentType haben.

Ach shit, hatte nicht gesehen, dass ContentType beim RestRequest eine Funktion und keine Property ist, sorry.

Noch eine Idee: wenn du als Antwort ein 400 Bad Request bekommst, hast du dir für den Fall mal den Content der Antwort angeschaut? Manche Web Services liefern auch bei einem Fehler-Status einen Content, der manchmal sogar hilfreiche Fehlermeldungen enthält.

[Sinspin]

Wir haben es aufgegeben um Fehler in Delphi drumrumzuarbeiten. /NSoftware ist nicht ganz günstig, macht aber keine Zicken und lässt sich fast überall reingucken.

[t2000]

Wir haben nun unzählige Versuche mit den unterschiedlichsten Möglichkeiten probiert.
Es gibt eine Version, die beim Überwachen mit FIDDLER die gleichen Daten anzeigt, wie es beim POSTMAN der Fall ist. Trotzdem funktioniert es nicht.
Beim POSTMAN werden die Daten um einen "PostmanToken" erweitert. Kann es sein, dass die Zieladresse (payone) etwas zurücksendet, was sofort beantwortet werden muss?

Für heute ist Feierabend. Morgen probieren wir es mit TMS Komponenten oder/und mit dem FDK von Frank.

[lowmax_5]

Nur so als Idee... Bei mir hatte der RESTRequestParameterOption 'poDoNotEncode' den Durchbruch gebracht. Einfach mal probieren.

Code:

RESTClient.AddAuthParameter('api_key', GetApiKey,
TRESTRequestParameterKind.pkHTTPHEADER,
[TRESTRequestParameterOption.poDoNotEncode]);

[t2000]

Danke, ja. Das hatten wir natürlich recht schnell ausprobiert. Ohne diese Option werden "=" und " " in %-Codes geändert. Wollen wir nicht, ist inzwischen berücksichtigt.
Geht trotzdem nicht.

[SubData]

Dann würde ich zu härteren Methoden raten:
WinGate Proxy installieren und sowohl POSTMAN, als auch die eigene Anwendung da durch leiten.
Es muss ja einen Unterschied geben, der POSTMAN-Token wird es nicht sein und ich kann mit ziemlicher Sicherheit sagen,
dass PayOne nichts zurück sendet, was unmittelbar beantwortet werden muss.

Die Daten, die ihr schickt sind auch wirklich UTF-8 und nicht nur im Header angegeben?

[t2000]

Zitat:

Zitat von SubData (Beitrag 1500421)

...

Die Daten, die ihr schickt sind auch wirklich UTF-8 und nicht nur im Header angegeben?

Da könnte es noch ein Problem geben.

Gibt es einen Tipp, wie ich das mit Delphi am besten sicherstellen kann?

[Uwe Raabe]

Zitat:

Zitat von t2000 (Beitrag 1500422)

Gibt es einen Tipp, wie ich das mit Delphi am besten sicherstellen kann?

Kannst du nicht. Bei ContentType = ctAPPLICATION_X_WWW_FORM_URLENCODED wird in DoPrepareRequestBody ein

Delphi-Quellcode:

ABodyStream := TStringStream.Create

aufgerufen. Im Create wird TEncoding.Default verwendet, aber das ist unter Windows ANSI. Für die anderen Plattformen (insbesondere Mobile) sollte es demnach funktionieren. Ich denke, da muss ein QP-Eintrag erstellt werden. Das kann so nicht bleiben. Man muss beim Body das Encoding angeben können. Da es sich hierbei um ein Interface-Change handeln dürfte, sehe ich das frühestens in Delphi 12.

Kannst du alternativ mal versuchen, ob es ohne den Encoding-Parameter funktioniert (ISO-8859-1 ist ja default)? Das AcceptCharset kann ja UTF-8 bleiben.

Das Beispiel hat das Problem ja nicht, da kommen nur reine ASCII-Werte vor.

[t2000]

Es war nun schon das zweite Mal, das wir große Probleme mit den Delphi REST Client Komponenten hatten.
Ich habe gerade eben einen Test mit TMS Sparkle gemacht.

Keine 5 min und alles läuft einwandfrei.

Delphi-Quellcode:

var
  Client: THttpClient;
  Request: THttpRequest;
  Response: THttpResponse;
  ResponseBody: string;
begin
  Request := nil;
  Response := nil;
  Client := THttpClient.Create;
  try
    Request := Client.CreateRequest;
    Request.Uri := 'https://api.pay1.de/post-gateway/';
    Request.Method := 'POST';
    Request.Headers.AddValue( 'Content-Type', 'application/x-www-form-urlencoded; charset=UTF-8');
    Request.Headers.AddValue( 'Accept', 'application/json');
    Request.SetContent(TEncoding.UTF8.GetBytes( 'mid=88888&portalid=88888&key=1234567890abcdef&api_version=3.11&mode=live&request=getuser&encoding=UTF-8&aid=88888&type=userdata&customerid=88888'));

    Response := Client.Send(Request);
    if Response.StatusCode = 200 then begin
      ResponseBody := TEncoding.UTF8.GetString(Response.ContentAsBytes);
      memo1.lines.Add( ResponseBody);
    end else
      memo1.lines.Add( Response.StatusCode.ToString);
  finally
    Request.Free;
    Response.Free;
    Client.Free;
  end;

Ich weiß nicht, was sich Embarcadero bei diesen Komponenten denkt. Alle Software am Markt, was wir bisher so gesehen haben, funktionieren recht einfach und gut. Nur das Original bei Delphi nicht.

Es würde mich jetzt zwar schon noch interessieren, was bzw wo der Fehler ist, aber mangels Zeit werden wir hier mit TMS weiterarbeiten.

@Uwe
Wenn Du Interesse hast, das Problem zu erforschen, könnte ich dir die echten Daten per E-Mail senden.

Vielen Dank euch allen
Thomas

[Uwe Raabe]

Zitat:

Zitat von t2000 (Beitrag 1500431)

Ich weiß nicht, was sich Embarcadero bei diesen Komponenten denkt.

Ich habe schon seit Erscheinen dieser Komponenten den Eindruck gewonnen, dass die nur mit dem Blick auf Mobile entwickelt wurden. Unter Windows gab (gibt's vermutlich auch immer noch) Memoryleaks, die unter ARC ja damals nicht auffielen. Interessanterweise hatte ich genau zu diesem Problem mit dem Encoding schon mal einen Report verfasst, konnte aber keinen reproduzierbaren Testcase beibringen. Mit deinem Code kann ich das aber jetzt, wenn auch für einen anderen Use Case.

Zitat:

Zitat von t2000 (Beitrag 1500431)

@Uwe
Wenn Du Interesse hast, das Problem zu erforschen, könnte ich dir die echten Daten per E-Mail senden.

Ja, das wäre nett (uwe_at_uweraabe_punkt_de) . Womöglich liegen da ja noch andere Eier im Matsch. Dann kann ich dafür auch gleich passende Reports erstellen.

Mir ist schon daran gelegen, die bordeigenen Komponenten zu benutzen. Bisher ist mir das auch immer gelungen - manchmal halt mit angepassten RTL-Sourcen, aber immerhin. In der Regel sind diese Macken dann in der nächsten (Major-)Version behoben.

[t2000]

Danke Dir.
Mail ist raus.

[Uwe Raabe]

So, für alle die es interessiert, mit diesem Code und den realen Parameter funktioniert es:

Delphi-Quellcode:

  RESTClient1.BaseURL := 'https://api.pay1.de';
  RESTRequest1.Resource := 'post-gateway/'; // der Slash ist hier seitens Pay1 notwendig!
  RESTRequest1.Method := rmPOST;

  RESTRequest1.AddParameter( 'mid', '88888');
  RESTRequest1.AddParameter( 'portalid', '88888');
  RESTRequest1.AddParameter( 'key', '0123456789abcdef0123456789abcdef');
  RESTRequest1.AddParameter( 'api_version', '3.11');
  RESTRequest1.AddParameter( 'mode', 'live');
  RESTRequest1.AddParameter( 'request', 'getuser');
//  RESTRequest1.AddParameter( 'encoding', 'UTF-8'); // intern wird unter Windows ANSI verwendet! Macht aber in diesem Fall keinen Unterschied.
  RESTRequest1.AddParameter( 'aid', '88888');
  RESTRequest1.AddParameter( 'type', 'userdata');
  RESTRequest1.AddParameter( 'customerid', '88888');

  RESTRequest1.Execute;

In Delphi wird bei der BaseURL ein Slash am Ende entfernt. Deswegen funktionierte das Original nicht. Bei meinem Beispiel mit Resource hatte ich den einfach ignoriert und es funktionierte immer noch nicht. Manchmal steckt der Teufel halt im Detail.

[Rollo62]

Und was ist die Moral von der Geschicht' ?

Statt

Delphi-Quellcode:

  RESTClient1.BaseURL := 'https://api.pay1.de/post-gateway/';
  ...

besser die BaseURL und Resource schön separat angeben, so wie es eigentlich gedacht ist.

Delphi-Quellcode:

  RESTClient1.BaseURL := 'https://api.pay1.de';
  RESTRequest1.Resource := 'post-gateway/';       // der Slash ist hier seitens Pay1 notwendig!
  ...

! Und auf Slashes achten ...

Im DocWiki steht dazu Folgendes:

TRESTClient.BaseURL:
https://docwiki.embarcadero.com/Libr...Client.BaseURL

Zitat:

Specifies the base URL for all API calls.

All resources and parameters of your requests will be appended to this URL.
You can add a trailing forward slash to the value of the BaseURL property when resources are empty,
this offers support for web services that expect the trailing slash.

==> OK, das macht Sinn, ... Einer für ALLE ...

TRESTRequest.Resource:
https://docwiki.embarcadero.com/Libr...quest.Resource

Zitat:

This property is added to the base URL to establish a complete URL for the HTTP request.
Important: The Resource value should meet the following limitations:
- Does not include the scheme or domain mame.
- Does not include the leading slash.

==> OK, hier fehlt dann der Hinweis auf "trailing slash"

Deshalb finde ich ein gutes Beispiel besser als tausend Worte :stupid: