Probleme beim Seitenqeulltext anzeigen

[SeeAALi]

hi,

ich hab jetzt echt schon viel gegoggelt und auch hier im forum geschaut, aber ich komme nicht weiter..

Ich habe eine Funktion gefunden mit der ich Mittels Indy Daten per POST an eine Webseite schicke.
Das funktioert auch wunderbar.


Nun möchte ich aber den Seitenquelltext laden. Ich habe schon so einige Sachen ausprobiert.
Ich habe es mit TidHTTP.GET probiert, auch über einen Stream.
Aber alles was ich zurück bekomme ist das : |||
Mein Memo zeigt mir nur diese 3 Zeichen an. Ich bekomme keine Fehlermeldung oder ähnliches.
Durch ausprobieren hab ich rausgefunden das ich als Antwort auch HTTP 200 bekomme.
Es müsste dann doch alles ok sein, oder nicht.

[Luckie]

Ohne Quelltext wird das wohl nichts.

[SeeAALi]

sorry :-D

Delphi-Quellcode:

procedure TForm1.Button1Click(Sender: TObject);
var
idClient: TIdHTTP;
msData: TMemoryStream;
begin
idClient := TIdHTTP.Create(Application);
msData := TMemoryStream.Create;
try
idClient.Get('http://pwnd.delphipraxis.net/feed/', msData);
msData.Seek(0, soFromBeginning);
Memo1.Lines.LoadFromStream(msData);
finally
idClient.Free;
msData.Free;
end;
end;

damit hab ich es z.B. probiert

[toms]

Gib mal einen UserAgent an.

[patti]

Erstmal herzlich willkommen in der DP :dp:

Vielleicht findest du hier etwas: Thread in der DP. Dort werden mehrere Lösungen genannt, u.a. mit URLDownloadToFile aus der Unit URLMon, aber auch mit Hilfe der Indy-Komponenten (allerdings mit einem "Umweg" über die Festplatte).

mfg

[SeeAALi]

UserAgents?

ich muss zu geben so weit reichen meine Kenntnisse nun wirklich nicht :-)

ich hab vergessen zu erwähnen, das die seite die ich haben will hinter einem Login liegt.
Das mit dem Login ansich funktioniert auch.

[SeeAALi]

so habe nun mal was probiert was den umweg über die platte macht.
Es kommt nun auch mehr raus wie nur |||. Aber das was ich bekomme, ist nur
ein Wust aus den unterschiedlichsten ASCII Zeichen, daraus werd ich nun auch nicht schlau.

[toms]

Delphi-Quellcode:

idClient := TIdHTTP.Create(Application); 
idClient.HandleRedirects := True; 
idClient.Request.UserAgent := 'User-agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)';

[SeeAALi]

ah lol, mir kam das doch so bekannt vor :-D

idHTTP1.Request.UserAgent := 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 GTB6'

so hab ich es bei mir, und das mit dem redirect hab ich auch gesetz.

[SeeAALi]

mal ein kleines push :-D

also bin echt noch nicht weiter gekommen,

liegt es evtl an den request einstellungen ?!

[nahpets]

Hallo,

hier http://stackoverflow.com/questions/3...l-using-delphi gibt es auch ein Beispiel für Indy, das müsste eigentlich so funktionieren.

[SeeAALi]

danke nahpets,

das funktioniert im prinzip schon, nur bekomme ich nicht die seite angezeigt die ich haben will...

die seite die ich haben will, ist "hinter" einem login.

www.foobar.com/index.html bekomme ich,
aber www.foobar.com/foobar/index.html will ich haben...

Delphi-Quellcode:

function GetCurrentUserName: string;
const
  cnMaxUserNameLen = 254;
var
  sUserName: string;
  dwUserNameLen: DWORD;
begin
  dwUserNameLen := cnMaxUserNameLen - 1;
  SetLength(sUserName, cnMaxUserNameLen);
  GetUserName(PChar(sUserName), dwUserNameLen);
  SetLength(sUserName, dwUserNameLen);
  Result := sUserName;
end;



function SendPostData(Ahttp: TIdHTTP; const AtoURL: String; const aParams: TStrings): String;
  //Ahttp: Die HTTP Komponente von Indy 8.0 bzw. 9.0
  //AtoURL: An diese URL werden die Informationen gesendet
  //Result: HTML-Ergebnis (Antwort des Scripts)
Var
  lStream: TMemoryStream; //HTML-Result des PHP-Scripts
  lParams: TStringStream;
  I: Integer;

begin
  Result:='';
  if not Assigned(aHttp) then
    exit;
  lStream := TMemoryStream.create;
  lParams := TStringStream.create('');
  try
    AHTTP.Request.ContentType := 'application/x-www-form-urlencoded';

    //Dieser Stream wird letztendlich gesendet
    //Stream mit Werten füllen
     for I:=0 to aParams.Count-1 do
      begin
      if I = aParams.count-1 then
      lParams.WriteString(aParams[I])
      else
      lParams.WriteString(aParams[I] + '&');
      end;
     try
      //Stream an das PHP-Script senden
      AHTTP.Post(AtoURL,lParams,LStream);
    except
      on E: Exception do
       showmessage('Fehler bei der Übertragung: ' + E.Message);
    end;
    SetLength(Result,lStream.Size);
    lStream.Position:=0;
    lStream.ReadBuffer(Result[1],lStream.Size);
  finally
    lParams.Free;
    lStream.Free;
  end;
end;

function GetUrlContent(const Url: string): string;
var
  NetHandle: HINTERNET;
  UrlHandle: HINTERNET;
  Buffer: array[0..1024] of Char;
  BytesRead: dWord;
begin
  Result := '';
  NetHandle := InternetOpen('Delphi 5.x', INTERNET_OPEN_TYPE_PRECONFIG, nil, nil, 0);

  if Assigned(NetHandle) then
  begin
    UrlHandle := InternetOpenUrl(NetHandle, PChar(Url), nil, 0, INTERNET_FLAG_RELOAD, 0);

    if Assigned(UrlHandle) then
      { UrlHandle valid? Proceed with download }
    begin
      FillChar(Buffer, SizeOf(Buffer), 0);
      repeat
        Result := Result + Buffer;
        FillChar(Buffer, SizeOf(Buffer), 0);
        InternetReadFile(UrlHandle, @Buffer, SizeOf(Buffer), BytesRead);
      until BytesRead = 0;
      InternetCloseHandle(UrlHandle);
    end
    else
      { UrlHandle is not valid. Raise an exception. }
      raise Exception.CreateFmt('Cannot open URL %s', [Url]);

    InternetCloseHandle(NetHandle);
  end
  else
    { NetHandle is not valid. Raise an exception }
    raise Exception.Create('Unable to initialize Wininet');
end;


procedure Tform1.kneipe_todo(todo,comboitem1,comboitem2 : integer;attrib1,attrib2 : string);
var
todo_list : TStringlist;
begin
todo_list := Tstringlist.Create;
case todo of
0 : begin    //Login
      todo_list.add('kneipe='+attrib1);
      todo_list.Add('passwort='+ attrib2);
      todo_list.add('submit_login=Login');
      try
       sendpostdata(IDHTTP1,'/index.html',todo_list);
       memo1.Lines.Add('Login erfolgreich');
      except
       memo1.Lines.Add('Login nicht erfolgreich');
       showmessage('Login nicht erfolgreich');

      end;
    end;
1 : begin  // Lager füllen
    case comboitem2 of
      0 : todo_list.add('lager_art=bier');
      1 : todo_list.add('lager_art=schnaps');
      2 : todo_list.add('lager_art=wein');
      3 : todo_list.add('lager_art=longdrinks');
      4 : todo_list.add('lager_art=schampus');
     end;

     case comboitem1 of
      0 : todo_list.Add('wielang=min10');
      1 : todo_list.Add('wielang=min20');
      2 : todo_list.Add('wielang=stunde1');
      3 : todo_list.Add('wielang=stunden2');
      4 : todo_list.Add('wielang=stunden4');
      5 : todo_list.Add('wielang=stunden8');
      6 : todo_list.Add('wielang=stunden12');
     end;

     todo_list.add('submit_bed=Bedienung+schicken');
     try
     //memo1.Lines.Add(todo_list[0] + todo_list[1] + todo_list[2]);
     sendpostdata(IDHTTP1,'/lagerfuellen/index.html',todo_list);
     memo1.Lines.Add('Lager gefüllt mit ' + combobox2.Items[comboitem2] + ' für eine Zeit von ' + combobox1.Items[comboitem1]);
     except
       showmessage('Lager füllen nicht erfolgreich');
     end;
    end;
end;
todo_list.Clear;
todo_list.Free;
end;


procedure TForm1.Button1Click(Sender: TObject);
begin
if  (labelededit1.Text <> '') and (labelededit2.Text <>  '') and (labelededit3.Text <> '') then
 kneipe_todo(0,0,0,labelededit2.Text,labelededit3.Text)
else
showmessage('ALLE FELDER ausfüllen');
end;

procedure TForm1.FormCreate(Sender: TObject);
begin
login_var := TStringlist.Create;
lager_var := TStringlist.Create;
idHTTP1.Request.Accept := 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8';
idHTTP1.Request.AcceptCHarset := 'ISO-8859-1,utf-8;q=0.7,*;q=0.7';
idHTTP1.Request.AcceptEncoding := 'gzip,deflate';
idHTTP1.Request.AcceptLanguage := 'de-de,de;q=0.8,en-us;q=0.5,en;q=0.3';
idHTTP1.Request.Connection := 'keep-alive';
idHTTP1.Request.ContentType := 'application/x-www-form-urlencoded';
idHTTP1.Request.Host := 'www.kneipengame.com';
idHTTP1.Request.Referer := 'http://www.kneipengame.com/index.html';
idHTTP1.Request.UserAgent := 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 GTB6';
labelededit1.Text := GetCurrentUserName;
idHTTP1.CookieManager.AddCookie2( labelededit1.Text+'@kneipengame.com','www.kneipengame.com');
end;

procedure TForm1.Button2Click(Sender: TObject);
begin
Timer1.Enabled := true;
end;

procedure TForm1.Button3Click(Sender: TObject);
begin
timer1.Enabled := false;
end;

procedure TForm1.Button5Click(Sender: TObject);
begin
kneipe_todo(1,combobox1.ItemIndex,combobox2.ItemIndex,'','');
end;

procedure TForm1.Button4Click(Sender: TObject);
begin
memo1.Text := geturlcontent('http://www.kneipengame.com/lagerfuellen/index.html');
end;

end.

so mal eben meinen ganzen code , falls ich irgendwas sehr umständlich mache , nicht dran stören oder einen tip geben wie es besser geht :-D

[SeeAALi]

Code:

[GET /lagerfuellen/ HTTP/1.1  Host: [url]www.kneipengame.com[/url]  User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 GTB6  Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8  Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3  Accept-Encoding: gzip,deflate  Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7  Keep-Alive: 300  Connection: keep-alive  Referer: [url]http://www.kneipengame.com/premiumstart/[/url]  Cookie: __utma=262524630.83278421.1257146671.1264154885.1264161360.260; __utmz=262524630.1257490593.18.3.utmcsr=slye.de|utmccn=(referral)|utmcmd=referral|utmcct=/; PHPSESSID=0ebb33a71043434fe1bbbd1451cb38f7; __utmc=262524630; __utmb=262524630.6.10.1264161360    ]
---------------------------
www-http        0 ACK
---------------------------
www-http     1452 [HTTP/1.1 200 OK  Date: Fri, 22 Jan 2010 12:52:59 GMT  Server: Apache  X-Powered-By: PHP/4.4.9  Expires: Thu, 19 Nov 1981 08:52:00 GMT  Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0  Pragma: no-cache  Vary: Accept-Encoding  Content-Encoding: gzip  Content-Length: 4441  Keep-Alive: timeout=1, max=99  Connection: Keep-Alive  Content-Type: text/html     ‹        Ý\[sÛF–~Vªò Ú˜Š%MB‚ $H–H¦lËv¼±=^ËIfæEÕ$š$B°ÁÁE”å¸jèVíK~Ã<ÍÞîF Ý@ ¤.žõÆ™  Í>}î_Ÿ¾�ƒ gyúþooŸ¡yº ÑÛŸž¼zù Y ÛþÅ}jÛgïÏÐ_xÿú êw{è}Œi ¤ADqhÛÏÞXÈš§éêĶ×ëuwív£xf¿g_±±úŒ8ì¤ e×O}kôõW Îñj Òdh §ÿèÑ#A.: 쳿K’bÄzwÈ?²àrhÅd “dn¡IDSBÓ¡åöz§è§w¯† õÉU· ¢FúTPtÞX …>%W©Í¨NÑdŽã„¤Ã ‰:ÇLJ�:} Ùl¬4HC2ú‘’`Eè / ú ½Â3 £éÃ, Ò0$t`‹nÐ? è Å$ ZIú! y I-” ãœß$I,4 e†V·ËÞlÞñb “e�-»üs{4à*UÂÑ@ô Nì¿��[  Ç‘ÿA<ùÁ% ü¡5Ž®,½%Yá ‰/B2MÙPЬÎ,ƒ JbA·S …ã‹4Z±æ��AŠÇ Ú:ðÓùÐê÷zßXh Å>‰Á%¬ Bƒ4æÙ“?zHÇÉê Œä+� ...to be continued
--------------------------
www-http        0 ACK

das ist das was ich bekomme , wenn ich normal über die seite navigiere....

Code:

[GET /lagerfuellen/index.html HTTP/1.1  Connection: keep-alive  Content-Type: application/x-www-form-urlencoded  Host: [url]www.kneipengame.com[/url]  Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8  Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7  Accept-Encoding: gzip,deflate  Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3  Referer: [url]http://www.kneipengame.com/lagerfuellen/[/url]  User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 GTB6  Cookie: PHPSESSID=653fd05d5228eb7f29ce39aaca8abdd8    ]
--------------------------------------
www-http        0 ACK
--------------------------------------
www-http     1452 [HTTP/1.1 200 OK  Date: Fri, 22 Jan 2010 12:56:56 GMT  Server: Apache  X-Powered-By: PHP/4.4.9  Expires: Thu, 19 Nov 1981 08:52:00 GMT  Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0  Pragma: no-cache  Vary: Accept-Encoding  Content-Encoding: gzip  Content-Length: 4443  Keep-Alive: timeout=1, max=100  Connection: Keep-Alive  Content-Type: text/html     ‹        Ý\[sÛF–~Vªò Ú˜Š%MB‚ $H–H¦lËv¼±=^ËIfæEÕ$š$B°ÁÁE”å¸jèVíK~Ã<ÍÞîF Ý@ ¤.žõÆ™  Í>}î_Ÿ¾�ƒ gyúþooŸ¡yº ÑÛŸž¼zù Y ÛþÅ}jÛgïÏÐ_xÿú êw{è}Œi ¤ADqhÛÏÞXÈš§éêĶ×ëuwív£xf¿g_±±úŒ8ì¤ e×O}kôõW Îñj Òdh §ÿèÑ#A.: 쳿K’bÄzwÈ?²àrhÅd “dn¡IDSBÓ¡åöz§è§w¯† õÉU· ¢FúTPtÞX …>%W©Í¨NÑdŽã„¤Ã ‰:ÇLJ�:} Ùl¬4HC2ú‘’`Eè / ú ½Â3 £éÃ, Ò0$t`‹nÐ? è Å$ ZIú! y I-” ãœß$I,4 e†V·ËÞlÞñb “e�-»üs{4à*UÂÑ@ô Nì¿��[  Ç‘ÿA<ùÁ% ü¡5Ž®,½%Yá ‰/B2MÙPЬÎ,ƒ JbA·S ... to be continued
www-http        0 ACK

und das bekomme ich zurück wenn ich mit meinem tool navigiere.....

also irgendwas bekomme ich zurück , nur nicht das was ich gebrauchen kann :-D

[nahpets]

Hallo,

Du bekommst da was mit gzip gepacktes, dass kannst Du nicht (vernünftig) in einem Memo anzeigen, das musst Du als Datei speichern und entpacken. Danach sollte Dir der "wahre" Inhalt offenbart werden ;-)

[SeeAALi]

muss ich den umweg über eine datei gehen ?!

und evtl scvhon mal ein paar links , das ich evtl nicht ganz soviel googlen muss :-D

[SeeAALi]

ist ja wirklich was gezipptes, mensch was es nicht alles für sachen gibt :-)
hab mir den kram jetzt mal in eine datei geladen und dann mal so angeschaut, und siehe da es ist genau das was ich haben will :-D

ok dann such ich mal nach zip und unzip für delphi :-)


ich danke euch :-)

damit wäre dieser thread für beantwortet erklärt

[nahpets]

Hallo,

Zitat:

Zitat von SeeAALi

ist ja wirklich was gezipptes, mensch was es nicht alles für sachen gibt :-)
hab mir den kram jetzt mal in eine datei geladen und dann mal so angeschaut, und siehe da es ist genau das was ich haben will :-D

ok dann such ich mal nach zip und unzip für delphi :-)


ich danke euch :-)

damit wäre dieser thread für beantwortet erklärt

schau mal hier bei ZipMaster.