Internetseiten auslesen

[MrMyagi]

Moin allerseits,
und zwar ist meine Frage folgende:
Ich möchte mit einem Programm, welches ich selber schreiben möchte,
von einer Internetseite ein Editfenster auslesen, dort etwas eintragen,
dann den Button auslesen und diesen bestätigen lassen.
Desweiteren sollte das Programm dann einen bestimmten Link (als Text)
anklicken und dort das obige noch einmal wiederholen.

Wie kann ich dies am besten umsetzen??


mfg, Nico

[Noobinator]

Für Solche Vorhaben würde ich mich eher mal in JS einarbeiten.
Denke ein solches Vorhaben ist damit eher realisierbar als in Delphi.

lasse mich aber gerne eines besseren Belehren.

[MrMyagi]

Joa, im endeffekt könnteste recht haben.
Allerdings denke ich das soetwas auch mit Delphi realisierbar ist,
da es sich eingendlich nicht kompliziert anhört, allerdings ich
überhaupt kp habe, wie ich dies umsetzen soll.

[Firewing]

Benutz' mal die Forensuche, das wurde schon x-mal diskutiert.
Ansonsten lautet das Stichwort: "Indy Komponenten"

MfG Kristian

[haentschman]

ich kann dir nur prinzipiell helfen, da ich mich im Detail noch nicht damit beschäftigt habe.

das ganze geht über die WinAPI.

ganz grob:
- du holst dir das Fensterhandle des entsprechenden Fensters
- dann kommst du an das Handle des Editfeldes und des Links bzw. deren Positionen
- dann kannst du in das Editfeld reinschreiben und die Maus auf dem Link positionieren und klicken

Stichwort für den Anfang: FindWindow

[Apollonius]

Das wird so etwas schwierig, weil die wenigsten Browser für die angezeigte Seite Wincontrols verwenden.

Ich habe mich damit noch nicht näher auseinandergesetzt, aber das dürfte vermutlich mit dem TWebBrowser leichter gehen als mit den Indys.

[Fussball-Robby]

Du könntest di Seite per TWebbrowser laden und dann einen javascript auf dieser Seite ausführen. Zum finden der Objekte benutze ich immer document.getElementsByName(), dafür brauchst du (wie der Name schon sagt) den Namen des Objekts. Über .value kannst du einem Edit einen Wert zuweisen und mit .click() kannst du einen Button klicken.

[BullsEye]

Also mit TWebBrowser, ist zwar ne Standard Kompo aber funzt trotzdem, ist das auf jeden Fall einfacher als mit den Indys. Allerdings ist die Frage, wie gut soll das Ergebniss werden.
Denn die Komponente benötigt einen installierten IE und basiert auch auf diesem. Ansonsten gibts noch ne Mozilla Control allerdings braucht diese, soweit ich weiß auch nen installierten FF.

Im Anhang findet ihr die EXE und den Code.. Ist nen ganz einfacher Browser.. Aber zum Anzeigen einer Seite reicht das vollkommen aus!

[r29d43]

Zitat:

..., da ich mich im Detail noch nicht damit beschäftigt habe. *g*

das ganze geht über die WinAPI.

ganz grob:
*
*
*

Stichwort für den Anfang: FindWindow

*ggg*, echt nichts für ungut, aber wirklich mal ein lustiger Fall von "Ganz falsch" :mrgreen: :stupid: :mrgreen:


@MrMyagi,
bezüglich von "Componenten" auf einer Website gehts nämlich überhaupt nicht über die WinAPI und FindWindow. Sondern es handelt sich bei so einer HTML-Seite mit den jeweiligen Elementen darauf um ein sogenanntes DOM (Document Object Model) -Gebilde.

Die beste Vorgehensweise darauf zuzugreifen lautet da eher: Zuerst musst Du die jeweilige HTML-Seite mal selbst in irgend ein Memo auslesen. Und zwar deswegen, um darüber erstmal die ganzen Nummern und Namen der einzelnen Forms und sonstiger Elemente darauf in Erfahrung bringen zu können. Denn nur mit diesen Infos kannst Du diese ganzen "HTMLSite-Controls" dann auch in deinem Code entsprechend auslesen bzw. beschreiben.

Alle weiteren Tipps findest Du hier:

How to get the HTML displayed in a TWebBrowser

How to read and write form elements

[Tommy1988]

soll das ne art bot werden?

dann wuerde ich dir vorschlagen die positionen des links und des edits zu speichern
und via timer das abzuarbeiten..

[MrMyagi]

Jepp, soll nen Router-Rebooter werden.
Ich hoffe wir können die ganze Sache irgendwie leichter mache, wenn
ich Euch sage, das die Seite immer gleich bleibt.
Der erste Button der gedrückt werden soll sieht im Quelltext so aus:

<DIV id=actionbut><input type="button" name="B1" class="stylebut" onclick=confstart("/html/top_start_passwort.htm") onmouseover=highlight(true) onmouseout=highlight(false) value="&gt;&gt;Konfiguration starten"></DIV>

Wie mache ich es nun, dass dieser gedrückt wird?


mfG, Nico

[MrMyagi]

Keiner eine Idee??

[Fussball-Robby]

Ich hab dir doch im Post #7 schon einige Stichwörter gesagt. Du kannst sie dir ja wenigstens mal angucken :?

[MrMyagi]

Wie mache ichn das dann zb wenn ich einen Button mit dem Namen B1 drücken will.
Also jetzt nach dem Prinzip wie in #7 beschrieben?

[r29d43]

Also das mit dem javascript und diesem "getElementsByName" führt jetzt event. doch etwas zu weit weg.

Stattdessen versuch es doch z.B. mal mit dieser einfachen (Delphi-)Zeile:

Delphi-Quellcode:

webbrowser1.oleobject.document.forms.item(0).elements.item('B1').click;

Leider ist ja der von dir angegebene HTML-Code etwas kurz. Daher kann man auch nicht sehen, auf welcher "forms" dieser Button angesiedelt ist. Ich vermutete jetzt mal "forms.item(0)". Klappts nicht, dann kannst du da (bei forms.item(0)) auch statt der 0 mal eine 1 o. 2 einfügen.

[MrMyagi]

also her is der Quellcode: Es handelt sich um den Button status

<html>
<head>
<title>HTML-Konfiguration</title>
<SCRIPT language="JavaScript" src="/cgi-bin/webcm?getpage=../html/js_top.txt" type="text/JavaScript"></SCRIPT>
<SCRIPT language="JavaScript">
<!--
function chk(){
document.getElementById("startseite").style.visibi lity = "visible";
document.getElementById("status").style.visibility = "visible";
document.getElementById("budget").style.visibility = "visible";
if (screen.width < 800 || screen.height < 600){
document.getElementById("cTextChg").innerHTML = "

Die soeben durchgef&uuml;hrte System&uuml;berpr&uuml;fung hat ergeben,
" +
"dass ihr Bildschirm nicht die minimal erforderliche Auflösung hat.</p>" +
"

Bitte stellen Sie mindestens eine Auflösung von 800x600 Pixeln ein
" +
"und rufen Sie dann das Konfigurationsprogramm erneut auf.
" +
"
</p>";
}
else{
document.getElementById("cTextChg").innerHTML = "

Für die erfolgreiche Konfiguration Ihres Routers empfehlen wir " +
"Ihnen dringend die Verwendung eines der oben aufgeführten Browser!
" +
"
</p>";
document.getElementById("actionbut").style.visibil ity = "visible";
}
}
//-->
</SCRIPT>
<LINK rel="stylesheet" href="/html/top_style.css" type="text/css">
<STYLE type="text/css">
<!--
#startseite {color:#FFFFFF; background-color:#E20074; border-color: #FFFFFF;}
#status {color: #666666; background-color:#EEEEEE; border-color: #666666;}
#budget {color: #666666; background-color:#EEEEEE; cursor: pointer; cursor: hand; border-color: #666666;}
//-->
</STYLE>
</head>
<body onload=chk()>
<table border="0" cellpadding="0" cellspacing="0" width="100%" height="100%">
<tr>
<td valign="middle" align="center">
<table border="1" cellpadding="0" cellspacing="0" height="484" width="644" background="/html/pic_welcome.jpg">
<tr>
<td valign="top">
[img]/html/pic_welcome_b.gif[/img]
<table border="0" cellpadding="0" cellspacing="0">
<tr>
<form name="F1">
<td width="150" valign="top">




<DIV id=startseite>&gt;&gt;Startseite</DIV></p>


<DIV id=status onclick=gotosite("/html/top_status.htm") onmouseover=rahmen("status",1) onmouseout=rahmen("status",0)>&gt;&gt;Status</DIV></p>


<DIV id=budget onclick=gotosite("/html/top_budget.htm") onmouseover=rahmen("budget",1) onmouseout=rahmen("budget",0)>&gt;&gt;Budget</DIV></p>
</td>

<td valign="top">
<DIV id=cBorderTxt>
<DIV id=cText>




Willkommen im Konfigurationsprogramm!</p>


Das Konfigurationsprogramm wurde für folgende Browser optimiert:</p>


[*]Internet Explorer ab Version 5.5[*]Firefox ab Ver. 0.9 / Mozilla ab Ver. 1.7 / Netscape ab Ver. 7.1[*]Opera ab Version 8</p>
</DIV>
<DIV id=cTextChg>


Die soeben durchgef&uuml;hrte System&uuml;berpr&uuml;fung hat ergeben,

dass in Ihrem Browser die Javascript-Funktion deaktiviert ist.</p>



Bitte aktivieren Sie in Ihrem Browser die Javascript-Funktion

und rufen Sie dann das Konfigurationsprogramm erneut auf.


</p>
</DIV>
</DIV>
<DIV id=actionbut><input type="button" name="B1" class="stylebut" onclick=confstart("/html/top_start_passwort.htm") onmouseover=highlight(true) onmouseout=highlight(false) value="&gt;&gt;Konfiguration starten"></DIV>
</td>
</form>
</tr>
</table>
</td>
</tr>
</table>
</td>
</tr>
</table>
</body>
</html>

[r29d43]

Da sich in deinem HTML-Code folgende Zeile

<form name="F1">

befindet, liegt der Button "B1" also auf einer "form" deren Name "F1" ist,
...und ergo müsste die obige Delphi-Zeile daher dann so lauten:

Delphi-Quellcode:

webbrowser1.oleobject.document.forms.item('F1').elements.item('B1').click;

[MrMyagi]

Ok, danke das mit "B1" geht jetzt,
jedoch finde ich keinen passenden Namen zu dem Button Status (status ist es nicht)
Welcher könnte dieser sein?? (quelltext weiter oben)

Edit:
Müsste es nicht normalerweise sogar mit

Delphi-Quellcode:

procedure TForm1.Button2Click(Sender: TObject);
begin
webbrowser1.OleObject.getelementbyid('status').click;
end;

gehen, da dies auch in html Quelltext vorkommt:

...function chk(){
document.getElementById("startseite").style.visibi lity = "visible";
document.getElementById("status").style.visibility = "visible";
document.getElementById("budget").style.visibility = "visible";
if (screen.width < 800 || screen.height < 600)...

mfG, Nico

[r29d43]

"status" scheint hier eher nur ein Link zu sein, ...welcher im HTML-Code, wenn die Maus draufclickt, dann per JavaScript aufgerufen wird.

Da die Adressen solcher Links aber meistens eher konstant sind, würde ich die jetzt also zuerst im HTML-Code auslesen und dann einfach per WebBrowser.Navigate dorthin navigieren.


(..kann aber durchaus sein, dass es hier noch bessere Lösungen gibt. Bin hier leider auch nur Laie :( )

[MrMyagi]

Zitat:

Da die Adressen solcher Links aber meistens eher konstant sind, würde ich die jetzt also zuerst im HTML-Code auslesen und dann einfach per WebBrowser.Navigate dorthin navigieren.

Japp, hast recht, dort kann ich auch mit navigate hinkommen.
Nun allerdings erscheint dort ein Feld, wo ich normalerweise immer das PW eingebe.
HAb schon alles mögliche versucht mit .value usw jedoch trägt er dort nichts ein
in das Editfeld.
Wie müsste der Code denn dafür aussehen?

Bild(möchte eine Eingabe in das Editfeld machen und hinterher den Button OK klicken):
http://operationsinnlos.op.funpic.de/Bild.JPG

Quellcode von dem Ausschnitt:

<HTML>
<HEAD>
<TITLE>Startseite</TITLE>
<SCRIPT language="JavaScript" src="/html/js_menu.txt" type="text/JavaScript"></SCRIPT>
<SCRIPT language="JavaScript">
<!--
var verz = 2000;
function OnLoad()
{
top.frames[1].location.href = "/html/m_start_passwort.htm";
}
function stVerg()
{
document.location.href="/html/vergessen.html";
}
function chk_pwd(){
document.PWD.submit();
}
function stEnter(){
if (window.event.keyCode==13){
chk_pwd();
}
}
function stBak(){
document.PWD.P1.disabled = false;
document.PWD.P1.style.backgroundColor="#FFFFFF";
document.PWD.P1.value = "";
document.PWD.P1.focus();
verz *= 2;
}
function stEnd(){
top.window.close();
}
//-->
</SCRIPT>
<LINK rel="stylesheet" href="/html/style.css" type="text/css">
<STYLE type="text/css">
<!--
#t_but1 {
/* visibility: hidden;*/
}
//-->
</STYLE>
</HEAD>
<BODY onLoad="OnLoad()">
<DIV id=c_Frame>
<DIV id=c_border>
<DIV id=c_pfad>Router - Einstieg in die Konfiguration</DIV>


<DIV id=c_titel>Passwort Eingabe</DIV>
<form name="PWD" method="POST" action="/cgi-bin/webcm">
<input type="hidden" name="getpage" value="../html/hcti_startseite.htm" />
<DIV id=c_last>
<table border="0" cellpadding="0" cellspacing="2">
<tr>
<td width="120"><input type="password" class="stylepwd" name="login:command/password" size="12" maxlength="12" /></td>
<td></td>
</tr>
</table>
</DIV>
</form>
<DIV id=c_leer></DIV>
<DIV id=c_foot></DIV>
</DIV>
</DIV>
<DIV id=t_Frame>
<DIV id=t_but1 onclick=stEnd() onmouseover=rahmen(1,1) onmouseout=rahmen(0,1)>Beenden&lt;&lt;</DIV>
<DIV id=t_but2 onclick=stVerg() onmouseover=rahmen(1,2) onmouseout=rahmen(0,2)>Vergessen&lt;&lt;</DIV>
<DIV id=t_but4 onclick=chk_pwd() onmouseover=rahmen(1,4) onmouseout=rahmen(0,4)>&gt;&gt; OK</DIV>
</DIV>
<DIV id=i_Frame>
<DIV id=i_content>

<h2>Passwort Eingabe</h2>


Der Zugang zu den Router - Konfigurationsdaten wird durch ein Passwort geschützt.</p>


Geben Sie das Passwort ein und bestätigen Sie mit OK.</p>


Wenn Sie das Passwort vergessen haben, können Sie innerhalb der ersten 10 Minuten nach einem
Neustart des Routers die Werkseinstellungen wiederherstellen und so das Passwort deaktivieren.</p>
</DIV>
</DIV>
</BODY>
</HTML>



mfG, Nico

[r29d43]

Delphi-Quellcode:

webbrowser1.oleobject.document.forms.item('PWD').elements.item('login:command/password').value := 'DeinPasswort';
webbrowser1.oleobject.document.forms.item('PWD').submit;

ist doch immer wieder nur so +/- das gleiche System.

[MrMyagi]

Danke für die schnelle Antwort,
jedoch kommt dort dieser Fehler:

http://operationsinnlos.op.funpic.de/Bild2.JPG

mfG, Nico

[r29d43]

hm, guck mal mittels des Debuggers, bei welcher Zeile diese Zugriffsverletzung genau auftaucht.

[MrMyagi]

Delphi-Quellcode:

procedure TForm1.Button2Click(Sender: TObject);
begin



//Fehler in der folgenen Zeile:
webbrowser1.oleobject.document.forms.item('PWD').elements.item('login:command/password').value := 'DeinPasswort';




webbrowser1.oleobject.document.forms.item('PWD').submit;
end;

Die gleiche Zeile hatte ich vorhin auch schon einmal probiert jedoch auch erfolglos.
Ist es viellecht ein falscher Name des Editfeldes, oder woran könnte es sonst liegen?



mfG, Nico

[r29d43]

Das wundert mich aber, denn als ich diese Zeile bei mir hier getest habe, klappte die.

Hatte dazu deinen HTML-Code in eine HTML-Datei geladen und bin mit einer TWebBrowser-Komponente anschließend dahin navigiert, um danach, wie schon gesagt, eben genau diese Zeile auszuprobieren. Und zwar mit dem Ergebnis, dass das Passwort in diesem Fenster dort auch tatsächlich (maskiert) auftauchte.

>>Ist es viellecht ein falscher Name des Editfeldes, oder woran könnte es sonst liegen?

Ergo Nein, denn gemäß dieser Zeile

<td width="120"><input type="password" class="stylepwd" name="login:command/password" size="12" maxlength="12" /></td>

bleibt da ja auch nur ein Name für dieses Edit-Feld übrig.

Lädst du dein Passwort eigentlich über eine Stringkonstante? Oder benutzt du dafür event. irgendeinen Pointer, den du davor nur vergessen hast korrekt auszurichten?

[MrMyagi]

Nee, ich mach das momentan, da ich noch in der Vortest-/bzw Probierphase
für mein späteres Programm bin, ganz primitiv, also nur um erstmal
herauszufinden wie und ob das ganze funktioniert und dort habe ich halt
einen Webbrowser auf der form und 2 Buttons, mit dem einen lade ich ganz normal
die seite mit webbrowser1.navigate('seite'); und mit Button2 möchte ich dann
den TExt in das EditFeld der Seite bekommen und zwar mit

Delphi-Quellcode:

webbrowser1.oleobject.document.forms.item('PWD').elements.item('login:command/password').value := 'DeinPasswort';
webbrowser1.oleobject.document.forms.item('PWD').submit;

mehr beinhaltet das ganze "Programm" nicht.
Kann es vielleicht sein, dass es daran liegt, dass ich auf das T-Online Modem zugreife
und dieses diesen Vorgang irgendwie sperrt?

Edit:
Neee das PW habe ich dort erstmal, da es nur zu testzwecken dient einfach in die Klammern da reingeschrieben ('Passwort');



mfG, Nico

[r29d43]

Übrigens, nur die erste von beiden Zeilen läd das Passwortedit. Die zweite Zeile soll dann diese entsprechend ausfüllte Seite wieder an den Server zurückschicken.

Dass das T-Online-Modem da irgendetwas blockiert halte ich eher für unwahrscheinlich. Um ganz sicher zu gehen, könntest du aber auch mal vor einem Test zuerst die Internet-Verbindung kappen. Dann wäre diese Frage wenigsten sicher beantwortet.

>>...das PW habe ich dort erstmal, da es nur zu testzwecken dient einfach in die Klammern da reingeschrieben ('Passwort');

..in die Klammern??? Zeig doch vielleicht zuerst nochmal kurz diese Zeile (zum Laden des Passwortes) wie sie bei dir jetzt aussieht ...und ersetze dabei das Passwort selbst durch eine entsprechende Anzahl von X'e.

[MrMyagi]

Delphi-Quellcode:

procedure TForm1.Button1Click(Sender: TObject);
begin
webbrowser1.Navigate('http://192.168.2.1/html/top_start_passwort.htm');
end;

procedure TForm1.Button2Click(Sender: TObject);
begin
webbrowser1.oleobject.document.forms.item('PWD').elements.item('login:command/password').value := 'x';
webbrowser1.oleobject.document.forms.item('PWD').submit;
end;

Das ist sozusagen schon das ganze Programm, also mit Ausnahme von den restlichen Standarts.

Edit:
Hmm das ist mal komisch, wenn ich den html code als Seite speichere und von dieser aus das versuche,
sagt er zwar das er die nachfolgende Seite nicht findet, jedoch denke ich (ich sehe es nciht),
dass er das PW eingibt.
Zumindest gibt es keinen Fehler.

[gekkorist]

Hallo,
welche komponente bräuchte ich wenn:
Nach eingabe der Router URL (192.168.0.1)
ein anmeldefenster in Windowsstyle aufpoppt und ich da password + username eingeben muss?
// aaah zu voreilich

normale Authifizierungwie man es auch auf ftp servern machen würde

name:pw@adresse

sry xD :oops:

[mkinzler]

Mit etwas Glück, wenn du es in die Url kodierst: <Name>:<Passwort>@<URL>;

[r29d43]

@MrMyagi, also ziemlich exakt das Gleiche wie mein kleines Prog (zum schnellen Gegencheck):

Wenn du die Submit-Zeile momentan blockierst, sollte jetzt erstmal nur alleine dieses Passwort-Edit geladen werden, was bei mir auch so klappt! Pro Buchstabe (des Passwortes) ist im Passwort-Edit dann jeweils ein Mask-Char (=kleiner runder Kreis) zu sehen. Eventuell blockierst du ja mal die unterste Zeile ebenso mit Commentzeichen o.ä..

Ansonsten habe da jetzt ehrlich gesagt im Moment auch keine große Vermutung mehr, warum das bei dir nicht auch genauso gehen sollte :?: :?: :?:

[gekkorist]

ha, falsch gedacht.
Firefox macht es so, aber ie kommt damit net klar.. im ie7 getestet.
naja, jetzt scheint es zu gehe, man kann net "nur usernamen" über die url machen

[Buttercreme]

Hallo Leute,

Ich mache etwas ähnliches wie das was der Thread hier beschreibt. Vorweg: Super Forum. Konnte Durchs lesen schon die meisten Probleme lösen. :thumb:

Nunja zu meinem Problem. Ich habe auch eine Passwort Seite auf der ich mich mit Benutzernamen und Passwort einlogge(funktioniert alles auch). Danach klicke ich mich quasi ein bisschen durch die Seite durch. Dann komme ich aber an einen Punkt wo ich eine URL aufrufen muss die dann ein zusätzliches Fenster öffnet. Da dies leider in einem externen Browser passiert ist die Session nicht mehr valid. Kann mir evtl. wer helfen und mir sagen wie ich es schaffe das ALLE Fenster die aufgerufen werden in meinem TWebBrowser bleiben (oder in einen zweiten oder dritten TWebBrowser gestartet werden).

[r29d43]

Hi Buttercreme, herzlich Willkommen im Forum, und -

das ist durchaus eine gute und interessante Frage,

die aber auf alle Fälle auch einen eigenen Thread rechtfertigt.

Dann stände eine Antwort auch wieder mehreren zur Verfügung, als dass die dann in irgendeinem Thread versteckt ist, dessen Überschrift das einfach nicht vermuten lässt.

[Buttercreme]

Okay werde einen neuen Thread eröffnen und hier verlinken.

Edit: http://www.delphipraxis.net/internal...=900846#900846