zur Laufzeit erzeugte Website in lokale Textdatei kopieren?

[Jürgen Thomas]

Hallo,

ich möchte Daten einer fremden Homepage, die zur Laufzeit aus einer DB geholt und angezeigt werden, in eine eigene DB übertragen. Bisher machen wir die folgenden Schritte manuell; die Umsetzung in ein Programm wäre hilfreich:

1. Aufruf der Seite RBB-Musiklisten (wer den Aufbau schnell prüfen möchte, kann den Anhang ansehen)
2. Im Abschnitt <h1>Musiklisten</h1> wird ein Datum ausgewählt unter:

XML-Code:

<td class="pf_eingabe"><label for="datum">vom</label>


<select name="datum"><option value="alle" selected>Alle</option>

<option value="02.09.">02.09.</option>
</select>
</td>

3. Über den Button "inputbutton2" werden diese Angaben zur Suche abgeschickt. Das Ergebnis ist eine neue Tabelle "musiklisten1".
4. In der Tabelle <table class="musiklisten1"> wird einer der Links aufgerufen, z.B.:

XML-Code:

<td>[url="/programm/titel.jsp?key=playlist_970942&noExport=true"]KULTURRADIO AM MORGEN[/url]</td>

5. Die dadurch aufgerufene Seite wird im Quelltext unter einem (selbst festgelegten) Namen gespeichert.

Der Ablauf 2,3,4,5 ist an jedem Tag neu für jeweils vier Sendungen auszuführen. Die Nummer der Playlist kann ich nicht kennen; sie wird erst über die Suche gemäß 3 eingelesen.

Ich kenne mich mit lokalen DBs (Desktop und LAN) aus (außerdem auch mit ShellExecute u.ä.), habe aber keine Ahnung von Web-Programmierung. Es wäre aber sehr nützlich, wenn diese Schritte automatisiert durch ein eigenes Programm ablaufen könnten.

Kann mir jemand diese Schritte in Pseudo-Code und ggf. mit Hinweis auf geeignete Komponenten bzw. Klassen und Methoden (mit Hinweis auf die Umgebung, möglichst nur Standard-Klassen) umsetzen, damit ich diese Schritte in einem eigenen Programm (vorzugsweise NET 1.1 mit Delphi-C# oder 2.0 mit #D) umsetzen kann?

Recht herzlichen Dank! Jürgen

[Jürgen Thomas]

Halloooo!

Ich möchte es nochmal versuchen: Kann keiner mir helfen? Jürgen

[marabu]

Hallo Jürgen,

.NET und alles was damit zusammenhängt spielt in meinem Leben bisher keine Rolle, aber ich erkenne in deinem Beitrag zwei Problemfelder: das Steuern der Webschnittstelle (von rbb) und das analysieren des HTML-Codes. Zur Steuerung findest du im Forum unter der Rubrik "Internet /LAN /ASP.NET" unzählige Beispiele, welche die Komponente TWebBrowser automatisieren (aber auch andere). Bei der Analyse machst du dir das Leben unnütz schwer, wenn du den HTML-Code als Text verarbeitest. Besser wäre aus meiner Sicht der Zugriff über HTML-DOM. Auch dazu findest du reichlich Code im Forum. Eine Pseudo-Code-Darstellung finde ich da nicht so hilfreich, wenn du doch normalen Delphi-Code lesen kannst. Inwieweit sich solcher Code von WIN32 nach .NET übertragen lässt kann ich leider nicht beurteilen.

Grüße vom marabu

[Jürgen Thomas]

Danke, marabu,

ich sagte ja schon, dass ich mich mit Web-Programmierung (also auch TWebBrowser) noch nie beschäftigt habe. Mein Thema ist die weitere Bearbeitung der Datei, insbesondere die Analyse der folgenden Tabelle:

XML-Code:

<table class="musiklisten2">

<tr><th scope="col">Tontr&auml;ger</th><th scope="col">Werk</th>
<th scope="col">Zeit</th></tr>

<tr>
<td nowrap><span class="strong">RBBeigene Aufnahme</span>
LC ohne
</td>
<td><span class="strong">Debussy, Claude </span>
Children's Corner Suite f&uuml;r Klavier:



Golliwog's cakewalk 
Varsi, Dinorah (Klavier) 


Aufnahme 16.09.1086
</td>
<td><span class="strong">2'51</span>
</td></tr>  usw.

Vor allem die durch
getrennten Abschnitte sollen in eine DB übertragen werden und müssen dabei manipuliert werden (das ist meine eigentliche Aufgabe, und die ist mir klar).

Innerhalb dieser HTML-Dateien gibt es viele Meta-Daten, aber nur eine "musiklisten2". Deshalb hielt ich es für einfacher, nur den 'interessanten' Teil zu kopieren und außerdem die vier Dateien eines Tages in einer zusammenzufassen. Wenn Du mir sagst, dass die weitere Bearbeitung als ganzes einfacher ist, kann ich das so erledigen.

Zusammen mit Deinen Anmerkungen konkretisieren sich meine Fragen also so:

• Kann ich aus einer WinForms-Anwendung (nicht WebForms) heraus die Internet-Seite ansteuern? Wenn ja, wie?
• Wie kann ich Datum und danach einen Wert aus "musiklisten1" auswählen und die betreffende Seite speichern? (Den Umweg über TXT habe ich nur der Einfachheit halber vorgenommen; wenn es praktischer ist, kann ich sie auch direkt verarbeiten.)
• Zur Weiterverarbeitung muss ich innerhalb einer jeden Tab-Zeile <tr> die Spalten <td> und jeden der durch
  getrennten Teile separat untersuchen. Hilft mir dabei die XmlDocument-Klasse, oder welche NET-Klasse ist für HTML-Dokumente innerhalb WinForms geeignet?

Danke für Ergänzungen! Jürgen

[Jürgen Thomas]

Weitere Hilfen blieben aus...

Nun ja, ich bin inzwischen selbst über Lösungen gestolpert.

Zitat:

Kann ich aus einer WinForms-Anwendung (nicht WebForms) heraus die Internet-Seite ansteuern? Wenn ja, wie?

So geht es:

Code:

const string URL="..."; // die Adresse der Internet-Seite
HttpWebRequest abfrage = (HttpWebRequest)WebRequest.Create(URL);
//  Parameter zuordnen
//  abfrage abschicken
HttpWebResponse antwort = (HttpWebResponse)frage.GetResponse();
StreamReader sr = new StreamReader(antwort.GetResponseStream());

Mit dem StreamReader habe ich die gewünschten Daten, mit denen ich weiter arbeiten kann.

Zitat:

Wie kann ich Datum und danach einen Wert aus "musiklisten1" auswählen und die betreffende Seite speichern?

Dies betrifft die o.g. Zuordnung von Parametern, die mir noch unklar ist - siehe [dp]NET 2.0: Anfrage an WebServer aus WinForms-Programm senden[/dp]

Zitat:

Zur Weiterverarbeitung muss ich ... (alle) Teile separat untersuchen. Hilft mir dabei die XmlDocument-Klasse, oder welche NET-Klasse ist für HTML-Dokumente ...

Ich habe mich doch entschlossen, die einzelnen Seiten als Textdatei zu verarbeiten. Ich muss sowieso viele Tags anders interpretieren als HTML; dadurch ist die Bearbeitung als TextStream einfacher (und es dauert auch bei 400 kB nur wenige Sekunden).

Vielleicht profitieren andere Nutzer von meinen Erfahrungen. Jürgen

@Mod
Diese Diskussion kann geschlossen werden.