Search-Bot unter Linux

[moritz]

Servus!

Ich beschäftige mich zur Zeit ein bisschen mit Suchmaschienen, und will jetzt einen kleinen Index-Bot schreiben. Das ganze soll auf meinem Debian-Server laufen, er braucht Zugriff auf die mySQL und auf's Netz. Ich hab noch nicht wirklich unter Linux programmiert, und weiß deswegen nicht, wo ich ansetzten soll. Soll ich den Bot in PHP schreiben? Oder doch lieber in C++? Python? Und kann ich den Bot in den Idle-Mode tun, dass er nur den CPU nimmt, der sonst nicht gebraucht wird?
Hat jemand von euch Tips für mich? Irgendwelche Links, empfehlungen?

Gruß

[tommie-lie]

Zitat:

Zitat von moritz

Soll ich den Bot in PHP schreiben?

Wenn du die Nachteile dadurch in Kauf nimmst, ja. Hat aber auch den Vorteil, daß du nicht wissen musst, wie Linux funktioniert.

Zitat:

Zitat von moritz

Und kann ich den Bot in den Idle-Mode tun, dass er nur den CPU nimmt, der sonst nicht gebraucht wird?

Nennt sich Multitasking, einfach den Thread auf eine niedrige Priorität stellen. Stöber mal in den libc-Funktionen zu Threads. Wenn du das mit PHP machen willst, musst du allerdings jede Instanz des PHP-CGIs (oder den gesamten Apache, wenn PHP als Modul läuft) verringern. Wie das automatisiert geht, weiß ich nicht. Wenn du Glück hast, hat der Apache da eine Einstellung in der Konfigurationsdatei für, wenn nicht musst du tatsächlich einen "Wächter" schreiben, der Prozesse pollt und alle php-Prozesse in der Priorität erniedrigt. Dieser Wächte müsste dann vermutlich mit root-Rechten laufen, oder aber als Daemon, ich habe mich mit dem Prozess-Modell und der Rechtvergabe unter Linux noch nicht so auseinandergesetzt, daß ich dir jetzt sagen könnte, wie das geht.

[moritz]

Hast du Tipps zur Programmierung unter Linux? Ich weiß bereits, dass ich mysql bin dem mysql-befehl ansprechen und dateien mit wget runterladen kann, aber mehr....weiß ich noch ned. Evtl. mach ich es wirklich mit php bzw. shell, oder eben mit c++, aber da weiß ich eben nicht, wo ich ansetzten soll.

Gruß

[tommie-lie]

Zitat:

Zitat von moritz

Hast du Tipps zur Programmierung unter Linux?

Immer der Nase nach ;-)

Zitat:

Ich weiß bereits, dass ich mysql bin dem mysql-befehl ansprechen und dateien mit wget runterladen kann, aber mehr....weiß ich noch ned.

Das hat mit Programmierung nichts zu tun.

Mit Systemprogrammierung unter Linux habe ich noch nicht richtig angefangen, ich bringe zur Zeit GTK+ unter meine Kontrolle, der Rest kommt danach ;-)

Edit: Guck ma hier, das ist der C++-Wrapper für MySQL. Die C-Header sind laut mysql.org in der Server-Distribution enthalten und entsprechen dann den PHP-Funktionen.

[mschaefer]

Moin, moin,

also zum selbst programmieren ist das doch recht anspruchsvoll. Aber auch das Aufsetzen eines lauffähigen Harvest-Systems hat da schon einiges an Niveau und dieses arbeitet doch
professionell.

Kurz hier der Link Harvest Indexer auf Source-Forge

Viel Spaß damit // Martin