Lösungsansätze gesucht: Datenspeicherung / -analyse

[Jacques Murell]

Moin,

folgendes Problem: Meine Anwendung bekommt sekündlich Zeichenketten aus dem Internet, begrenzt auf 200 Zeichen pro "Nachricht". Diese werden in meiner Anwendung angezeigt und bearbeitet.

Nun möchte ich gerne Prüfen ob diese Zeichenketten mehrfach ankommen und dem User einen Hinweis geben wenn er die Nachricht schonmal zu Gesicht bekommen hat. Das einzige was mir spontan einfiel ist die Nachrichten in eine Datenbank zu packen. Problem dabei: Schafft eine Datenbank das performancemäßig? Sagen wir wenn schon 2000 Nachrichten a 200 Zeichen in der DB liegen, die neue kommt rein bleibt ja nur eine Sekunde Zeit herauszufinden ob die Nachricht früher schonmal kam - braucht die DB zu lange um mir das anzuzeigen kommt schon die nächste Nachricht.

Hat irgendjemand einen Vorschlag was man da schönes machen könnte? Bin für jeden Hinweis dankbar

[Jumpy]

Der Test, ob eine Nachricht schon mal da war muss ja nicht in der Zeit gemacht werden, in der die Nachrichten kommen, sondern in der Zeit, die der User braucht, diese zu prüfen. Oder läßt sich der User diese auch zur Echtzeit anzeigen, d.h. jede Sekunde eine neue Nachricht (heißt der vllt. Data)?

[jfheins]

Hmmm ... mit Strings könnte das bei großen Datenmengen langsam werden. Abhilfe schafft hier eine Quersumme oder ein kurzer Hash. Wenn diese Spalte indiziert ist, können relativ schnell relativ viele Daten ausgeschlossen werden.

oder direkt die varchar Spalte indizieren. Ist vielleicht nicht so flott, aber für 2000 Datensätze (eine lächerlich kleine Menge für eine richtige Datenbank) sollte das schon reichen.

[jobo]

Ich würde auch sagen, dass eine Datenbank davon nicht aus dem Tritt kommen sollte.
Zumal es vermutlich eine lokale, single User Db sein würde?
Ein Testselect auf 1,5 Mio Ds mit exakter Gleichheit auf einer indizierten Textspalte lag hier bei 0,5 Sekunden.

[mquadrat]

Prinzipiell würde ich da kein Problem sehen, wenn halbwegs regelmäßig aufgeräumt wird.

Zum Thema hashen vor dem Speichern: Müsste man mal schauen was die DB bei einem Index auf einem varchar() Feld macht. Wenn die selber auch hasht, dann würde man nur Zeit verschenken.

[rokli]

Warum legst du nicht einfach einen Primärschlüssel auf das Feld in der Tabelle? Dann hast du garkein Problem mehr, das die DB dann die Speicherung doppelter Sätze dirket ablehnen würde. Wenn Du den Satz dann trotzdem brauchst, legst Du ihn stattdessen in eine andere Tabelle ab ... und alles ist gut.

Welche DB sollst denn überhaupt sein?

Moin
Rolf

[Bbommel]

Ist denn eine Datenbank da wirklich nötig? Dazu wissen wir wahrscheinlich zu wenig darüber, was du wirklich machen willst, aber ich würde mal überlegen, ob es nicht sinnvoll wäre, in eine ganz andere Richtung zu denken, und die neu ankommenden Strings zumindest vorübergehend lokal im Speicher zu belassen. Wenn du die neu ankommenden Strings in einer sortierten Stringliste im Speicher hältst, dann sollte das Prüfen auf Vorhandensein und auch das sortierte Einfügen neuer Strings innerhalb einer Sekunde keinerlei Problem sein.

Auch wenn du diese Liste bspw. über eine ganze Stunde füllst, hast du ja gerade mal ca. 1,5 MB an Speicher belegt, was heute kein Problem sein sollte (60*60 Sekunden*400 Byte).

Geht natürlich nicht, wenn die Daten unbedingt und sofort dauerhaft in der DB gespeichert werden müssen.

Bis denn
Bommel

[p80286]

Wie wäre es den mit einer simplen Stringlist?
Wenn die sortiert ist, kannst Du über Dupignore ziemlich einfach feststellen ob die Nachricht schon einmal da war.

Gruß
K-H