while not Eof(myFile), wie CPU Load in den Griff bekommen?

**Luckie**

Was ist dir lieber? Dass die CPU das tut für was du sie gekauft hast und arbeitet oder, dass sie zwischen durch Däumchen dreht? Was ist daran so schlimm, wenn die CPU ausgelastet ist? Kritisch wird es erst, wenn sie anderen Prozessen keine Ressourcen mehr zur Verfügung stellt. Aber das passiert nur wenn man dem Thread die höchste Prioritätsstufe gibt, was du wahrscheinlich nicht gemacht hast.

**FredlFesl**

10000 Zeilen sind kein Problem, das merkt man doch gar nicht... Wenn man, wie schon erwähnt, z.B. mit einer TStringlist arbeitet.

**jaenicke**

Oder du nimmst diese Unit von mir dafür. Diese bietet ein Readln an, so dass du nicht viel umstellen musst, ist durch die Verwendung einer MMF aber deutlich schneller.

http://www.delphipraxis.net/151898-s...ei-reader.html

**schwa226**

Danke für eure Tipps!

Meine Programm ist eine Multithread Anwendung.
Und wenn nun ein Thread für eine Kurze Zeit die CPU voll auslastet haben die anderen ja nichts mehr davon. Und wenn nun mehrere Threads gleichzeitig das File lesen wollen geht die CPU Last erst richtig hoch.

Ich werde es einmal mit der TSJMmfFileReader probieren.
Das Problem was ich noch habe, ist das ich gleichzeitig auch eine SQLite Database genau so durchsuchen will.

Meine Idee ansonsten ist die Dateien global einzulesen. Bei einer Suche wird zuerst überprüft ob sich die Datei verändert hat (Durch externen Editor). Wenn nicht dann die Globale (z.B. StringList) verwenden oder ansonsten halt die Datei neu laden. Um die Daten aber neu zu laden bräuchte man wieder eine ThreadSafe StringList was wieder den gleichzeitigen Zugriff blockiert.

Wie gesagt, die Daten werden nur gelesen und nicht verändert. Somit sollte eine globale StringList ausreichen.

**Sir Rufo**

Also mal zusammengefasst:

Du hast da eine Text-Datei mit mehreren Zeilen.
Die Zeilen unterscheiden sich auf jeden Fall in den ersten 4 Zeichen.
Nach diesen 4 Zeichen möchtest du suchen um dann den Rest der Zeile zu finden.

Dann würde es sich doch anbieten diese Datei zu lesen und einen sortierten Index über die ersten 4 Zeichen zu generieren.
in diesem Index wird dann gesucht (das geht z.B. in einer sortierten StringList rasend schnell)

Alle Threads greifen auf diesen Index zu ... oder kopieren sich den Index in eine neue Instanz und suchen dann.

Wenn aber viele Threads die gleiche Datei immer wieder durchsuchen, dann ist der Rechner die meiste Zeit damit beschäftigt die Daten von der Platte zu lesen und das treibt die CPU Last unnötig nach oben.

**Luckie**

Zitat von schwa226:

Und wenn nun ein Thread für eine Kurze Zeit die CPU voll auslastet haben die anderen ja nichts mehr davon.

Wenn du die Threads nicht auf mehrere Kerne verteilst, kann auch die CPU nur eins nach dem anderen machen und da spielt die Auslastung keine Rolle.

Zitat:

Und wenn nun mehrere Threads gleichzeitig das File lesen wollen geht die CPU Last erst richtig hoch.

Das ist Unsinn, was du da machst. Mit mehreren Threads aus einer Datei zu lesen bringt keinen Geschwindigkeitsvorteil, weil die Festplatte auch immer nur von einer Stelle lesen und so nur einen Thread jeweils bedienen kann.

Und noch mal, was hast du gegen eine hohe CPU-Auslastung? Wenn die CPU dein Programm ausführen soll, dann muss sie eben arbeiten. Dass andere Programme keine so hohe CPU-Auslastung haben liegt schlicht und ergreifend daran, dass sie zu 99% der Laufzeit nichts tun.

Du scheinst noch nicht zu wissen wie Windows sein Multitasking verwaltet. Lesetipp:

http://michael-puff.de/Programmierung/Delphi/Tutorials/

**jaenicke**

Zitat von Luckie:

Das ist Unsinn, was du da machst. Mit mehreren Threads aus einer Datei zu lesen bringt keinen Geschwindigkeitsvorteil, weil die Festplatte auch immer nur von einer Stelle lesen und so nur einen Thread jeweils bedienen kann.

Genau das löst das Auslesen per MMF. Und der Reader lässt sich sehr einfach für das Auslesen der jeweils 4 Zeichen modifizieren.

Aber davon abgesehen gibt es vermutlich eine bessere algorithmische Lösung für die Aufgabe. Was passiert denn in den Threads sonst noch?

**himitsu**

PS: paralelle Zugriffe auf eine Festplatte bremsen sich gegenseitig aus.

Die Leseköpfe sind langsam
- also sequentielles Arbeiten ist da besser (solange zwischendurch nicht mindestens genausolange gerechnet, wie auf dem Datenträger drauf rumgemacht wird)

**Luckie**

Zitat von himitsu:

PS: paralelle Zugriffe auf eine Festplatte bremsen sich gegenseitig aus.

Ich dachte, das hätte ich bereits erwähnt?

**p80286**

Zitat von schwa226:

Das Problem was ich noch habe, ist das ich gleichzeitig auch eine SQLite Database genau so durchsuchen will.

Meine Idee ansonsten ist die Dateien global einzulesen. Bei einer Suche wird zuerst überprüft ob sich die Datei verändert hat (Durch externen Editor). Wenn nicht dann die Globale (z.B. StringList) verwenden oder ansonsten halt die Datei neu laden. Um die Daten aber neu zu laden bräuchte man wieder eine ThreadSafe StringList was wieder den gleichzeitigen Zugriff blockiert.

Mir scheint, daß nicht der zugriff auf die Festplatte das Problem ist, sondern daß hier einige Abläufe nicht richtig zueinander passen.

Gruß
K-H

while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

AW: while not Eof(myFile), wie CPU Load in den Griff bekommen?

Forumregeln

FredlFesl Registriert seit: 19. Apr 2011 293 Beiträge Delphi 2009 Enterprise	#2 AW: while not Eof(myFile), wie CPU Load in den Griff bekommen? 22. Sep 2011, 04:40 10000 Zeilen sind kein Problem, das merkt man doch gar nicht... Wenn man, wie schon erwähnt, z.B. mit einer TStringlist arbeitet. Das Bild hängt schief.
	Zitat

jaenicke Registriert seit: 10. Jun 2003 Ort: Berlin 10.054 Beiträge Delphi 12 Athens	#3 AW: while not Eof(myFile), wie CPU Load in den Griff bekommen? 22. Sep 2011, 05:07 Oder du nimmst diese Unit von mir dafür. Diese bietet ein Readln an, so dass du nicht viel umstellen musst, ist durch die Verwendung einer MMF aber deutlich schneller. http://www.delphipraxis.net/151898-s...ei-reader.html Sebastian Jänicke AppCentral
	Zitat

himitsu Registriert seit: 11. Okt 2003 Ort: Elbflorenz 44.535 Beiträge Delphi 12 Athens	#8 AW: while not Eof(myFile), wie CPU Load in den Griff bekommen? 22. Sep 2011, 10:10 PS: paralelle Zugriffe auf eine Festplatte bremsen sich gegenseitig aus. Die Leseköpfe sind langsam - also sequentielles Arbeiten ist da besser (solange zwischendurch nicht mindestens genausolange gerechnet, wie auf dem Datenträger drauf rumgemacht wird) Ein Therapeut entspricht 1024 Gigapeut.
	Zitat

Luckie Registriert seit: 29. Mai 2002 37.621 Beiträge Delphi 2006 Professional	#9 AW: while not Eof(myFile), wie CPU Load in den Griff bekommen? 22. Sep 2011, 10:37 Zitat von himitsu: PS: paralelle Zugriffe auf eine Festplatte bremsen sich gegenseitig aus. Ich dachte, das hätte ich bereits erwähnt? Michael Ein Teil meines Codes würde euch verunsichern.
	Zitat