AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren

Threadsave List

Ein Thema von Fritzew · begonnen am 19. Mai 2017 · letzter Beitrag vom 19. Mai 2017
Antwort Antwort
Fritzew

Registriert seit: 18. Nov 2015
Ort: Kehl
678 Beiträge
 
Delphi 11 Alexandria
 
#1

Threadsave List

  Alt 19. Mai 2017, 21:34
Kennt jemand eine performante Threadsave List Implementation?
Ich bin im Moment am refactoring eines sehr grossen Projektes.
Es haben sich einige "Nadelöhre" gezeigt. Ich bin nun daran zu untersuchen welche Teile ich in Threads auslagern kann.
Das grösste Problem dabei ist, dass sehr oft Informationen zusammengesucht werden müssen und diese zur späteren Verarbeitung irgendwo Zwischengelagert werden sollten. Der naive Gedanke war einfach nehme eine tThreadlist<irgendwas>
und schreibe es da rein. Bringt aber nicht wirklich viel, da das locken in der Threadlist doch relativ viel Zeit braucht.
Ich spreche hier von wirklich grossen Datenmengen. Deshalb die Frage. Und es geht effektiv um Geschwindigkeit. Vor allem um das Insert in die Liste.
Fritz Westermann
  Mit Zitat antworten Zitat
Benutzerbild von stahli
stahli

Registriert seit: 26. Nov 2003
Ort: Halle/Saale
4.343 Beiträge
 
Delphi 11 Alexandria
 
#2

AW: Threadsave List

  Alt 19. Mai 2017, 22:10
Ich denke nicht, dass das locken selbst wirklich so viel Zeit braucht.
Wie oft und aus wie vielen Threads greifst Du denn schreibend und lesend auf die Liste zu?

Evtl. kannst Du Deine Sammlung auf mehrere Listen aufteilen.
Liste füllen und bei 1000 Einträgen eine neue Liste zum füllen bereitstellen.
Die verarbeitenden Threads können auf die älteren Listen zugreifen und welche jeweils Leseindex verwalten.
Wenn der Leseindex bei 1000 steht sind alle Einträge verarbeitet und die Liste kann freigegeben werden.

So kommen sich der schreibende und die lesenden Threads weniger in die Quere (wenn ich Dich richtig verstanden habe).
Stahli
http://www.StahliSoft.de
---
"Jetzt muss ich seh´n, dass ich kein Denkfehler mach...!?" Dittsche (2004)
  Mit Zitat antworten Zitat
Fritzew

Registriert seit: 18. Nov 2015
Ort: Kehl
678 Beiträge
 
Delphi 11 Alexandria
 
#3

AW: Threadsave List

  Alt 19. Mai 2017, 22:22
Es geht effektiv nicht um parallel schreiben und lesen sondern um das füllen.
Wir sprechen hier von mehreren 100.00 Einträgen. Und ja wir konnten es effektiv auf auf das Locking zurückführen.
Tests in denen einfach nur das befüllen in Threads ausgeführt wurde haben es bestätigt.

Es gibt hier Test mit Profiling etc...

Deshalb suche ich ja nach etwas wirklich performanten zum befüllen einer Liste
Fritz Westermann
  Mit Zitat antworten Zitat
Benutzerbild von Zacherl
Zacherl

Registriert seit: 3. Sep 2004
4.629 Beiträge
 
Delphi 10.2 Tokyo Starter
 
#4

AW: Threadsave List

  Alt 19. Mai 2017, 22:27
Wenn ich mich richtig erinnere, dann gibt es in der OmniThreadLibrary sogenannte "lockless"/"lock-free" Container. Das ist ein Idiom, mit welchem man ohne Verwendung klassischer Locks (CriticalSections, etc.) Thread-sichere Container implementieren kann. Technisch gesehen funktioniert das über atomare Operationen.
Projekte:
- GitHub (Profil, zyantific)
- zYan Disassembler Engine ( Zydis Online, Zydis GitHub)

Geändert von Zacherl (19. Mai 2017 um 22:30 Uhr)
  Mit Zitat antworten Zitat
Fritzew

Registriert seit: 18. Nov 2015
Ort: Kehl
678 Beiträge
 
Delphi 11 Alexandria
 
#5

AW: Threadsave List

  Alt 19. Mai 2017, 22:29
Danke für den Tip, werde ich mir anschauen
Fritz Westermann
  Mit Zitat antworten Zitat
Benutzerbild von Stevie
Stevie

Registriert seit: 12. Aug 2003
Ort: Soest
4.016 Beiträge
 
Delphi 10.1 Berlin Enterprise
 
#6

AW: Threadsave List

  Alt 19. Mai 2017, 23:46
100000 Items in eine Liste zu packen, kann nicht so lange dauern, ich hab neulich mal 100 Millionen Items in eine Liste gepackt, das hat knapp 700ms gedauert (vorheriges Setzen der Capacity natürlich, sonst gurkts ewigst).

Gib jedem thread eine eigene Liste, führe die rechenintentiven Operationen parallel aus und merge die Liste hinterher.
Stefan
“Simplicity, carried to the extreme, becomes elegance.” Jon Franklin

Delphi Sorcery - DSharp - Spring4D - TestInsight
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +1. Es ist jetzt 23:26 Uhr.
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2023 by Daniel R. Wolf, 2024 by Thomas Breitkreuz