.csv Datei einlesen, analysieren und bearbeitet abspeichern.

[Dade]

HI Leute,
ich bin seit Tagen verzweifelt auf der Suche nach einer Möglichkeit, wie ich viele .csv - Dateien einlesen, einzelne Felder analysieren und alles dann als eine weitere Zeile in nur einer Excel Datei speichern kann.

Ich versuchte bereits Delphi zu lernen, da ich früher als Teenager mit Pascal programmierte, aber es hat sich doch sehr viel getan.


Ich hoffe sehr, dass ihr mir helfen könnt. Das wäre absolut toll.


Ich erkläre kurz worum es geht:
Ich bin an einem Projekt und nutze ein Programm, mit dem man Bilder ausmessen und Zellen zählen kann. Diese Ergebnisse werden mir als .csv - Datei ausgegeben. Insgesamt komme ich bestimmt am Ende auf über 1500 Dateien.
Diese sehen so aus:

--------------------
Annotations;;

Name;Perimeter (µm);Area (µm2)

LK_1_1_F_1;835,4;48705,5

LK_1_1_F_2;1142,7;93813,4

[.....ca. 20 Zeilen........]

LK_1_3;14272,3;7956108,4

;;

Distance measurement annotations;;

Length (µm);;

5,15;;

3,22;;

---------------------------------

Im Endeffekt müssen nun die Zahlen in bestimmter Art und Weise in der Excel Tabelle später stehen. Zusätzlich muss in der 1. Spalte jeweils der csv-Dateiname erscheinen (ist nämlich die Nummer) + die Angabe: LK_1_1_f_2 (als Beispiel von oben) analysiert werden nach "wie oft taucht "F" auf. Für jede .csv - Datei müssen die addiert und dann auch in einer Spalte stehen.

Ich habe hier vorher - Nachher + Erläuterungen hochgeladen: https://www.dropbox.com/sh/blbndn594...t68a?dl=0&s=sl

Alleine schaffe ich das nicht.

Gruß
Kai

[jobo]

Also ich denke, man kann das mit SQL machen, auch wenn einige Dinge unklar sind.
Inhaltlich z.B. die Handhabung der "Lenght" oder irgendwelche Kommentar, die angeblich am Ende der CSV stehen.
Technisch, weiß ich nicht, ob 1500 Dateien als External eingebunden werden können, sonst muss man iterieren.
Outputformat, sollen mehre Ursprungsdateien in einem dargestellt werden oder als mehrere Ergebnisse.

[Bjoerk]

Hab mir mal das Zeugs aus der Dropbox runtergeladen. Die Auswertung soll so aussehen. Ich frage mich wie jemand das für TE machen sollte?

Code:

1.) Fallnummer Lymphknoten

2.) Lymphknotennummer

3.) Anzahl der Follikel

4.) Keimzentren vorhanden ja=1, nein=0

5.) Anzahl der Keimzentren

6.) Anzahl der regressiven, hyalinisierten Keimzentren

7.) Anzahl der ill defined Keimzentren

8.) Anzahl nackte Keimzentren (keine Mantelzone)

9.) Normale Keimzentren vorhanden ja=1, nein=0

10.) Viele Makrophagen im Kortex vorhanden (erst wenn mindestens 3 verschiedene Stellen, min. 40x Gesichtsfelddurchmesser groß, oder 1 Stelle 20x Gesichtsfelddurchmesser groß hiervon betroffen) ja=1, nein=0

11.) Granulome vorhanden ja=1, nein=0

12.) Metastasen vorhanden, ja=1, nein=0

13.) Mikrometastase vorhanden ja=1, nein=0

14.) Minimaldistanz Mikrometastase zu Follikel

15.) Minimaldistanz Mikrometastase zu ill defined GC

16.) Minimaldistanz Mikrometastase zu Granulom

17.) Tumor lymphozytenreich (wenn im 20er Objektiv mindestens ein zusammenhängendes Lymphozyteninfiltrat das Gesichtsfeld durchmisst)

18.) Tumor lymphozytenreich im 10er Objektiv; ja=1, nein=0

19.) Tumor lymphozytenreich-plasmazellreich

20.) Lokalisation, 1=SN, 2=LK Level 1, 3=LK Level 2,4=Level 1&2 zusammen befundet, 5= Tumor Mamma

21.) LK-Nummer

22.) Umfang LK

23.) Fläche LK

24.) Metastase

25.) Umfang Metastase

26.) Fläche Metastase

27.) Follikelnummer

28.) Umfang Follikel

29.) Fläche Follikel

30.) Keimzentrumsnummer

31.) Umfang Keimzentrum

32.) Fläche Keimzentrum

33.) Nacktes Keimzentrum -Nummer

34.) Umfang nacktes Keimzentrum

35.) Fläche nacktes Keimzentrum

36.) Besonderheiten/Kommentare

[jobo]

Ah, schon mal die Überschriften!
Also ich würde es mit Oracle unter Nutzung der "external tables" machen.
Die Zählerei- /Existenzwerte sollten damit kein Problem sein.

[Bjoerk]

Ist m.E. ein klassisches Freelancer Project (Ohne Grundlagen gehts halt nicht..)

Zitat:

Delphi-Quellcode:

procedure TForm1.Button1Click(Sender: TObject);
begin
uses
  FileCtrl;
  ..

Damit bekomme ich bestimmt keine .exe.
Was mache ich falsch?

[Dejan Vu]

Also, *wenn* das eine Doktorarbeit sein soll, dann würde ich mal sagen: Durchgefallen. Setzen. Sechs.

Denn zu einer Doktorarbeit (und zu akademischer Arbeit, ach was sag ich, Arbeit allgemein) gehört auch Planung, und wenn man sich das hier anschaut, dann fehlt das komplett, zumindest was die Auswertung anbelangt. So frei nach dem Motto: Erstmal sammeln, fürs Auswerten findet sich schon ein Dummer.

Und später wirst Du dann den Bauch des Patienten öffnen, aber beim wieder-zunähen einen Hilferuf im Ärzteforum posten?

Und falls Dir das alles bewusst ist, dann lass mal die Hosen runter und biete einen Preis dafür, das man Dir deinen Doktortitel rettet. Und dieser Preis (ich würde ja nach tageweise nach Aufwand abrechnen) ist immer noch viel zu niedrig, im Vergleich für den Gegenwert (akademischer Abschluss).

Ich war mal einer der Dumpfköppe, die als Hiwi für so eine Doktorarbeit Daten eingetrommelt hat. Wir kamen uns zwar irgendwie ausgenutzt vor, aber der Deal war ok: Wir wollten einen Schein und er wollte seine Doktorarbeit (bzw. die Daten). Ausgewertet hat er das übrigens selbst, weil Teil seines Plans das Format der Exceltabellen war: Er hatte sich vorher überlegt, wie wir die Daten in Excel ablegen sollen, sodass er mit moderatem Aufwand auswerten kann.

[jobo]

Vielleicht schießt Du da etwas übers Ziel hinaus.
Es ist nicht seine Doktorarbeit. Eine Bildauswertungs -vermessungssoftware ist jetzt auch nicht unbedingt etwas, was man wie eine Textverarbeitung mal eben irgendwo herbekommt oder tauscht, ebenso die Statistiksoftware. Ich habe noch nie mit sowas gearbeitet, keine Ahnung was solche Systeme leisten könn(t)en.

Ja, die Herangehensweise ist fragwürdig, sicher kann man das alles planen und ja, vielleicht muss da jetzt ein Profi ran oder ein Märtyrer im Dienste der Wissenschaft. Da der TE nicht mehr postet, gehe ich sowieso davon aus, dass der Drops gelutscht ist (durch einen Profi, einen Selbstausbeuter oder was auch immer)
Und ohne die Details zu kennen, Excel würde ich nun auch nicht unbedingt einen Plan nennen (also vielleicht, aber höchstens beim A-Team).

[p80286]

Zitat von Dejan Vu:

Ausgewertet hat er das übrigens selbst, weil Teil seines Plans das Format der Exceltabellen war: Er hatte sich vorher überlegt, wie wir die Daten in Excel ablegen sollen, sodass er mit moderatem Aufwand auswerten kann.

Da scheint "Dein Doktor" die Grundlagen zumindestens verstanden zu haben.
Ich habe vor vielen Jahren Medizinern statistisch unter die Arme gegriffen (das war in der VorExcelZeit) seitdem weiß ich, daß sich Kreativität und Statistik nicht ausschließen.

Gruß
K-H

[Bjoerk]

Dejan Vu, das ist nun wirklich Quark. Ein Mediziner weiß normalerweise nicht mal was eine csv Datei ist? BTW, meine Schwester hat für ihre Doktorarbeit 10 Jahre gebraucht. Ihr Doktorvater regte an daraus ein Buch zu machen. Nochmal weitere 2 Jahre für das Buchlayout. Ist heute in Fachkreisen übrigens ein Besteller. Sie hat ihre Daten mit SPSS verwaltet und ausgewertet, deshalb mein Hinweis an TE.

[p80286]

@Bjoerk
Es gibt sonne und sonne

Und die einen segeln im Windschatten der anderen.

Gruß
K-H

[DSP]

Ich würde einen anderen Ansatz wählen

Alle Dateien einlesen, Zeilen durchnummerieren, ein Count dazu und dann zusammen als .csv speichern. Das ganze dann nach Excel als .csv importieren, ein Pivot draus machen und dann auswerten wie man lustig ist

Code in etwa so:

Delphi-Quellcode:

 1 --> count
 clear itab!
 for each <dateinahme>  do
  for each line in <dateinahme>
   newline := <dateinahme>;<count>;1;<line>
   add newline to itab!
   inc count
 save itab as csv

Dann kurz Excel anwerfen und produktiv arbeiten.

Dann kannst über alles auswerten, summieren und auch jede datei einzeln betrachten und analysieren.

DSP