Software Validierung... How to ?

[haentschman]

Hallo alle miteinander... :hi:

ein Kunde droht mit Auftrag... :cheer:

In diesem Zusammenhang ist als Voraussetzung folgendes gegeben. Originalzitat des Kunden:

Zitat:

Des Weiteren muss gewährleistet sein, dass ihr Tool im Anschluss Validierungsfähig ist.

Wikipedia ist sich über die Definition nicht einig. http://de.wikipedia.org/wiki/Validie...8Informatik%29

Hat jemand von Euch schon einmal mit dieser Thematik Kontakt gehabt ?

Folgende Fragen stellen sich mir in diesem Zusammenhang:
- Definition der Validierung ?
- wer muß den Beweis führen, daß die Software valide ist ? ... Der Entwickler ?
- in welcher Form muß der Beweis geführt bzw. vorbereitet werden ?
- gibt es eine Art Checkliste um valide zu entwickeln ?

Ich bedanke mich für Eure Infos... :hi:

[-187-]

Code:

Validierung in der Informatik und Softwaretechnik ist die dokumentierte Beweisführung, dass ein System die Anforderungen in der Praxis erfüllt.

Für mich stellt sich das so dar das du dem Kunden eine Dokumentation, in der die Vorgehensweise beschrieben und somit die Funktionalität bewiesen wird, vorlegen musst.

[haentschman]

Danke für deine Info...

...aber genau darüber wird in der Diskussion gestritten:

Zitat:

Validierung ist die dokumentierte Beweisführung, dass ein System die Anforderungen in der Praxis erfüllt. Ich halte das für groben Unfug. Da wird Softwaretest und Verifizierung verwechselt. Ausserdem passt der Rest des Artikels nicht zu der Definition und ist zum Teil unverständlich.--Avron 16:39, 9. Jul. 2008 (CEST)

[-187-]

Code:

Validierung ist eine Bestätigung durch Bereitstellung eines objektiven Nachweises, dass die Anforderungen für einen spezifischen beabsichtigten Gebrauch oder eine spezifische beabsichtigte Anwendung erfüllt worden sind.

PS: Hier kannst du nochmals mehrere Auffassungen nachlesen: http://www.enzyklo.de/Begriff/Validierung

[haentschman]

Zitat:

durch Bereitstellung eines objektiven Nachweises

... nun gut, soweit ist das klar. Wie soll aber der Nachweis aussehen ? Ich kann 100 Mal erzählen, daß die Software macht was sie soll. Quelltextauszüge ? Log Dateien ?

[-187-]

Ich würde sagen das nicht jeder Kunde etwas mit Quelltexten anfangen kann. :P

Wie du siehst gibt es viele Auffassungen und Missverständnisse zu dem Thema deswegen würde ich dir einfach raten speziell diese Thema beim Kunden zu hinterfragen. Vielleicht meint dieser nur sowas wie "Die Funktionalität der Anwendung ist zu gewährleisten" oder ähnliches.

Ansonsten könnte man einen Ablaufplan nach Norm XY erstellen, jedoch beweist das noch lange nicht das deine Anwendung auch so funktioniert. Ich verstehe deine Sorge - Irgendwie ein schwammiges Thema.

[haentschman]

Danke für deine Zeit... :P

ich hab grad über zig Links zu GAMP 5 gefunden. Das scheint eine "Checkliste" zu sein, wie so eine Validierung aussieht. Leider ist diese Dokumentation kostenpflichtig.

Ich mache mir halt schon vorher Gedanken. Der Kunde ist in der Pharma Branche. Das zu entwickelnde Tool dreht sich um sämtliche gemessene Temperaturen, Alarme, Auswertungen etc. die im Gebäude anfallen... Heikles Thema. Die meisten Quellen sprechen davon, daß die Validierung schon mit der Planung der Entwicklung beginnt bzw. die Entwicklung darauf ausgerichtet oder die Validierung Berücksichtigung findet.

Wie macht mann´s richtig :gruebel:

[jobo]

Eine Software/ Tool zu validieren, heißt ihre Datenverarbeitung/Funktion nach zuvollziehen, mit positivem Ergebnis natürlich.
Also wenn man davon ausgeht, das -ganz klassische- Eingabe / Verarbeitung / Ausgabe vorliegt, muss dies einfach durch den Kunden nachvollziehbar sein.

Dies kann durch mitgelieferte Reports, Datenschnittstellen, oder nur Exportschnittstellen erfolgen, je nach Anforderung.

Letztlich sollte jeder Entwickler doch seine Software validieen (können) und so gestalten, dass es auch dem Kunden möglich ist.

Du hast aber "validierungsfähig" geschrieben, dahinter kann auch eine bestimmte Form stecken, da hat sicher jedes Unternehmen andere Anforderungen.
Vielleicht hat der Kunde das aber auch nur irgendwo gelesen, auf jeden Fall nachhaken.

[Phoenix]

Das haben wir mal gemacht. Kunde (auch Pharma) hat die Software hinterher selber validieren lassen.

Im Prinzip musst Du genau gemäß den Spezifikationen die der Kunde Dir gibt Deine Software erstellen.
Mit Unit- bzw. Integration tests (am besten Automatisiert) bildest Du genau diese Spezifikationen ab.

Das heisst Du kannst von beginn an durch die Tests nachweisen, dass Deine Software den durch die Tests abgedeckten Spezifikationen entspricht. Das ist jederzeit wiederhol- und natürlich dokumentiertbar (Ausgabe der Test-Läufe und ggf. offenlegung des Test-Codes).

Ich würde aber mal nachfragen ob die die Validierung übernehmen und welche konkreten Dokumentation Du abliefern musst und welche Spezifikationen Sie Dir vorgeben.

[haentschman]

Zitat:

Ich würde aber mal nachfragen ob die die Validierung übernehmen

...die Validierung wird vom Kunden durchgeführt. Ich möchte nur wissen, auf was zu achten ist damit ich nicht ins Messer laufe und die "Testergebnisse" nicht liefern kann.

Danke an alle... :P

Zitat:

Das heisst Du kannst von beginn an durch die Tests nachweisen, dass Deine Software den durch die Tests abgedeckten Spezifikationen entspricht. Das ist jederzeit wiederhol- und natürlich dokumentiertbar (Ausgabe der Test-Läufe und ggf. offenlegung des Test-Codes).

... und genau das ist Neuland.

[-187-]

Naja nun kommt es auf die Spezifikation an. Diese wird vom Auftraggeber gestellt und enthält die Merkmale die zubeachten sind damit der Auftraggeber bei Übergabe das Projekt validieren kann.

Edit: Der Artikel wäre vielleicht noch was für dich: http://de.wikipedia.org/wiki/Spezifikation

[haentschman]

Danke erst Mal...

für die nächste Zeit hab ich schon mal Lesestoff. Wenn noch was unklar sein sollte komme ich gern auf Euch zurück. :zwinker:

[jobo]

Noch ein Gedanke
Validierung, besonders validierungsfähig steht für mich im Zusammenhang mit Randbedinungen und Abstraktion und/ oder Deduktion.

Vor nicht all zu langer Zeit wurden CPU mit der Angabe der Taktfrequenz verkauft. Niemand würde auf die Idee kommen, nach dem Kauf die Frequenz nachzumessen, geschweige nach zuzählen.
Heute steht sie gar nicht mehr im Vordergrund.

Die Angabe der Taktfrequenz ist allerdings für einen Programmierer in Kombination mit der Angabe bestimmter CPU-Operationen und der Anzahl der dafür benötigten Taktzyklen durch Testprogramme verifizierbar.

Liegen alle Merkmale und Umgebungsparameter vor, die einzelnen Leistungsangaben der CPU zu verifizieren, wäre sie- mit Hilfe der mitgelieferten Dokumentation und gewisser anderer Werkzeuge- m.E. validierungsfähig.

[mquadrat]

Ich würde in Richtung "Die Spezifikation muss automatisiert testbar sein" tendieren. Aber genau wissen, müsste das dein Kunde ;)

Verifizieren (!) wäre auf jeden Fall bööööse. Durfte mich im Studium damit rumschlagen. Haben damals ein Tool der Uni genutzt (Trommelwirbel für den Namen) VeriFun.

[Phoenix]

Wenn die das so machen, wie damals bei unserem Tool, dann werden die eine Menge Test-Cases durchspielen und hinterher sagen: Jau, passt.

Problematisch ist zum einen eine Re-validierung, wenn an dem geprüften Modul irgend etwas geändert wird. Das muss dann nämlich erneut geprüft werden.

Zum anderen muss insbesondere bei Konfigurationseinstellungen die das Verhalten der Anwendung beeinflussen dies genau dokumentiert sein, damit auch alle betroffenen Bereiche der Software mit allen möglichen Konfigurationen getestet werden können.

In der Pharma-Branche verlangt deren Qualitätskontrolle in der Regel solche aufwändigen Prozeduren.

[TimTom]

Wenn der Kunde in der Pharma-Branche ist, handelt es sich wahlscheinlich um FDA-Validierung.
Suche mal nach "21 CFR part 11", da wirst du einiges finden. Es ist sicher besser, die Kriterien gleich bei der Planung zu berücksichtigen. Der Aufwand ist nicht zu unterschätzen.

Viele Grüsse,

Tim

[shmia]

Einer unserer Kunden (auch Pharmabranche) verlangt auch eine "Validierung".
Das sah dann so aus, dass der Kunde jede Menge Testfälle aufgestellt hat und in einem Protokoll festgehalten hat, was funktioniert und was nicht.
Fast ganze Arbeit wurde von unserem Kunden übernommen.

Letztendlich haben wir die Freigabe für eine ganze bestimmte Programmversion (x.x.x.x) bekommen.
Sollte sich an dieser Programmversion auch nur die letzte Ziffer ändern, fängt das Validierungstheater von vorne an (also ALLE Tests; auch wenn die Änderung lokal begrenzt ist).
Nun ist es aber so, dass der Kunde immer mal wieder neue Features haben möchte.
Dies zwingt uns und den Kunden zum Bescheisen:
Wir zählen intern zwar die Versionsnummer hoch, die Anwendung zeigt aber immer die gleiche validierte Version an.

Soviel zum (Un)Sinn der Validierung.
Das Dumme an der Validierung ist, dass es mit einem riesigen Protokollierungsaufwand verbunden ist und die Beteiligten zum Betrug zwingt.
Eigentlich sollte es um Softwarequalität gehen.
Es wäre viel sinnvoller ein Testsystem vorzuschreiben und das Unternehmen muss jedes Softwareupdate auf dem Testsystem stichprobenartig testen.

[haentschman]

Hallo und Danke an alle...

Zitat:

Suche mal nach "21 CFR part 11", da wirst du einiges finden.

...das sollte reichen. Insbesondere Teil B über die Aufzeichnung von elektronischen Daten.

Zitat:

Es ist sicher besser, die Kriterien gleich bei der Planung zu berücksichtigen. Der Aufwand ist nicht zu unterschätzen.

...das habe ich ja vor. Evt. gleich Logs mit reinprogrammieren um beweisen zu können, daß die gelesenen Daten 1:1 in die DB gewandert sind... z.B.

Zitat:

Wenn die das so machen, wie damals bei unserem Tool, dann werden die eine Menge Test-Cases durchspielen und hinterher sagen: Jau, passt.

...ich hoffe, daß das so einfach abläuft :zwinker:

bis bald :hi:

[FBrust]

Hallo,

vielleicht ist Dir möglich, den Kunden zu fragen, was er darunter versteht, nicht dass ihr aneinander vorbeiredet.


GrußFrank

[haentschman]

Guten Morgen...

Zitat:

vielleicht ist Dir möglich, den Kunden zu fragen, was er darunter versteht, nicht dass ihr aneinander vorbeiredet.

...in Kürze wird ein Gespräch stattfinden, in dem grob der Inhalt festgelegt wird. Da werde ich das konkret ansprechen.

...schönes Wochenende :hi: