Umfrage : TEST bei komplexen Anwendungen

[jaenicke]

Nichtsdestotrotz kennen wir das Problem, dass virtuelle Maschinen die Lizenzprüfbarkeit stark einschränken, aus eigener Erfahrung. Deshalb kann ich das durchaus verstehen, dass da entsprechende Maßnahmen ergriffen werden.

[vagtler]

Zitat von jaenicke:

[...] Und was die Nutzung von Macs angeht: Bei dem Preis dafür sollte ja der Preis für TestComplete ohnehin kein Problem sein...

Warum die Polemik? Auch wir haben mittlerweile ausschließlich auf MBPs umgestellt. Letztendlich hat unsere Erfahrung gezeigt, dass die TCO-Betrachtung ganz besonders im Hinblick auf die effektive Nutzungsdauer mit einer durchaus positiven Bilanz für die Apple-Geräte aufwarten kann.

[jaenicke]

Zitat von vagtler:

Letztendlich hat unsere Erfahrung gezeigt, dass die TCO-Betrachtung ganz besonders im Hinblick auf die effektive Nutzungsdauer mit einer durchaus positiven Bilanz für die Apple-Geräte aufwarten kann.

Bei mir ist diese Erfahrung gänzlich gegenteilig. Aber jedem das Seine.

[Phoenix]

Zurück zum Thema bitte.

Ich habe gerade die letzten Tage auf der Basta ein interessantes Konzept zum Testen (lassen) gesehen: TestHub. Zu finden unter testhub.de.
Die Idee: Crowdsourcing der Tests.

TestHub hat aktuell ca. 13.000 aktive Tester (die das nebenbei machen, also auch am Wochenende und Feiertags testen wollen) und fürs erfolgreiche Testen bezahlt werden.
Ein internes Review und Rating bei Testhub stellt sicher, dass die Tester die hochqualitative Bugreports erstellen aufsteigen - so wird deren Qualität sicher gestellt.

Das Pricing ist auch okay (zumindest aus meiner Sicht) - aber das mag für andere Use-Cases anders / schlechter aussschauen. Es ist auf jeden Fall billiger das zu Nutzen als ein internes Test-Team aufzubauen und dafür jemanden einzustellen / abzuberufen.

[Furtbichler]

Sollte man nicht zwischen Unit-, Integrations, Regressions- und GUI-Tests unterscheiden?

Ein ordentliches Design (MVVM, Dependency Injection usw) gepaart mit Unit-Tests, einem Mocking-Framework und Tests bis hin zum ViewModel reicht imho aus und gehört sowieso zur Grundausstattung geines (komplexen) Projektes.

Bei 'TestHub' (interessanter Ansatz) wird man wohl eher Web-Applikationen testen können, oder Tools, die man eh verschenken will, aber eine Business-Anwendung für einen oder wenige Kunden wird man damit wohl kaum -auch schon rein rechtlich- beim Tester installieren wollen bzw. können.

Oder hast Du andere Erfahrungen? Wie gesagt, habs mir nicht genau angeschaut.

[Phoenix]

Zitat von Furtbichler:

[...], aber eine Business-Anwendung für einen oder wenige Kunden wird man damit wohl kaum -auch schon rein rechtlich- beim Tester installieren wollen bzw. können.

Das "nicht Wollen" ist vielleicht ein Grund (wenn auch kein sehr valider), aber was für rechtliche Hinderungsgründe sollte es geben, die ein Unternehmen daran hindern, erstellte Software von einer dritten Firma testen zu lassen? So einen Fall müsste man wirklich schon sehr abstrus konstruieren. Für sowas gibt es im Zweifel NDA's, und zumindest jedes Unternehmen das ich kenne hält Klauseln in seinen Verträgen die es erlauben, dritte Parteien hinzuzuziehen sofern diese das NDA auch akzeptieren.

Klar, der primäre Use-Case werden wohl wirklich Web- und Mobile Anwendungen sein, aber insbesondere Usability-Tests auch für Desktop-Anwendungen kann ich mir sehr gut so vorstellen.

[Furtbichler]

Zitat von Phoenix:

..aber was für rechtliche Hinderungsgründe sollte es geben, die ein Unternehmen daran hindern, erstellte Software von einer dritten Firma testen zu lassen?

Bei dem Gedanken ging ich davon aus, das *ich* als Entwickler die SW VOR Auslieferung testen lassen will. Wieso sollte der Kunde das wollen? Er will eine funktionierende Software haben und nicht 13000 potentielle Wirtschaftsspione oder Verwandte von Mitarbeitern der Konkurrenz ins Boot holen. Natürlich, man kann sie alle einzeln interviewen... Das wäre aber, um es mit deinen Worten zu formulieren, reichlich abstrus. Da kann man sein Portfolio gleich Open Source ins Netz stellen.

Zitat von Phoenix:

Das "nicht Wollen" ist vielleicht ein Grund (wenn auch kein sehr valider)

Ich gebe deinen Namen gerne an meine Kunden (siehe unten) weiter. Im Ernst: Meiner Meinung nach sind es *immer* gute Gründe, die einen Kunden bewegen, nicht kooperativ an der optimalen Umsetzung einer Aufgabenstellung mitzuarbeiten. Wenn Du so über deine Kunden denkst...

Zitat:

aber insbesondere Usability-Tests auch für Desktop-Anwendungen kann ich mir sehr gut so vorstellen.

Ich auch, aber ich sprach ja von Individualsoftware und nicht vom nächsten Wordpad.

Hier einige Konkrete Beispiele für Hinderungsgründe (aus meiner Praxis):

In einem Maschinenbauunternehmen, das von seiner Innovation lebt, darf man nichts, aber auch gar nichts nach außen geben. Man darf noch nicht einmal im eigenen Büro arbeiten, sondern muss den Firmen-PC im Firmen-Gebäude benutzen. Also: 'Nicht wollen'. Firmenpolitik und -philosophie werden (hier) nicht angezweifelt, sondern als Axiome akzeptiert.

Die Daten, auf denen die Software aufbaut sind Firmeneigentum. Die Strukturen sind Firmeneigentum, die abgebildeten Prozesse sowieso. Anzunehmen das das rechtlich einwandfrei und ohne Aufwand nach außen (zu 13000 Testern) geben zu wollen, ist... wie soll ich mich ausdrücken..?... ach, ja, schon erwähnt: "abstrus".

Der Auftraggeber (Produktionsleitung) hat nicht die Befugnisse, ein über einen Werkvertrag zustandegekommene Anwendung von Dritten testen zu lassen. Also: 'Nicht können'.

Die Geschicht mit dem nicht kaskadierfähigen NDA (der namentlich abgeschlossen und nicht übertragbar bzw. weitergebbar ist) hatte ich schon. Also: Rein rechtlich nicht können.

Diese Fälle sind nicht konstruiert, sondern bei mir recht häufig. Es hält uns natürlich nicht davon ab, mal fragen zu gehen (genauso wie bei der Geschichte mit der Verschlüsselung). Aber... die Firmen haben eben besseres zu tun, als hier noch einmal einen (z.T.) riesigen Klotz in Bewegung zu setzen, um einen Vertrag nachträglich zu erweitern, den Vorgesetzten zu fragen usw.

Wie gesagt: Es geht nicht ums Testen von Dritten. Da fragt man den Kunden, macht einen NDA mit den Testern, spricht die Vorgehensweise mit dem Kunden ab (idealerweise bei einem Gespräch Vor-Ort) und fertig. Es geht mir hier nur um die von mir vermutete Problematik im Zusammenhang mit diesem Massentesten.

[Phoenix]

Das sind alles ausschließlich "Nicht wollen"-Argumente.
Im Deinem konkreten Fall *will* man die Verträge nur einfach nicht so gestalten, das das Problemlos möglich wäre. Oder so rum: Wenn man es wirklich wollen würde, könnte man auf das Ziel hinarbeiten.

Der andere Punkte ist aber: Meine Kunden (sofern ich aktuell welche annehme) suchen mich aus, nicht ich meine Kunden. Und die wollen was von mir, hören mir zu und in 99% der Fälle setzen sie auch recht viele Hebel in Bewegung um meine Vorschläge umzusetzen, weil ich ja ein externer Berater bin und wenn man sich Expertise einkauft muss die sich ja auch lohnen Meine Kunden müssen / sollten daher im übrigen auch schon vor meiner Beauftragung ein Vertragswerk haben, die es Ihnen erlaubt mich als Dritten ins Boot zu holen.

Die Kunden meines eigentlichen Brötchengebers (primär Banken und größere Unternehmen in der Finanzbranche) setzen uns, sofern gewünscht, unter ein NDA. Smarthouse legt dabei aber Wert darauf, das das immer kaskadierbar ist. Auch hier eine entsprechende Vertragsgestaltung ein Ding des Wollens - und da der Kunde tatsächlich Qualität will, ist es auch zu verargumentieren das man sich aus gewissen Gründen vorbehalten möchte, externe Qualitätsdienstleister hierfür zu aktivieren.

Die Frage wäre also eher, ob Testhub einen gewissen Teil der Tester (Du bekommst ja nie alle 13.000 auf einmal, sondern nur einen kleinen Teil aus diesem Pool) unter einem NDA bereitstellen kann. Und selbst wenn das nur ein Prozent der Tester ist, hast Du trotzdem noch einen Pool von 130 Leuten die solche NDA-Projekte testen könnten. Von daher hast Du eben nicht 13.000 potentielle Spione, sondern eher so um die 30, die tatsächlich an Deinem Projekt testen - und im Zweifel vermutlich auch einzeln benannt werden können. Aber das sind dann Detailfragen.

Und das ganze ist wie gesagt auch nur eine Option. Niemand muss sich verbiegen, wenn er sowas nicht will. Nur wenn es tatsächlich wirtschaftlich sehr sinnvoll wäre sowas in Anspruch zu nehmen anstelle (viel zu) viel Geld in ggf. schlechter skalierbare und nicht so leistungsfähige Lösungen zu stecken, dann wäre "nicht wollen" eine Begründung, die einem Unternehmen eher schadet, anstelle es Konkurrenzfähiger zu machen.

[Furtbichler]

Zitat von Phoenix:

Im Deinem konkreten Fall *will* man die Verträge nur einfach nicht so gestalten,

Bevor ich wieder polemisch werde: Wenn der Abteilungsleiter nicht kann, weil er sonst gefeuert wird, hat das nichts mit Wollen, sondern ausschließlich mit Können zu tun.

Aber klar. Letztendlich ist alles eine Frage des Willens.
Man kann Closed Source in Open Source umwandeln, wenn man will.
Man kann seine Firmengeheimnisse einem unkontrollierbar großen Pool an Betatestern überlassen, wenn man will. Ein gewerblicher Wirtschaftsspion unterschreibt zwar eh jeden Wisch und 100 Tester *sind* unkontrollierbar. Aber das sind nur Hürden auf dem Weg zur Umsetzung.
Man kann eine Firmenphilosophie auch komplett umkrempeln, weil ein Phoenix das sagt. Wenn man will.

Ich frage mich gerade, ob mein vorletzter Kunde (der Maschinenbauer) dich beauftragen würde, die Anwendungen, die intern entwickelt wurden, vor Auslieferung (mit einem Innovationsvorsprung von wenigen Monaten vor der Konkurrenz) von einer Horde von Testern testen zu lassen... Nein, würde er nicht.

Zitat:

weil ich ja ein externer Berater bin und wenn man sich Expertise einkauft muss die sich ja auch lohnen

Absolut richtig. Bei Dir kommt aber nicht der Abteilungsleiter an, sondern das Management. Ich bezweifle jedoch, das SIEMENS an deine Tür klopft (für deren Tochterunternehmen ich arbeite), um Modalitäten für das Massentesten einer Anwendung auszuhandeln, die in der Fertigungsstätte eines Tochterunternehmens implementiert wird und für die mal eben einige Firmenmaximen über den Haufen geworfen werden müssten.

Ich hab meine Erfahrungen und kann sagen: Toll, leider gehts nicht immer.

[Phoenix]

Ich habe ausdrücklich auf das wollen in Zusammenhang auf die Wirtschaftlichkeit verwiesen.

In Deinem konkreten Fall, und gerade bei so einem Kunden bzw. Auftrag, wird aber das Testing dann schon in der Angebotsphase mit einem entsprechenden Preisschildchen versehen bei der Software dabei stehen, und zwar so, das der interne Aufwand des Testens da mit einer entsprechenden Marge vorgesehen ist. Also muss man das gar nicht outsourcen, weil das bereits mindestens kostendeckend, eher noch leicht gewinnbringend eingeplant wurde. Also ist das aktuelle Testen schon wirtschaftlich sinnvoll. Eine Optimierung wäre zwar eventuell möglich, aber scheint nicht unbedingt zwingend notwendig zu sein.

Über meine Kunden kann ich nicht sprechen, aber lass Dir versichert sein, das ich nicht deswegen angefragt werde, um Tests outzusourcen. Ich bin Technologie- und kein Unternehmensberater. Ich werde von Unternehmen geholt, die sich und ihren Entwicklungsprozess technologisch überprüfen lassen wollen. Die Frage an mich ist eher: "Wird das richtige Werkzeug auch richtig eingesetzt, und passt das zu den Unternehmenszielen? Wie kann ich meine Entwickler produktiver machen und wie bereite ich mich am besten auf die wachsenden technologischen Anforderungen meiner Kunden vor?" und nicht, einfach nur "Kann ich bei einem kleinen Teilprozess wie dem Testing eventuell ein paar KiloEuros im Monat oder Jahr einsparen?".