Umfrage : TEST bei komplexen Anwendungen

[jaenicke]

Zitat von Uwe Raabe:

Will man die Software in einer VM einsetzen (auf Mac kaum anders möglich), kommt man um die deutlich teurere Floating-User-License ($2999 bzw. $4499) kaum herum.

Finde ich aber auch grundsätzlich nicht falsch. VMs laden nun einmal zum Schummeln mit den Lizenzen ein.

Wir nutzen einen separaten physischen Rechner, der z.B. via RDP als Testrechner benutzt wird und der exklusiv für die Tests mit TestComplete benutzt wird.

Und was die Nutzung von Macs angeht: Bei dem Preis dafür sollte ja der Preis für TestComplete ohnehin kein Problem sein...

[Union]

Du musst im Testfall nur von TGUITestCase ableiten (uses GUITesting). Dann hast Du im Testfall Methoden zur Verfügung, z.b.
ClickLeftMouseButtonOn, Click, Enterkey uvm. Die baust Du in Published-Methoden ein für die RTTI und die Test-GUI sollte die dann selektieren und ausführen lassen.

[Uwe Raabe]

Zitat von jaenicke:

Zitat von Uwe Raabe:

Will man die Software in einer VM einsetzen (auf Mac kaum anders möglich), kommt man um die deutlich teurere Floating-User-License ($2999 bzw. $4499) kaum herum.

Finde ich aber auch grundsätzlich nicht falsch. VMs laden nun einmal zum Schummeln mit den Lizenzen ein.

Wir nutzen einen separaten physischen Rechner, der z.B. via RDP als Testrechner benutzt wird und der exklusiv für die Tests mit TestComplete benutzt wird.

Und was die Nutzung von Macs angeht: Bei dem Preis dafür sollte ja der Preis für TestComplete ohnehin kein Problem sein...

Das TestComplete ist bei mir auf einem physikalischen Windows System installiert. Das MacBook nutze ich fast nur unterwegs. Da die VM-License eine Netzwerkverbindung zu dem Rechner mit dem License-Manager benötigt, nutzt mir das unterwegs rein gar nichts. Für eine mobile Lizenz braucht man halt eine Node-License und die ist auf einem MacBook nicht möglich (zumindest nicht ohne BootCamp). Damit kann ich meine Tests unterwegs nicht nutzen. Ich finde das ist eine ziemlich starke Einschränkung, die ausschließlich dem Kopierschutz geschuldet ist.

Ich hatte sogar früher eine zweite Node-License für mein Windows-Notebook. Nachdem das durch einen Mac ersetzt wurde, war die faktisch wertlos.

[jaenicke]

Nichtsdestotrotz kennen wir das Problem, dass virtuelle Maschinen die Lizenzprüfbarkeit stark einschränken, aus eigener Erfahrung. Deshalb kann ich das durchaus verstehen, dass da entsprechende Maßnahmen ergriffen werden.

[vagtler]

Zitat von jaenicke:

[...] Und was die Nutzung von Macs angeht: Bei dem Preis dafür sollte ja der Preis für TestComplete ohnehin kein Problem sein...

Warum die Polemik? Auch wir haben mittlerweile ausschließlich auf MBPs umgestellt. Letztendlich hat unsere Erfahrung gezeigt, dass die TCO-Betrachtung ganz besonders im Hinblick auf die effektive Nutzungsdauer mit einer durchaus positiven Bilanz für die Apple-Geräte aufwarten kann.

[jaenicke]

Zitat von vagtler:

Letztendlich hat unsere Erfahrung gezeigt, dass die TCO-Betrachtung ganz besonders im Hinblick auf die effektive Nutzungsdauer mit einer durchaus positiven Bilanz für die Apple-Geräte aufwarten kann.

Bei mir ist diese Erfahrung gänzlich gegenteilig. Aber jedem das Seine.

[Phoenix]

Zurück zum Thema bitte.

Ich habe gerade die letzten Tage auf der Basta ein interessantes Konzept zum Testen (lassen) gesehen: TestHub. Zu finden unter testhub.de.
Die Idee: Crowdsourcing der Tests.

TestHub hat aktuell ca. 13.000 aktive Tester (die das nebenbei machen, also auch am Wochenende und Feiertags testen wollen) und fürs erfolgreiche Testen bezahlt werden.
Ein internes Review und Rating bei Testhub stellt sicher, dass die Tester die hochqualitative Bugreports erstellen aufsteigen - so wird deren Qualität sicher gestellt.

Das Pricing ist auch okay (zumindest aus meiner Sicht) - aber das mag für andere Use-Cases anders / schlechter aussschauen. Es ist auf jeden Fall billiger das zu Nutzen als ein internes Test-Team aufzubauen und dafür jemanden einzustellen / abzuberufen.

[Furtbichler]

Sollte man nicht zwischen Unit-, Integrations, Regressions- und GUI-Tests unterscheiden?

Ein ordentliches Design (MVVM, Dependency Injection usw) gepaart mit Unit-Tests, einem Mocking-Framework und Tests bis hin zum ViewModel reicht imho aus und gehört sowieso zur Grundausstattung geines (komplexen) Projektes.

Bei 'TestHub' (interessanter Ansatz) wird man wohl eher Web-Applikationen testen können, oder Tools, die man eh verschenken will, aber eine Business-Anwendung für einen oder wenige Kunden wird man damit wohl kaum -auch schon rein rechtlich- beim Tester installieren wollen bzw. können.

Oder hast Du andere Erfahrungen? Wie gesagt, habs mir nicht genau angeschaut.

[Phoenix]

Zitat von Furtbichler:

[...], aber eine Business-Anwendung für einen oder wenige Kunden wird man damit wohl kaum -auch schon rein rechtlich- beim Tester installieren wollen bzw. können.

Das "nicht Wollen" ist vielleicht ein Grund (wenn auch kein sehr valider), aber was für rechtliche Hinderungsgründe sollte es geben, die ein Unternehmen daran hindern, erstellte Software von einer dritten Firma testen zu lassen? So einen Fall müsste man wirklich schon sehr abstrus konstruieren. Für sowas gibt es im Zweifel NDA's, und zumindest jedes Unternehmen das ich kenne hält Klauseln in seinen Verträgen die es erlauben, dritte Parteien hinzuzuziehen sofern diese das NDA auch akzeptieren.

Klar, der primäre Use-Case werden wohl wirklich Web- und Mobile Anwendungen sein, aber insbesondere Usability-Tests auch für Desktop-Anwendungen kann ich mir sehr gut so vorstellen.

[Furtbichler]

Zitat von Phoenix:

..aber was für rechtliche Hinderungsgründe sollte es geben, die ein Unternehmen daran hindern, erstellte Software von einer dritten Firma testen zu lassen?

Bei dem Gedanken ging ich davon aus, das *ich* als Entwickler die SW VOR Auslieferung testen lassen will. Wieso sollte der Kunde das wollen? Er will eine funktionierende Software haben und nicht 13000 potentielle Wirtschaftsspione oder Verwandte von Mitarbeitern der Konkurrenz ins Boot holen. Natürlich, man kann sie alle einzeln interviewen... Das wäre aber, um es mit deinen Worten zu formulieren, reichlich abstrus. Da kann man sein Portfolio gleich Open Source ins Netz stellen.

Zitat von Phoenix:

Das "nicht Wollen" ist vielleicht ein Grund (wenn auch kein sehr valider)

Ich gebe deinen Namen gerne an meine Kunden (siehe unten) weiter. Im Ernst: Meiner Meinung nach sind es *immer* gute Gründe, die einen Kunden bewegen, nicht kooperativ an der optimalen Umsetzung einer Aufgabenstellung mitzuarbeiten. Wenn Du so über deine Kunden denkst...

Zitat:

aber insbesondere Usability-Tests auch für Desktop-Anwendungen kann ich mir sehr gut so vorstellen.

Ich auch, aber ich sprach ja von Individualsoftware und nicht vom nächsten Wordpad.

Hier einige Konkrete Beispiele für Hinderungsgründe (aus meiner Praxis):

In einem Maschinenbauunternehmen, das von seiner Innovation lebt, darf man nichts, aber auch gar nichts nach außen geben. Man darf noch nicht einmal im eigenen Büro arbeiten, sondern muss den Firmen-PC im Firmen-Gebäude benutzen. Also: 'Nicht wollen'. Firmenpolitik und -philosophie werden (hier) nicht angezweifelt, sondern als Axiome akzeptiert.

Die Daten, auf denen die Software aufbaut sind Firmeneigentum. Die Strukturen sind Firmeneigentum, die abgebildeten Prozesse sowieso. Anzunehmen das das rechtlich einwandfrei und ohne Aufwand nach außen (zu 13000 Testern) geben zu wollen, ist... wie soll ich mich ausdrücken..?... ach, ja, schon erwähnt: "abstrus".

Der Auftraggeber (Produktionsleitung) hat nicht die Befugnisse, ein über einen Werkvertrag zustandegekommene Anwendung von Dritten testen zu lassen. Also: 'Nicht können'.

Die Geschicht mit dem nicht kaskadierfähigen NDA (der namentlich abgeschlossen und nicht übertragbar bzw. weitergebbar ist) hatte ich schon. Also: Rein rechtlich nicht können.

Diese Fälle sind nicht konstruiert, sondern bei mir recht häufig. Es hält uns natürlich nicht davon ab, mal fragen zu gehen (genauso wie bei der Geschichte mit der Verschlüsselung). Aber... die Firmen haben eben besseres zu tun, als hier noch einmal einen (z.T.) riesigen Klotz in Bewegung zu setzen, um einen Vertrag nachträglich zu erweitern, den Vorgesetzten zu fragen usw.

Wie gesagt: Es geht nicht ums Testen von Dritten. Da fragt man den Kunden, macht einen NDA mit den Testern, spricht die Vorgehensweise mit dem Kunden ab (idealerweise bei einem Gespräch Vor-Ort) und fertig. Es geht mir hier nur um die von mir vermutete Problematik im Zusammenhang mit diesem Massentesten.