Die Gründe für manuelles Testen in der heutigen Zeit sind immer noch vielfältig: Es wird kein Geld für die Testautomatisierung bereitgestellt, das Verständnis für den Aufwand zur manuellen Durchführung von Regressionstests fehlt oder die Ressourcen/Skills für den Unterhalt der Testautomatisierung stehen nicht zur Verfügung.
Das Damoklesschwert der manuellen Testfallerstellung und Ausführung drohte mir wieder vor ein paar Wochen. Beim Produkt handelt es sich um eine Neuentwicklung, die drei Langläufer-Prozesse abbildet. Einen eher komplexen, einen relativ einfachen und einen sehr simplen Prozess. Alle drei Prozesse werden über Geschäftsfälle und Aufgaben gesteuert und enthalten unterschiedliche Teilnehmer-Arten. Je nach Teilnehmer-Art und Alter werden andere Aufgaben zur Abarbeitung generiert. Vor meinem geistigen Auge sah ich hunderte Testfälle an mir vorbeiziehen und nur schon der Ausblick auf wochenlanges Zusammenstellen von Testdaten, Schreiben von Testfällen und Erzeugen von Testkonstellationen raubte mir beinahe den Schlaf. Aber Gaby wäre nicht Gaby, wenn sie eine Situation einfach hinnehmen würde. Und so machte ich mich auf, Jira Xray näher unter die Lupe zu nehmen.
Wenige Zeit später hatte ich das Zauberwort für meine Probleme gefunden!
Das Zauberwort heisst: Parameter erstellen!
Die Parameter verbergen sich hinter einem unscheinbaren Symbol, nämlich diesem hier:
Man findet es, indem man zuerst einen Testfall erstellt und dann das besagte Symbol anklickt.
Bevor ich mich in den Details verliere, möchte ich euch zuerst den Unterschied zwischen Testfällen ohne Parameter und Testfällen mit Parametern aufzeigen.
Unterschied zwischen Testfällen ohne und mit Parametern
Wenn wir manuelle Testfälle auf die klassische Art erstellen, sieht die Prüfung eines Geschäftsfalles mit 5 beteiligten Personen wie folgt aus:
Wir erstellen einzeln für jeden Teilnehmer einen separaten Testfall und führen diesen dann auch einzeln aus.
Wenn wir Parameter benutzen, haben wir statt 5 Testfällen nur einen Testfall. Trotzdem werden in der Testausführung die 5 verschiedenen Konstellationen getestet und einzeln bewertet.
Anstatthunderte von Testfällen manuell zu erstellen, lassen wir doch Xray die ganze Arbeit erledigen! Ok, vielleicht nicht die ganze Arbeit, wenigstens einen Teil davon.
Parametrieren von Testfällen
Wenn ihr einen Testfall erstellt und auf Datenschutz geklickt habt, wird euch angezeigt, dass noch kein Standarddatensatz definiert wurde. Nun kannst du mit der Parametrierung beginnen, indem du auf ‹Parameter erstellen› klickst.
Parameter werden pro Testfall festgelegt. Das heisst, dass du bei jedem erstellten Testfall die Parameter neu erfassen musst.
Wie in der Abbildung ersichtlich, kannst du pro Parameter einen Typ bestimmen.
- Wenn du ‹Text› wählst, kannst du einen beliebigen Text pro Iteration erfassen. Der Text ist für jede Iteration neu zu erfassen.
- Wenn du ‹Liste› wählst, dann hast du zwei Optionen:
- Ad-hoc-Liste: Du kannst darin alle gewünschten Werte erfassen und diese dann in den einzelnen Iterationen wiederverwenden, jedoch nur genau in diesem einen Testfall.
- Projektliste: Diese Werteliste kannst du über beliebig viele Testfälle hinweg verwenden. Parameterwertlisten erstellst du in den Xray-Einstellungen unter Parameterwertlisten, hierfür benötigst du Aministrationsrechte!
Auch wenn du eine Projektliste verwendest, kannst du dem Parameter im Testfall selbst einen x-beliebigen Namen vergeben, unabhängig von der Namensgebung in der Parameterwertliste!
Die Spalten bei den einzelnen Parametern sind sehr eng und können nicht vergrössert werden. Wenn du eine Projektliste hast, sind die Parameterwerte praktisch nicht lesbar. Anstatt über das Dropdown einen Wert zu selektieren, kannst du direkt ins Feld reinschreiben, dann wird die Auswahl auf den gewünschten Wert eingeschränkt. Mit der Enter-Taste selektierst du diesen Wert dann.
Parameternamen als Platzhalter im Testfall
Im letzten Schritt können wir nun den Testfall mit den Parametern definieren.
Wird ein Testfall kopiert, werden die Parameter sowie die zu testenden Iterationen mit dem Testfall kopiert und können wiederverwendet/abgeändert werden. Ebenfalls möglich ist das Exportieren der Parameter in ein CSV, damit du sie im nächsten Testfall wieder importieren kannst.
Und was ich sonst noch erwähnen wollte
- Beachte, dass du pro Testfall maximal 20 Parameter einfügen kannst!
- Wenn du Parameter für deine Testfälle verwendest, wird dir die Testfallverwaltung einfacher fallen, da sich die Anzahl Testfälle markant reduziert.
- Die Testabdeckung zeigt dir im Gegensatz zu einzelnen Testfällen auf, inwiefern die ganze zu testende Konstellation läuft. In unserem Beispiel ist dies ein Geschäftsfall mit 5 verschiedenen Personen/Rollen. Achte jedoch darauf, dass du nur Konstellationen in einem Testfall zusammenfasst, die auch Sinn im Gesamtkontext machen. Hätten wir in unserem Fall zusätzlich Geschäftsfälle mit anderen Personen/Rollenkonstellationen, ergibt es wenig Sinn, alle Geschäftsfälle unter einem Testfall zusammenzufassen. Dies auch im Hinblick auf die Regressionstests.
- Es lohnt sich, auch Vorbedingungen mit Parametern zu versehen. In den Vorbedingungen können Parameter nur unter ‹Schritte› hinzugefügt werden! Wenn Vorbedingungen Parameter enthalten, müssen diese Parameter in jedem einzelnen Testfall über ‹Datensatz› erfasst werden, in dem die Vorbedingung verwendet wird.
In diesem Sinn wünsche ich euch «Happy Testfallerstellung»!
