In einem unserer vorhergehenden Blogbeiträge haben wir bereits vorgestellt, mit welchen Neuerungen der TFS 15 im Test Management aufwartet. Darunter fällt natürlich auch die Test Auswertung, jedoch möchten wir die Neuerungen gesondert in diesem Blogbeitrag vorstellen.
Schon seit jeher ist es möglich ein und denselben Test Case in mehreren Test Suiten einzuordnen, jedoch wurde der Test Status (Pass, Fail, Not Applicable, Blocked, Active) eines Test Cases nicht in die anderen Test Suiten propagiert. Mit dem neuen TFS 15 kann dieses Verhalten geändert werden. Es kann nun konfiguriert werden, ob der Test Status eines Test Cases über alle Test Suiten unter demselben Test Plan hinweg weitergegeben werden soll oder nicht. Dieses Verhalten ist nicht nur begrenzt auf den jeweiligen Test Plan, sondern auch auf die Test Konfiguration. Dies bedeutet, dass wenn ein Test Case sich zwar in zwei Test Suiten des selben Test Plans befindet jedoch mit unterschiedlichen Konfigurationen versehen ist, so wird der Test Status nicht zwischen den Test Suiten geteilt. Ferner wird der Status Active nicht zwischen den Test Suiten ausgetauscht.
Um das beschriebene Verhalten zu konfigurieren gibt es zwei Möglichkeiten: Zum einen kann im Test Hub über das Kontextmenü eines Test Plans die Option Configure test outcomes settings ausgewählt werden. Im aufkommenden Dialog kann das gewünschte Verhalten konfiguriert werden (vgl. Abb. 1). Zum anderen lässt sich das Verhalten über die Kanban Board Settings im Unterpunkt Tests einstellen. Standardmäßig ist die neu eingeführte Option für alle Test Pläne deaktiviert.
Abb. 1: Konfiguration der Einstellungen für die Test Ergebnisse im Test Hub
Eine weitere Neuerung, welche die Auswertung von Test Cases vereinfacht, betrifft die Test Results Pane für Test Cases die sich in mehreren Test Suiten / Test Plänen befinden. Diese enthält mit dem neuen Release vier neue Spalten, um auf dem ersten Blick die Test Suite und den Test Plan erkennen zu können unter welchem der Test Case ausgeführt wurde (vgl. Abb. 2). Dies war bisher nur durch Öffnen des jeweiligen Test Results möglich. Damit bleibt ein zeitaufwendiges Durchsuchen der Test Ergebnisse in Zukunft erspart.
Abb. 2: Neue Spalten in der Recent test results Pane
Doch nicht nur in der Test Results Pane spiegelt sich die Entwicklung hin zu einer erhöhten Traceability wieder. Auch im Test Run und der Test Result Summary existieren einige Neuerungen, welche auf eine durchgängige Traceability abzielen. So werden für Tests, welche in einem Release Workflow ausgeführt werden, in den Properties des Test Runs und der Test Result Summaries das entsprechende Release und Environment angezeigt. Desweiteren sind in der Test Result Summary für manuell ausgeführte Tests der zugehörige Test Plan, Test Suite sowie der Test Case enthalten (vgl. Abb. 3). All die beschriebenen, neuen Eigenschaften sind als Links dargestellt. Mit nur einem Klick ist es möglich zum jeweiligen verknüpften Artefakt zu navigieren.
Abb. 3: Test Result Summary
Die letzte Neuerung im Bereich Test Auswertung wird durch zwei neue Widgets in der Widget Gallery dargestellt. Das erste Widget Test results trend kann verwendet werden, um den Trend im Bezug der Testergebnisse der 30 aktuellsten Builds für eine bestimmte Builddefinition darzustellen. Dabei ist es möglich das Widget in vielerlei Hinsicht zu konfigurieren. So kann neben der Builddefinition bspw. auch die Art des Diagramms, wie z.B. ein Liniendiagramm, etc. definiert werden. Das zweite Widget Requirements quality stellt eine Ansicht zur Verfügung, wie man sie bereits von früheren TFS Versionen aus dem SSRS Report Requirements Overview kennt. So zeigt es zu einer bestimmten Menge von Requirements jeweils die aktuelle Qualität ausgedrückt durch verlinkte bestandene bzw. fehlgeschlagene Tests für eine ausgewählte Build-Definition oder aber für ein ausgewähltes Release (vgl. Abb. 4).
Abb. 4: Neues Widget Requirements quality