QA ist nicht zu Ende, wenn ein Issue gemeldet ist. Die Programmierer beheben es, und dann muss jemand noch einmal hinsehen: Ist der Tippfehler wirklich weg, rotiert die Frage jetzt, ist der alte Wortlaut überall ersetzt? Bei vielen Issues und mehreren Sprachen ist dieses „noch einmal hinsehen" ein großer Teil der Testarbeit.
SurveyTester nimmt Ihnen das meiste davon ab. Wird ein Issue zum erneuten Prüfen markiert, wartet SurveyTester auf die nächste Aufnahme der Seite des Issues, prüft das Issue auf dieselbe Weise, wie es gefunden wurde, und meldet das Ergebnis: scheint behoben, besteht weiterhin oder bitte manuell prüfen. Das letzte Wort hat immer ein Mensch. Das Ergebnis schließt oder öffnet ein Issue nie von selbst.
Warum das ohne SurveyTester schwierig ist
- Nachtesten ist Fleißarbeit. Jedes behobene Issue heißt: Umfrage öffnen, mit den richtigen Antworten bis zur richtigen Seite kommen und mit der Meldung vergleichen. Bei fünfzig Issues in drei Sprachen ist das ein Tag voller Klicks.
- Die Seite ist schwer zu erreichen. Viele Issues liegen tief in der Umfrage, hinter Screenern, Quoten und Filterführung. Um genau diese Seite wieder zu erreichen, muss oft das ganze Interview wiederholt werden.
- „Behoben" ist eine Behauptung, keine Tatsache. Der Status des Programmierers sagt, dass die Korrektur gemacht wurde, nicht, dass sie funktioniert. Ohne Nachtest gehen behobene Issues ungeprüft zum Kunden.
- Manche Probleme zeigen sich erst über viele Interviews. Eine fehlende Rotation oder ein unausgewogenes MaxDiff-Design sieht man auf keiner einzelnen Seite. Alte Testläufe belegen das Problem weiter, auch nach der Korrektur.
So funktioniert es
- Das Issue wird zum erneuten Prüfen markiert. Meist setzt der Programmierer nach der Korrektur einen Status wie Erneut prüfen. SurveyTester erkennt die Markierung und legt eine Nachprüfung an.
- SurveyTester wartet auf eine neue Aufnahme der Seite. Jeder Testlauf zählt, der die Seite des Issues in dessen Sprache zeigt: ein manueller Test, ein Testlink oder ein SurveyBot. Testet niemand die Seite erneut, können Sie einen SurveyBot-Nachlauf starten, der das ursprüngliche Interview bis zu dieser Seite wiederholt. Manuell gemeldete Issues muss sich ein Mensch ansehen; dafür bietet SurveyTester eine manuelle Wiederholung des Testlaufs an.
- Das Issue wird erneut geprüft. Wie, hängt davon ab, woher das Issue stammt (siehe Tabelle).
- Sie werden benachrichtigt. Das Ergebnis steht in der Historie des Issues und wird wie jede andere Änderung per E-Mail und in den Benachrichtigungen gemeldet.
- Sie entscheiden. Behoben bestätigen schließt das Issue mit dem schließenden Status Ihres Projekttyps. Weiterhin fehlerhaft gibt es an die Programmierer zurück. Tester können auch direkt beim Betrachten der Seite entscheiden: Die Browser-Erweiterung fragt beim Issue Is this solved? (siehe Nachprüfungen beim Testen beantworten).
| Das Issue stammt aus... | So prüft SurveyTester erneut | Ergebnis |
|---|---|---|
| einem übernommenen Auto-Detect-Befund auf einer Seite (Rechtschreibung, falsche Sprache, nicht aufgelöstes Pipe-In, sichtbares HTML, Strukturprüfungen) | Führt dieselbe Prüfung auf der neuen Aufnahme aus | Scheint behoben, wenn das Problem weg und die Frage noch auf der Seite ist; besteht weiterhin, wenn dasselbe Problem wieder gefunden wird |
| einer Textänderung (das Issue hat einen alten und einen neuen Text) | Sucht beide Texte auf der neuen Aufnahme | Scheint behoben, wenn der neue Text angezeigt wird und der alte weg ist; besteht weiterhin, wenn der alte Text noch da ist |
| einem projektweiten Befund (Rotation, Abhängigkeit von Antworten, verankerte Antworten, MaxDiff-Balance, Item-Exposure) | Führt dieselbe Prüfung aus, aber nur über die Testläufe, die nach der Anforderung gestartet wurden | Scheint behoben, wenn die neuen Läufe die Erwartung erfüllen; besteht weiterhin, wenn sie das Problem wieder zeigen |
| einer manuellen Meldung | Zeigt die neue Aufnahme neben dem ursprünglichen Screenshot. Wenn Ihr Unternehmen es erlaubt, schlägt eine KI vor, ob das Problem noch sichtbar ist | Immer bitte manuell prüfen - der KI-Vorschlag hilft, die Entscheidung liegt bei Ihnen |
Schritt für Schritt
1. Den Status „Erneut prüfen" einrichten (Administratoren)
Die Nachprüfung funktioniert wie das Schließen: Ein Wert eines Klassifizierungsfelds kann sie auslösen. Öffnen Sie Administration → Projekttypen, wählen Sie den Projekttyp und das Statusfeld und setzen Sie das Häkchen Erneut prüfen bei dem Wert, den Ihre Programmierer nach einer Korrektur verwenden (zum Beispiel Status = Erneut prüfen). Ab dann markiert dieser Wert das Issue zum erneuten Prüfen. Ein schließender oder jeder andere Wert entfernt die Markierung wieder.
Hat ein Projekttyp keinen solchen Wert, lassen sich das Kästchen Erneut prüfen in der Issue-Liste und der Schalter Erneut prüfen im Issue-Dialog von Hand setzen.
2. Issues zum erneuten Prüfen markieren
Der Programmierer setzt den Status bei den behobenen Issues, einzeln oder per Massenbearbeitung. Die Issue-Liste zeigt die Markierung in der Spalte Erneut prüfen. Fügen Sie die Spalte über die Spaltenauswahl hinzu, falls Sie sie nicht sehen.
Ein geschlossenes Issue braucht nie eine Nachprüfung: Das Schließen entfernt die Markierung und bricht eine noch laufende Nachprüfung ab.
3. Eine neue Aufnahme der Seite bekommen
Nichts zu tun, wenn die Seite ohnehin wieder getestet wird: Die nächste Aufnahme der Seite in der Sprache des Issues wird automatisch verwendet, egal von wem.
Testet niemand die Seite, erinnert SurveyTester nach zwei Stunden daran. Für Issues aus einem Befund oder einer Textänderung können Sie dann einen SurveyBot-Nachlauf starten:
- im Issue: Mit SurveyBot nachprüfen im Bereich Automatische Nachprüfung, oder
- für alle wartenden Issues auf einmal: Wie weiter? → Jetzt mit SurveyBot nachprüfen (siehe unten).
Der Bot wiederholt das Interview, in dem das Issue gemeldet wurde, mit denselben Antworten, demselben Testfall, derselben Sprache und demselben Markt, und hält an, sobald er die Seite des Issues erreicht. Mehrere Issues derselben Seite teilen sich einen Bot-Lauf.
Manuell gemeldete Issues kann kein Bot beurteilen. Für sie bietet der Bereich stattdessen Testlauf bis zu dieser Seite wiederholen: Er öffnet den Testlauf, der das Issue gemeldet hat, und wiederholt ihn bis zur Seite des Issues, damit Sie sich die Seite selbst ansehen. Ihre Aufnahme der Seite dient wie jede andere der Nachprüfung.
4. Ergebnis lesen und entscheiden
Liegt das Ergebnis vor, zeigt die Historie des Issues einen Eintrag Automatische Nachprüfung, und alle, die dem Issue folgen, werden benachrichtigt.
Um ein Ergebnis zu prüfen, klicken Sie auf das Ergebnis (zum Beispiel Scheint behoben) in der Spalte Erneut prüfen. Es öffnet sich ein Vergleich mit Ergebnis, Begründung und zwei Screenshots nebeneinander: Bei der Meldung (die Seite, als das Issue gefunden wurde) und Aufnahme der Nachprüfung (die Seite, die die Nachprüfung beurteilt hat). Ein Klick auf einen Screenshot zeigt ihn in voller Größe. Sie können direkt dort antworten. Dieselben zwei Screenshots erscheinen auch als kleine Vorschau im Bereich Automatische Nachprüfung des Issues.
Ihre Antwort:
- Behoben bestätigen setzt den schließenden Status Ihres Projekttyps. Verlangt Ihr Projekttyp einen Grund für das Schließen, werden Sie wie gewohnt danach gefragt.
- Weiterhin fehlerhaft setzt das Issue auf einen offenen Status zurück (den Standardwert des Statusfelds), damit die Programmierer es wieder sehen. Ohne Status „Erneut prüfen" im Projekttyp entfernt es die Markierung.
Ihre Antwort wird bei der Nachprüfung gespeichert.
Nachprüfungen beim Testen beantworten
Tester können die Nachprüfung direkt in der Browser-Erweiterung beantworten, während sie die Seite sehen. Im Fenster Issues trägt jedes Issue der Seite im Status „Erneut prüfen" die Frage direkt unter seiner Beschreibung, in der Übersicht und in den Issue-Details. Ist die automatische Nachprüfung einer neuen Aufnahme schon gelaufen, steht ihr Ergebnis über der Frage, zum Beispiel „SurveyTester: looks fixed". Dann: Is this solved? (Ist das gelöst?)
- Yes schließt das Issue mit dem Abschluss-Status Ihres Projekttyps.
- No setzt es auf einen offenen Status zurück, damit die Programmierer es wieder sehen.
Verlangt Ihr Projekttyp einen Grund für das Schließen oder Wiederöffnen, fragt die Erweiterung vor dem Speichern danach. Ihre Antwort wird mit der Nachprüfung gespeichert, genau wie eine Antwort in der Web-Oberfläche, und die Frage verschwindet beim Issue.
Findings aus Auto-Detect folgen dem Issue: Die Markierung eines Findings, dessen Issue nachgeprüft wird, erscheint blau mit „Fixed? Please re-check", und die Markierung eines Findings, dessen Issue geschlossen ist, wird nicht mehr angezeigt.
Die Frage sehen Benutzer, deren Rolle die Berechtigung Kann Nachprüfungen beim Testen beantworten hat (Administration → Rollen, Bereich Issues). Diese Berechtigung reicht für „Yes", auch ohne die Berechtigung zum Schließen von Issues. Sie gilt nur für manuelle Tests, nie für Testlinks.
Das Menü „Wie weiter?"
Die Schaltfläche Wie weiter? oben in der Issue-Liste, links neben den Auto-Detect-Befunden, sammelt, was die Nachprüfung für Sie übrig gelassen hat. Sie erscheint für Benutzer, deren Rolle die Berechtigung Kann „Wie weiter?" nutzen hat (Administration → Rollen, Bereich Issues). Die Aktionen im Menü behalten ihre eigenen Berechtigungen: SurveyBot-Läufe starten erfordert das Recht, Umfragen zu testen, Status ändern das Recht, Issues zu bearbeiten. Die rote Zahl zeigt, wie viele Issues auf Sie warten. Zum Beispiel:
- 17 behobene Issues warten auf die Nachprüfung - ihre Seiten wurden noch nicht erneut getestet. → Jetzt mit SurveyBot nachprüfen startet die Nachläufe nach einer kurzen Bestätigung.
- 3 manuell gemeldete Issues warten auf die Nachprüfung durch einen Menschen: darunter Nummern und Seiten der Issues. Klicken Sie ein Issue an, um es zu öffnen, und verwenden Sie dort Testlauf bis zu dieser Seite wiederholen.
- 2 nachgeprüfte Issues sind weiterhin nicht behoben. → Auf „Nicht behoben" setzen setzt den offenen Status Ihres Projekttyps bei allen auf einmal.
Nachgeprüfte Issues im Ergebnisfilter finden
Der Ergebnisfilter kennt vier Kriterien zur Nachprüfung:
- Erneut prüfen (ja / nein)
- Nachprüfung: Status - wartet auf Aufnahme, SurveyBot läuft, wird geprüft, fertig, abgebrochen
- Nachprüfung: Ergebnis - scheint behoben, besteht weiterhin, manuell prüfen
- Nachprüfung: Antwort - als behoben bestätigt, weiterhin fehlerhaft oder leer
Die Kombination Nachprüfung: Ergebnis ist nicht leer UND Nachprüfung: Antwort ist leer listet alle Ergebnisse, die noch auf Ihre Entscheidung warten. Erneut prüfen gibt es auch als Schnellauswahl.
KI-Vorschlag für manuell gemeldete Issues
Issues, die ein Tester in eigenen Worten beschrieben hat, haben keine Regel, die SurveyTester erneut ausführen könnte. Für sie wartet die Nachprüfung auf den Screenshot der neuen Aufnahme und zeigt ihn zusammen mit dem ursprünglichen Screenshot und der Beschreibung einer KI. Der Bereich zeigt dann einen KI-Vorschlag (scheint behoben, weiterhin sichtbar oder am Screenshot nicht erkennbar) mit einer kurzen Begründung.
Der Vorschlag ist nur ein Hinweis: Das Ergebnis bleibt bitte manuell prüfen. Administratoren wählen die KI-Engine für diese Funktion unter der KI-Funktion Issue Re-check oder schalten sie dort ab (siehe KI-Administration). Die Nutzung wird wie bei jeder anderen KI-Funktion erfasst.
Gut zu wissen
- Ein Ergebnis ändert nie den Status des Issues. Das tun nur Behoben bestätigen, Weiterhin fehlerhaft, die Antwort auf Is this solved? in der Browser-Erweiterung oder Ihre eigene Statusänderung.
- Gleiche Sprache. Eine Nachprüfung der deutschen Version wird nur durch eine deutsche Aufnahme beantwortet.
- Eine Aufnahme beantwortet alle Issues der Seite. Liegen zehn Issues auf derselben Seite, prüft ein Test dieser Seite alle zehn.
- Issues ohne Seite lassen sich nicht automatisch nachprüfen, weil es keine Seite aufzunehmen gibt.
- Der SurveyBot-Nachlauf folgt der ursprünglichen Filterführung. Hat sie sich seit der Meldung geändert und erreicht der Bot die Seite nicht, lautet das Ergebnis bitte manuell prüfen mit dem Hinweis, dass die Seite nicht erreicht wurde.
- Projektweite Befunde brauchen neue Läufe. Nachprüfungen zu Rotation, MaxDiff und Item-Exposure zählen nur Testläufe, die nach der Anforderung gestartet wurden, und warten, bis genug neue Läufe vorliegen. Ein SurveyBot-Nachlauf wird dafür nicht angeboten; starten Sie stattdessen einige normale Test- oder Bot-Läufe.
- Eine abgeschaltete Prüfung kann nicht nachprüfen. Ist eine Auto-Detect-Prüfung für das Projekt deaktiviert, warten ihre Nachprüfungen. Siehe Auto-Detect-Prüfungen.
- Der übernommene Befund in der Liste der Auto-Detect-Befunde behält seine Markierung übernommen; das Ergebnis der Nachprüfung steht beim Issue. Auf der Umfrageseite in der Browser-Erweiterung wird seine Markierung blau (Fixed? Please re-check), solange das Issue auf die Nachprüfung wartet, und verschwindet, sobald das Issue geschlossen ist.