Jeder Umfragetest endet mit derselben Frage: Sind wir fertig? Der Testplan beantwortet sie. Er ist die erste Seite jedes Projekts in SurveyTester: eine Checkliste dessen, was vor dem Go-Live der Umfrage geprüft werden sollte, nach Themen gruppiert und in sinnvoller Reihenfolge. Sie haken einen Punkt ab, sobald Sie ihn geprüft haben. Viele Punkte hakt SurveyTester selbst ab, sobald der Nachweis im Projekt vorliegt: Der Fragebogen wurde analysiert, 50 SurveyBots sind gelaufen, jeder Testfall hat seine Endseite erreicht, das Projekt wurde freigegeben.
Warum das ohne SurveyTester schwierig ist
- Die Checkliste liegt woanders. Eine Tabelle oder ein Word-Dokument neben dem Testwerkzeug ist veraltet, sobald jemand vergisst, es zu pflegen. Niemand kann sagen, ob „Routing geprüft“ vor oder nach dem letzten Skript-Update abgehakt wurde.
- „Fertig“ ist ein Gefühl, keine Tatsache. Ob jeder Testfall seine erwartete Endseite erreicht hat, ob jede Sprache getestet wurde, ob alle Befunde gesichtet sind: Die Antworten stehen in den Testdaten, nicht im Gedächtnis einzelner Personen.
- Ein Haken reicht bei einer Umfrage in mehreren Ländern nicht. „Übersetzungen geprüft“ sagt nichts, wenn nicht klar ist, für welche Sprache. Eine flache Checkliste kann nicht ausdrücken, dass Deutsch fertig ist und Französisch nicht.
- Neue Teammitglieder kennen den nächsten Schritt nicht. Erfahrene Tester haben den Ablauf im Kopf. Alle anderen brauchen einen Leitfaden, der sagt, was als Nächstes zu tun ist und wo im Werkzeug.
So funktioniert es
Ein Projekt erhält seinen Testplan, wenn jemand zum ersten Mal die Seite Testplan öffnet. Der Plan stammt aus einer Vorlage: der Firmenvorlage, die am besten zum Projekt passt (das legt Ihr Administrator fest, siehe Testplan-Vorlagen), sonst einem der beiden Pläne, die SurveyTester mitliefert:
| Plan | Was er ist | Punkte |
|---|---|---|
| SurveyTester einfacher Testplan | Ein Leitfaden durch SurveyTester: was als Nächstes zu tun ist, vom Umfragelink bis zum Go-Live. Standard für neue Projekte. | 28 Schritte in 5 Kategorien |
| SurveyTester Standard-Testplan | Jeder Schritt des einfachen Plans und alles, was vor dem Go-Live einer Umfrage geprüft werden sollte, pro Sprache, Markt und Gerät, in der Reihenfolge der Arbeit. | 114 Punkte in 15 Phasen |
Jeder Punkt hat einen Status: Offen, Erledigt, Nicht anwendbar oder Blockiert. Ein Punkt wird einmal für das Projekt abgehakt oder pro Sprache, pro Markt, pro Sprache und Markt bzw. pro Gerät. Dann hat jeder Wert seinen eigenen Status, und Deutsch kann erledigt sein, während Französisch noch offen ist.
Punkte mit einer automatischen Prüfung beurteilt SurveyTester anhand der Projektdaten. Das Ergebnis lautet Bestanden, Nicht bestanden, Noch nicht genug Nachweise oder Nicht anwendbar. Eine bestandene Prüfung hakt den Punkt ab. Die Entscheidung einer Person hat immer Vorrang: Eine nicht bestandene Prüfung entfernt nie einen Haken, den jemand gesetzt hat. Der Punkt zeigt stattdessen eine Warnung, damit noch einmal jemand hinschaut.
Die Seite im Überblick
- Go-Live-Datum. Neben dem Titel sehen Sie das Go-Live-Datum des Projekts, festgelegt unter Projektdetails › Allgemein. Ein Klick führt dorthin. Es wird rot, wenn der Go-Live nahe ist (standardmäßig 7 Tage oder weniger, einstellbar pro Projekttyp) oder bereits vorbei ist.
- Vorlage. Aus welcher Vorlage der Plan stammt, wann er erstellt wurde und wann die automatischen Prüfungen zuletzt liefen.
- Übersichtskarten. Punkte, Erledigt, Offen, Warnungen und Nicht anwendbar für den ganzen Plan.
- Zeitachse. Das Projekt vom Start bis zum Go-Live: Meilensteine, Projektphasen, Freigaben und was an jedem Tag passiert ist. Siehe Die Zeitachse unten.
- Nächster Schritt. Der erste offene Punkt, mit Dorthin (öffnet die Seite in SurveyTester, auf der Sie ihn erledigen), Erledigt und Überspringen.
- Kategorienmenü. Die Kategorien links, jede mit Fortschrittsbalken. Ein Klick zeigt ihre Punkte. Die Filter für Status und Sprache / Markt zeigen, wie viele Punkte je Kategorie passen.
- Punkte. Code, Titel und Beschreibung, wie der Punkt geprüft wird, die automatische Prüfung und ein Status-Chip pro Sprache, Markt oder Gerät. Der Pfeil am Zeilenende führt zur Seite, auf der der Punkt erledigt wird.
Die Zeitachse
Unter den Übersichtskarten zeigt die Zeitachse das ganze Projekt auf einen Blick: vom Tag, an dem es angelegt wurde, bis zum Go-Live-Datum. Die Kopfzeile fasst es zusammen: Tag 12 von 30 · noch 18 Tage bis zum Go-Live (rot, wenn der Go-Live nah ist), die gefundenen Issues und wie viele davon noch offen sind, die manuellen Testläufe und SurveyBot-Läufe sowie die Zahl der Meilensteine.
| Zeile | Was sie zeigt |
|---|---|
| Meilensteine | Projektphasen als farbige Bänder mit ihrem Namen, Meilensteine als Rauten, Freigaben als grüne Fahnen und Punkte für den ersten manuellen Testlauf und den ersten SurveyBot-Lauf. |
| Issues | Pro Tag gefundene Issues als rote Balken nach oben, pro Tag geschlossene Issues als grüne Balken nach unten. |
| Testläufe | Manuelle Testläufe (blau) über den SurveyBot-Läufen (hellblau), pro Tag. |
| Testplan | Pro Tag erledigte Punkte des Testplans. |
Eine gestrichelte Linie Heute und eine Linie Go-Live (rot, wenn er nah ist) zeigen, wo Sie stehen und wo Sie hinmüssen. Fahren Sie mit der Maus über einen Tag, um seine Zahlen zu sehen, oder über eine Markierung für Titel und Datum. Ein Klick auf die Kopfzeile klappt die Zeitachse ein. SurveyTester merkt sich das pro Projekt.
Die Zeitachse endet beim letzten Eintrag, den sie zeigt: beim Go-Live-Datum, beim letzten Tag mit Aktivität oder beim letzten Meilenstein. Bei einem alten Projekt fehlt die Linie Heute, damit das Projekt trotzdem die ganze Breite nutzt.
Schritt für Schritt
1. Testplan öffnen
Öffnen Sie ein Projekt. Der Testplan ist der erste Eintrag unter Projektdetails, und Projekte öffnen sich mit ihm. Sehen Sie ihn nicht, fehlt Ihrer Rolle die Berechtigung Testplan anzeigen. Zum Abhaken brauchen Sie Testplan verwalten.
2. Dem nächsten Schritt folgen
Der Kasten Nächster Schritt zeigt immer den ersten offenen Punkt. Klicken Sie auf Dorthin, um die passende Seite zu öffnen, etwa den Umfragelink unter Allgemein, den Fragebogen-Upload oder die SurveyBots. Kommen Sie danach zurück: Meist hat die automatische Prüfung den Punkt bereits abgehakt. Punkte ohne automatische Prüfung haken Sie mit Erledigt ab. Überspringen geht weiter, ohne abzuhaken.
3. Punkte abhaken
- Klicken Sie auf einen Status-Chip, um zwischen Offen und Erledigt zu wechseln.
- Öffnen Sie das Chip-Menü (der kleine Pfeil oder ein Rechtsklick) für Erledigt, Nicht anwendbar, Blockiert..., Offen (zurücksetzen), Kommentar... und Alle Werte dieses Punkts abhaken. Bei Blockiert werden Sie gefragt, was den Punkt blockiert.
- Fahren Sie mit der Maus über einen Chip, um zu sehen, wer ihn wann gesetzt hat und was die automatische Prüfung ergab.
4. Den Go-Live im Blick behalten
Das Go-Live-Datum neben dem Titel ist Ihr Termin. Wird es rot, sind die offenen Punkte die Agenda für die verbleibenden Tage. Ändern Sie das Datum unter Projektdetails › Allgemein (Feld Go-Live-Datum).
Die Zeitachse zeigt, ob das Projekt im Plan liegt: Werden noch jeden Tag Issues gefunden oder schon geschlossen? Dauert die Phase bei den Entwicklern länger als geplant?
5. Den Plan an das Projekt anpassen
Das Menü Verwalten (mit Testplan verwalten) bietet:
| Aktion | Was sie bewirkt |
|---|---|
| Punkt hinzufügen | Fügt einen Punkt hinzu, den nur dieses Projekt braucht. Er ist als Projektpunkt markiert. |
| Vorlage laden | Ersetzt die Punkte durch eine andere Vorlage oder einen mitgelieferten Plan. Haken von Punkten mit gleichem Code bleiben erhalten, Haken entfernter Punkte werden verworfen. |
| Automatische Prüfungen aktualisieren | Führt alle automatischen Prüfungen sofort aus. Sie laufen auch von selbst nach SurveyBot-Läufen und anderen Änderungen im Projekt. |
| Testplan zurücksetzen... | Beginnt neu mit der aktuellen Vorlage: Hinzugefügte Punkte, geänderte Texte, alle Haken und Kommentare werden entfernt. Das lässt sich nicht rückgängig machen. |
Der einfache Testplan
Der SurveyTester einfache Testplan führt Sie in fünf Kategorien durch ein Projekt. „Automatisch“ heißt: SurveyTester hakt den Schritt ab, sobald der Nachweis vorliegt. Die übrigen Schritte haken Sie selbst ab.
| Kategorie | Schritte |
|---|---|
| 1. Projekt einrichten | Umfragelink hinterlegen (automatisch) · Fragebogen hochladen und Analyse starten (automatisch) · Sprachen und Märkte festlegen (automatisch) · Projektteam verwalten (automatisch) · Checkliste festlegen (automatisch) · Sicherheitsmechanismen für den Test abschalten, etwa CAPTCHAs, IP-Prüfungen und Red-Herring-Fragen |
| 2. Umfrage testen | Beschreiben, wer die Umfrage abschließt (automatisch: ein Complete-Testfall) · 50 SurveyBots starten (automatisch) · Filterfragen markieren (automatisch) · Screenout- und Routing-Testfälle erzeugen (automatisch) · Jeden Testfall mit SurveyBots ausführen (automatisch) · Umfragelogik mit Routing-Diagramm und Pfadanalyse prüfen · Manuell testen und Issues melden (automatisch) · Befunde prüfen und in Issues umwandeln (automatisch) |
| 3. Übersetzungen prüfen | Jede Sprache testen (automatisch) · Sprach-Befunde prüfen (automatisch) · Übersetzte Fragebögen hochladen (automatisch) · Übersetzungen nebeneinander vergleichen |
| 4. Beheben und nachprüfen | Projektphase an die Entwickler übergeben (automatisch) · Entwickler beheben die Issues und markieren sie als behoben (automatisch) · Projektphase zurück an die QS geben (automatisch) · Behobene Issues nachprüfen (automatisch) · Umfragedaten aus Ihrem Umfragesystem herunterladen und auf Plausibilität prüfen |
| 5. Abschließen | Testabdeckung in den Insights prüfen · Checkliste auf Vollständigkeit prüfen · Sicherheitsmechanismen wieder einschalten · Projekt freigeben (automatisch) · Live gehen und Projekt schließen |
Bei einem Projekt mit nur einer Sprache sind die Übersetzungsschritte Nicht anwendbar. Nutzt Ihre Firma keine Projektphasen, sind auch die Phasenschritte Nicht anwendbar.
Der Standard-Testplan
Der SurveyTester Standard-Testplan enthält jeden Schritt des einfachen Plans und ergänzt die Qualitätsprüfungen, die sich vor dem Go-Live einer Umfrage lohnen. Seine 114 Punkte folgen der Reihenfolge der Arbeit, in 15 Phasen. Jeder Punkt hat einen Link Dorthin, und 75 davon haben eine automatische Prüfung.
| Phase | Was sie abdeckt |
|---|---|
| Projekt einrichten | Umfragelink, Fragebogen, Sprachen und Märkte, Geräte, Team, Endseiten, Checkliste, Sicherheitsmechanismen, vorherige Welle |
| Testfälle und SurveyBots | Complete-Testfall, Testfälle aus dem Fragebogen, 50 SurveyBots, Routing-Fragen, Fragen-Erwartungen, Screenout- und Routing-Testfälle, manueller Test, externe Prüfer |
| Übereinstimmung mit dem Fragebogen | Fragen, Wortlaut, Optionen, Fragetypen und Programmierhinweise im Vergleich mit dem Fragebogen, Unterschiede zur vorherigen Welle |
| Routing und Logik | Routing-Diagramm und Pfadanalyse, Anzeigebedingungen, Rotation, Schleifen, übernommene Listen, entfernte Fragen, MaxDiff-, Teilmengen- und TURF-Designs |
| Antwortverhalten und Validierung | Pflicht- und freiwillige Fragen, Eingabeprüfung, Auswahlgrenzen, Zahlenbereiche, Grenzfälle bei Eingaben, Zurück-Navigation |
| Text, Piping und Wortlaut | Rechtschreibung, Grammatik, Lesbarkeit, Einleitung, eingefügte Texte, sichtbarer Code, einheitliche Skalen, Markennamen |
| Übersetzungen und Märkte | Jede Sprache getestet, Sprach-Befunde, Übersetzungen vollständig und verglichen, Logik pro Sprache, Marktinhalte |
| Layout, Geräte und Medien | Desktop, Smartphone und Tablet, Bilder, Medien, Browser, Bedienbarkeit, Eingabefelder, ausgerichtete Antworten |
| Barrierefreiheit | Textalternativen, Kontrast, Beschriftungen, Fokus, Tastatur, Seitensprache, Zeitlimits, Fehlermeldungen |
| Endseiten, Quoten und Sample | Completes, Screenouts, volle Quoten, Weiterleitungen, Sample-Parameter, Interviewlänge, Screenout-Gründe |
| Technisches Verhalten | Fehler der Umfrage, Seitengeschwindigkeit, Zielländer, viele Befragte gleichzeitig |
| Datenschutz und Hinweise an Befragte | Personenbezogene Daten, Einwilligung, technische Voraussetzungen |
| Beheben und nachprüfen | Befunde zu Issues, Projektphasen, Korrekturen, Nachprüfung, Regression |
| Datenausgabe | Die Umfragedaten im Vergleich mit dem Codebuch |
| Abschließen | Abdeckung, Checkliste, Sicherheit wieder an, Betrugsprüfungen, Freigabe pro Sprache, Archiv, Go-Live und Projekt schließen |
Beim Wechsel zwischen einfachem und Standard-Testplan bleiben die Haken der Schritte erhalten, die beide Pläne haben.
Gut zu wissen
- Das Schließen kommt zuletzt. Ein geschlossenes Projekt ist schreibgeschützt, auch sein Testplan. Deshalb ist „Live gehen und Projekt schließen“ der allerletzte Schritt. Siehe Ein Projekt schließen.
- Automatische Prüfungen sind Nachweise, kein Beweis. „Jeder Testfall ist gelaufen“ heißt, dass die Bots jeden Testfall ausgeführt haben, nicht, dass jemand die Ergebnisse angesehen hat. Schritte, die das Urteil einer Person brauchen, haken sich nie selbst ab.
- Ein späterer Vorlagenwechsel behält die Haken von Punkten mit gleichem Code. Selbst hinzugefügte Punkte werden beim Laden einer Vorlage entfernt, außer die Vorlage enthält einen Punkt mit demselben Code.
- Vorlagen für Ihre Firma werden unter Administration › Testplan-Vorlagen gepflegt. Siehe Testplan-Vorlagen.