In dieser Sandbox probierst du die MaxDiff-Balance-Prüfung in einem eigenen Projekt aus, mit zwei Demo-Umfragen, die wir bereitstellen. Beide enthalten dasselbe MaxDiff: zwölf Merkmale eines Handytarifs, vier pro Aufgabe, neun Aufgaben pro Teilnehmer, fünf Design-Versionen. Die erste Umfrage hat einen Designfehler, den kein Tester beim Durchklicken bemerken würde; die zweite hat das korrigierte Design. Du lässt SurveyBots durch die erste laufen, siehst, wie SurveyTester den Fehler meldet, stellst das Projekt auf den zweiten Link um und verfolgst, wie sich das Urteil ändert - derselbe Ablauf wie bei einem echten MaxDiff, das der Fragebogen-Autor korrigiert.
Das dauert etwa 10 Minuten: Die SurveyBots laufen parallel, ein Schwung von 20 bis 40 Läufen ist in wenigen Minuten fertig. Was geprüft wird und warum, steht in MaxDiff-Fragen testen.
Die beiden Demo-Umfragen
| Umfrage | Link | Was im Design steckt |
|---|---|---|
| Mit Designfehler | https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_MAXDIFFWITHDESIGNFLAWS | Die fünf Versionen sind verschobene Kopien eines einzigen Plans. Dadurch erscheinen zwei Item-Paare in keiner Version jemals in derselben Aufgabe |
| Korrigiertes Design | https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_MAXDIFFWITHCORRECTDESIGN | Fünf wirklich verschiedene Pläne: Jedes Item-Paar trifft über die Versionen hinweg mehrmals aufeinander |
Jede Aufgabenseite sieht in beiden Umfragen völlig normal aus. Der Unterschied zeigt sich erst, wenn man über viele Teilnehmer hinweg zählt - und genau das macht SurveyTester.
Hinweis
Die Umfragen beginnen mit einer Altersfrage. Ein SurveyBot, der Unter 18 antwortet, wird vor dem MaxDiff ausgescreent; das ist so gewollt und liefert dir einen Screenout in den Testläufen. Für die Balance-Prüfung zählen nur Läufe, die das MaxDiff erreichen.
Schritt 1: Projekt mit der fehlerhaften Umfrage anlegen
Öffne das Projektmenü (☰) und wähle Neues Projekt erstellen. Wähle einen Ordner, gib dem Projekt einen Namen wie "Sandbox MaxDiff" und füge den ersten Link als Link zur Befragung ein:
https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_MAXDIFFWITHDESIGNFLAWS
SurveyTester erkennt das Umfragesystem (Dimensions) am Link. Wähle Englisch als Standardsprache und lege das Projekt an. Alles andere kann bleiben, wie es ist; der Dialog ist ausführlich in Best Practices: vom neuen Projekt bis zur Freigabe beschrieben.
Schritt 2: 10 bis 20 SurveyBots laufen lassen
Klicke auf Testumfrage, wähle SurveyBot testet und stelle die Zahl der Testläufe auf 10 bis 20. Ein Testfall ist nicht nötig: Zufallsantworten genügen für ein MaxDiff. Starte den Job und warte, bis die Läufe unter Testläufe erscheinen.
Zehn Läufe reichen, um jede Design-Version zweimal abzudecken; mehr Läufe machen die Beweislage stärker.
Schritt 3: Das Ergebnis in Fragen & Logik ansehen
Öffne Fragen & Logik und lade die Seite neu, wenn die Läufe fertig sind. Die neun MaxDiff-Aufgabenseiten tragen in der Spalte Erwartungen das Balance-Symbol. Ein Klick darauf öffnet den Dialog MaxDiff-Balance. Du solltest sehen:
- das Urteil Nicht in Ordnung, mit der fehlgeschlagenen Prüfung Paare teilen eine Aufgabe;
- im Bereich Item-Paare die beiden Paare, die nie eine Aufgabe geteilt haben;
- die übrigen Prüfungen (gleich viele Items pro Aufgabe, Items gleich oft gezeigt, Zeilen rotiert) bestanden - der Fehler steckt in der Kombination der Items, nicht darin, wie oft sie erscheinen.
Die Abweichung wird außerdem als AutoDetect-Befund unter MaxDiff-Balance auf der Seite Tickets gemeldet. Dort kannst du sie wie bei einer echten Umfrage als Issue übernehmen.
Tipp
Zeigt der Dialog Noch kein Urteil, haben zu wenige Läufe das MaxDiff erreicht. Starte ein paar weitere SurveyBots und lade neu.
Schritt 4: Einen Meilenstein anlegen
Bevor du etwas änderst, markiere den Zeitpunkt: Öffne Projektdefinition › Meilensteine und lege einen Meilenstein an, zum Beispiel "Korrigiertes Design". Jeder Testlauf, der danach startet, gehört zum neuen Meilenstein, sodass du die Läufe nach der Korrektur später für sich betrachten kannst. Mehr zu Meilensteinen in How to Use Milestones.
Schritt 5: Auf die korrigierte Umfrage umstellen
Öffne Projektdefinition › Allgemein und ersetze den Link zur Befragung durch den zweiten Link:
https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_MAXDIFFWITHCORRECTDESIGN
Speichere. Genau das passiert in einem echten Projekt, wenn der Fragebogen-Autor ein korrigiertes Skript unter einem neuen Link veröffentlicht. Fragen, Seiten und frühere Testläufe bleiben im Projekt.
Schritt 6: Weitere 10 bis 20 SurveyBots laufen lassen und vergleichen
Starte einen weiteren SurveyBot-Job mit 10 bis 20 Läufen wie in Schritt 2. Wenn er fertig ist, lade Fragen & Logik neu und öffne den Balance-Dialog erneut. Die neuen Läufe bringen die Paare zusammen, die sich vorher nie getroffen haben, und das Urteil bewegt sich in Richtung Sehr wahrscheinlich in Ordnung. Befunde, die nicht mehr auftreten, werden automatisch zurückgezogen.
Ohne Filter zählt der Dialog die Läufe beider Umfragen zusammen, die Zahlen enthalten also noch das alte Design. Um das korrigierte Design allein zu sehen, nutzt du den Meilenstein.
Schritt 7 (optional): Auf den Meilenstein filtern
Öffne den Ergebnisfilter, füge das Kriterium Meilenstein hinzu, wähle den Meilenstein aus Schritt 4 und aktiviere den Filter. Der Balance-Dialog wird jetzt nur für die Läufe nach der Umstellung berechnet und weist mit einem blauen Hinweis darauf hin: alle Prüfungen bestanden, Urteil Sehr wahrscheinlich in Ordnung.
Schalte den Filter wieder aus, um beide Designs zusammen zu sehen. Filter und Meilensteine sind in Ergebnisfilter beschrieben.
Was du geübt hast
- Ein MaxDiff-Designfehler ist auf jeder einzelnen Seite unsichtbar und zeigt sich erst, wenn man über Teilnehmer hinweg zählt.
- SurveyBots liefern diese Menge in Minuten; der Balance-Dialog macht daraus ein Urteil mit den Belegen dahinter.
- Ein Meilenstein vor der Korrektur und ein Ergebnisfilter danach beantworten die Frage, die sich nach jedem Skript-Update stellt: Ist es jetzt behoben?
Geh bei deinem nächsten echten MaxDiff genauso vor: vor dem Start einen Schwung SurveyBots laufen lassen, Befunde an den Fragebogen-Autor geben, einen Meilenstein setzen, wenn die Korrektur kommt, und die Läufe danach prüfen.