Eine Markenliste mit 200 Einträgen kann kein Befragter allein bewerten. Umfragen zeigen deshalb jedem Befragten eine zufällige Teilmenge - 25 der 200 Marken, 6 von 40 Aussagen, 5 von 30 Produktbildern - und verlassen sich darauf, dass der Zufallsgenerator die Items gleichmäßig über die Interviews verteilt, sodass jedes Item etwa gleich viele Antworten sammelt und keines ausgelassen wird. Ob das klappt, ist in einem einzelnen Interview unsichtbar. SurveyTester erkennt solche Fragen allein aus den Testläufen, zählt, wie oft jedes Item gezeigt wurde, und sagt Ihnen, ob die Ziehung ausbalanciert ist (jedes Item etwa gleich oft), dem Zufall überlassen oder verzerrt. Die Zählung erscheint auf der Seite Fragen & Logik als Schaltfläche in der Spalte Erwartungen, und jede Abweichung wird als Befund gemeldet.
Was eine Teilmengen-Frage ist
Die Frage hat eine lange Liste von Items - Antwortoptionen oder Gitterzeilen -, aber jeder Befragte sieht nur eine
feste Anzahl davon, zufällig gezogen. Die Umfrageplattform entscheidet die Ziehung zur Laufzeit: Deciphers shuffle
mit Limit, Qualtrics' „nur n der Optionen zeigen", Dimensions' ran mit Anzahl, Sawtooths constructed lists und
die Entsprechungen auf jeder anderen Plattform.
Die Erwartung hinter dem Design ist einfach: Über viele Interviews wird jedes Item etwa gleich oft gezeigt und kein Item ausgelassen. Ein defekter Zufallsgenerator, eine gewichtete Liste, die gleichverteilt sein sollte, ein Filter, der stillschweigend die ersten Einträge bevorzugt, oder ein Listeneintrag, den die Ziehung nie erreichen kann, brechen diese Erwartung - und keines davon ist auf der Seite zu sehen.
Warum das ohne SurveyTester schwer zu testen ist
- Ein Interview beweist nichts. Ein Tester sieht eine Ziehung von 25 Marken. Ob Marke 173 je gezogen wird oder ob die ersten 20 Marken doppelt so oft kommen wie der Rest, zeigt sich erst über Dutzende Interviews.
- Die Abweichungen sind statistisch. Auch ein perfekter Zufallsgenerator zeigt nicht jedes Item exakt gleich oft; die Frage ist, ob die Zahlen so eng beieinander liegen, wie eine gesteuerte Ziehung sie hält, nur so ungleich wie der Zufall, oder schlimmer. Das braucht einen Vergleich mit dem, was eine Zufallsziehung ergäbe, nicht einen Blick auf eine Tabelle.
- Zählen von Hand skaliert nicht. Zu tabellieren, welche von 200 Items in 40 Interviews vorkamen, ist Arbeit, die vor dem Start niemand macht.
SurveyTester zählt das bei jedem Testlauf und gibt Ihnen eine Zeile: sehr wahrscheinlich OK, nicht OK, oder noch nicht beurteilt, weil mehr Läufe nötig sind.
Wie SurveyTester eine Teilmengen-Frage testet
Die Frage erkennen
Es braucht keine Regel und keine Markierung. Während der Projekt-Scan die Testläufe liest, beobachtet SurveyTester jede Frage mit Antwortoptionen oder Gitterzeilen und stuft sie als Teilmengen-Frage ein, wenn die Aufzeichnungen das Muster einer Ziehung zeigen: eine stabile Anzahl Items pro Interview (ein Sonstiges-Eintrag, der kommt und geht, ist erlaubt), nie die ganze Liste, mindestens drei Interviews und mindestens drei verschiedene Item-Kombinationen - eine Zufallsziehung zeigt fast jedes Mal eine neue, ein Blockdesign seine Blöcke. Listen, deren Größe schwankt, weil sie von einer früheren Antwort abhängen, sind keine Teilmengen-Fragen - dafür gibt es die Erwartungen zu abhängigen Einträgen. MaxDiff- und Conjoint-Aufgaben haben ihre eigene Prüfung, siehe MaxDiff-Fragen testen.
Die Prüfungen
Über alle Testläufe des Projekts zählt SurveyTester, wie oft jedes Item gezeigt wurde. Erwartet wird eine ausbalancierte Ziehung: jedes Item etwa gleich oft. Die Zahlen werden mit dem verglichen, was eine reine Zufallsziehung gleicher Größe ergäbe - Wissen über das Design der Umfrage ist nicht nötig: deutlich gleichmäßiger als das ist ausbalanciert, so gleichmäßig wie das ist Zufall, ungleichmäßiger ist verzerrt.
| Prüfung | Was gezählt wird | Wann gemeldet wird |
|---|---|---|
| Jedes Item der Liste wird gezeigt | Items der Liste der Frage, wie das Projekt sie kennt, die nie vorkamen | Erst wenn der Zufall allein jedes Item gezeigt hätte; ein Item, das dann immer noch nie auftaucht, ist in der Umfrage unerreichbar |
| Die Ziehung ist ausbalanciert | Wie stark die Zahlen streuen, relativ zu einer Zufallsziehung gleicher Größe (Chi-Quadrat) | Wenn die Zahlen wie bei einer Zufallsziehung streuen, statt eng beieinander zu bleiben - die Umfrage überlässt die Anzeige dem Zufall. Ausbalanciert heißt: die Zahlen streuen weniger als ein Drittel so stark wie bei einer Zufallsziehung. Beurteilt, sobald jedes Item etwa fünfmal gezeigt wurde |
| Die Ziehung ist nicht verzerrt | Derselbe Vergleich in die andere Richtung | Wenn die Zahlen mehr als vier Standardabweichungen über dem liegen, was selbst eine Zufallsziehung ergibt - ein defekter Zufallsgenerator, eine gewichtete Liste, ein Filter, der manche Items bevorzugt |
Ausbalancierte gegen zufällige Ziehung
Eine reine Zufallsziehung verteilt Items in der Praxis nicht gleichmäßig. Bei 25 von 200 zufällig gezogenen Marken
war nach 50 Interviews die Marke, die am häufigsten kam, 14-mal gezeigt und die seltenste einmal, obwohl 6,25 je
Marke zu erwarten waren - und genau das ergibt der Zufall, kein Defekt des Zufallsgenerators. Nur eine gesteuerte
Ziehung hält die Zahlen zusammen: Die Plattform zeigt jedem Befragten die bislang am seltensten gezeigten Items
(Deciphers balanciertes shuffle, Qualtrics' „evenly present elements", Dimensions-Sample-Management oder eine
Least-filled-Routine, Sawtooths balancierte constructed lists). Mit einer solchen Ziehung steht jede Marke nach 50
Interviews bei 6 oder 7, und alle 200 wurden nach 8 Interviews gezeigt. SurveyTester meldet eine Zufallsziehung als
Zufallsziehung, nicht ausbalanciert mit einem Befund, weil die Forschungserwartung hinter einer Teilmengen-Frage
gleiche Anzeige ist; der Dialog zeigt das Band einer Zufallsziehung neben dem Band, das eine ausbalancierte hielte.
Die zweite Prüfung braucht die vollständige Liste. SurveyTester nimmt sie aus den Items, die es für die Frage erkannt hat; wurden die Umfrage-Metadaten hochgeladen (siehe Umfrage-Metadaten hochladen) oder zeigten frühere Läufe mehr Items, ist die Liste schon vollständig, bevor jedes Item gezogen wurde.
Wo Sie das Ergebnis sehen
Öffnen Sie Fragen & Logik. Eine Teilmengen-Frage zeigt in der Spalte Erwartungen eine Schaltfläche wie 25 von 200 - grün, wenn die Prüfungen halten, orange, wenn eine Abweichung gefunden wurde, gestrichelt grau, solange die Belege noch nicht reichen. Ein Gitter, dessen Zeilen als Teilmenge gezogen werden, zeigt die Schaltfläche für seine Zeilen; eine Frage, die Optionen und Zeilen zieht, zeigt zwei.
Ein Klick auf die Schaltfläche öffnet den Dialog Item-Anzeige:
- Urteilsbanner - Sehr wahrscheinlich OK bei einer ausbalancierten Ziehung, Nicht OK mit der Art der gefundenen Ziehung (zufällig oder verzerrt) und den fehlgeschlagenen Prüfungen, oder Noch kein Urteil - plus eine Gleichmäßigkeit von 0 bis 100: 100 heißt, jedes Item exakt gleich oft; eine ausbalancierte Ziehung liegt über 90, eine reine Zufallsziehung je nach Zahl der Interviews bei 60 bis 90.
- Belege-Zeile - ob die Belege ausreichen oder warum mehr Testläufe empfohlen werden: weniger Läufe als das Minimum, jedes Item bisher weniger als etwa fünfmal gezeigt, oder ein Item, das in den letzten Läufen noch zum ersten Mal auftauchte (die Liste ist noch nicht abgedeckt).
- Fakten - wie viele Items jedes Interview zeigte, die Zahl der Testläufe und Anzeigen, gesehene Items, Items in der Liste, verschiedene Kombinationen und die erwartete Zahl der Anzeigen je Item. Dazu das Band, das der Zufall allein ergibt - bei 25 von 200 Items nach 50 Interviews Zahlen zwischen 1 und 13 -, damit ein einzelnes Item mit doppelt so vielen Anzeigen wie erwartet nicht als Problem gelesen wird; nur das Bild über alle Items entscheidet.
- Prüfungen - die drei Prüfungen (vier mit einer Regel, siehe unten) mit Haken oder Kreuz und einer kurzen Erklärung, was jede zählt.
- Items - jedes Item mit der Zahl seiner Anzeigen, dem Verhältnis zum erwarteten Wert und einem Balken, der die Verteilung auf einen Blick sichtbar macht; nie gezeigte Items der Liste stehen zuerst.
Die Zahlen werden vom Projekt-Scan aktualisiert, der nach abgeschlossenen Testläufen läuft. Laden Sie die Seite nach einer Serie von Läufen neu, um den aktuellen Stand zu sehen.
Befunde
Jede Abweichung ist auch ein AutoDetect-Befund unter der Prüfung Item-Anzeige: Sie erscheint in der Befundliste, kann als Issue bestätigt oder abgelehnt werden und wird automatisch zurückgezogen, sobald sie nicht mehr auftritt - etwa nachdem der Fragebogenautor den Zufallsgenerator repariert hat und neue Testläufe das zeigen.
Die Prüfung lässt sich wie jede andere AutoDetect-Prüfung je Unternehmen, Projekttyp oder Projekt ein- und ausschalten, siehe Auto Detect Issues.
Eine Korrektur mit einem Ergebnisfilter prüfen
Nachdem der Fragebogenautor die Ziehung repariert hat, setzen Sie einen Meilenstein zum Zeitpunkt der Korrektur und aktivieren ihn als Ergebnisfilter. Der Dialog wird dann nur für die gefilterten Testläufe berechnet und sagt das in einem Hinweis, während die Befunde die Historie behalten. Siehe Ergebnisfilter für Filter und Meilensteine.
Die Regel angeben: von Hand oder aus dem Fragebogen
Ohne Regel erkennt SurveyTester Teilmengen-Fragen allein aus den Testläufen, wie oben beschrieben. Eine Regel bringt drei Dinge: Die Frage wird ab dem ersten Testlauf verfolgt (kein Warten auf drei Interviews), die Zahl der Items pro Befragtem wird gegen die Regel geprüft, und die Ziehung, die die Regel verlangt, entscheidet das Urteil - eine im Dokument als zufällig angegebene Ziehung ist dann keine Abweichung.
- Von Hand: Öffnen Sie den Dialog Erwartungen der Frage aus der Seitentabelle. Der Abschnitt Teilmenge pro Befragtem nimmt die Zahl der Items, die ein Befragter sieht, und die Ziehung (ausbalanciert oder zufällig) entgegen, je Antwortoptionen und je Gitterzeilen.
- Aus dem Fragebogendokument: Wird ein Word-, Excel- oder PDF-Fragebogen hochgeladen, liest die Analyse Programmieranweisungen wie Show least-shown list of 17 per respondent oder jeder Befragte bewertet 6 zufällige Aussagen und legt nach Abgleichen & Prüfen die Regel an der zugeordneten Umfragefrage an. Der Erwartungen-Dialog zeigt sie als aus dem Fragebogen übernommen; eine manuelle Angabe überschreibt sie.
Eine Umfrage, die 20 Items zeigt, wo das Dokument 17 sagt, wird sofort als Teilmengengröße weicht ab gemeldet - ein Befund wie die anderen, mit der Zahl des Dokuments und der der Umfrage.
Schritt für Schritt
- Legen Sie das Projekt wie gewohnt mit dem Umfragelink an und starten Sie eine erste Serie von Testläufen.
- Öffnen Sie Fragen & Logik und achten Sie auf die Schaltflächen n von N in der Spalte Erwartungen. Sie erscheinen, sobald eine Frage in mindestens drei Läufen mit dem Muster einer Ziehung gezeigt wurde.
- Öffnen Sie den Dialog und lesen Sie die Belege-Zeile. Sie sagt Ihnen, wie viele Läufe die Prüfung noch braucht: bei 25 von 200 Items geben etwa 40 Läufe jedem Item fünf Anzeigen.
- Lassen Sie weitere SurveyBots laufen, bis die Belege-Zeile ausreichend sagt, und lesen Sie dann das Urteil.
- Geben Sie Abweichungen als Befunde oder Issues an den Fragebogenautor weiter. Nach der Korrektur setzen Sie einen Meilenstein, aktivieren ihn als Ergebnisfilter, starten die nächste Serie und prüfen, dass die Abweichung weg ist.
Wie viele Testläufe reichen
Die Prüfung beurteilt die Balance, sobald jedes Item etwa fünfmal gezeigt wurde. Wie viele Läufe das braucht, hängt von der Ziehung ab:
| Items pro Interview | Items in der Liste | Läufe für fünf Anzeigen je Item |
|---|---|---|
| 25 | 200 | 40 |
| 6 | 40 | 34 |
| 5 | 30 | 30 |
| 10 | 20 | 10 |
Kurz: fünfmal die Listengröße geteilt durch die Teilmengengröße. Die Belege-Zeile im Dialog wendet genau diese Regel an und sagt Ihnen, wann Sie aufhören können.
Hinweise
- Ein grüner Haken heißt, die Zahlen sind so gleichmäßig, wie eine gesteuerte Ziehung sie hält; der Zufallsgenerator der Umfrage selbst wird nicht inspiziert. Ein ausbalanciertes Rotationsdesign (jedes Item exakt gleich oft) besteht, eine reine Zufallsziehung nicht.
- Eine Liste, die nach einer früheren Antwort gefiltert und zusätzlich gedeckelt ist („bis zu 5 der gewählten Marken zeigen"), kann als Teilmengen-Frage erkannt werden. Ihre Zahlen werden dann von den Antworten der Testbefragten geprägt, nicht allein von der Ziehung; setzen Sie eine Erwartung zu abhängigen Einträgen auf die Frage, um sie aus dieser Prüfung herauszunehmen.
- Items werden über ihren internen Wert zugeordnet, Läufe in mehreren Sprachen zählen also zusammen.
- Ein Item, das auf jeder Seite erscheint - ein exklusives Keines davon, ein fixiertes Sonstiges -, ist nicht Teil der Ziehung. SurveyTester erkennt das, sobald der Zufall es nicht mehr erklären kann, und lässt es aus der Teilmengengröße und der Balance heraus; der Dialog führt es als immer gezeigt.
Das Wichtigste
Eine zufällige Teilmenge lässt sich nicht validieren, indem man einmal durch die Umfrage klickt. SurveyTester führt sie wie Dutzende Befragte aus, zählt, was jedes Interview zeigte, und sagt Ihnen, ob jedes Item seinen fairen Anteil bekommt - bevor der erste echte Befragte eine verzerrte Liste gezogen bekommt.