Eine Markenliste mit 200 Einträgen lässt sich nicht einem einzelnen Befragten zeigen. Die Umfrage zeigt deshalb jedem Befragten eine Teilmenge - hier 25 Marken -, und das Forschungsteam erwartet, dass jede Marke über die Feldzeit etwa gleich viele Antworten sammelt. Das funktioniert nur mit einer ausbalancierten (least-filled) Ziehung: Jeder Befragte bekommt die Marken, die bisher am seltensten gezeigt wurden. Zieht die Umfrage einfach zufällig, haben am Ende manche Marken dreimal so viele Antworten wie andere - und niemand merkt es, bevor die Daten da sind.
In dieser Sandbox probierst du die Prüfung der Item-Anzeige an einer Demo-Umfrage aus, die genau diesen Fehler macht. Das dauert etwa 10 Minuten: Die SurveyBots laufen parallel, ein Schwung von 20 bis 40 Läufen ist in wenigen Minuten fertig. Was gezählt wird und wie das Urteil entsteht, steht in Fragen testen, die eine zufällige Teilmenge von Items zeigen.
Die Demo-Umfrage
https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_PARTIALDISTRIBUTION
Öffne den Link zuerst im Browser und klicke dich einmal durch - das dauert eine Minute:
| Seite | Was du siehst | Was dahintersteckt |
|---|---|---|
| Alter | Einfachauswahl | Under 18 beendet das Interview als Screenout |
| Awareness | 25 Marken plus None of these | 25 Marken, zufällig gezogen aus einer Liste von 200; None of these wird immer gezeigt |
| Rating | Ein Grid mit 6 Aussagen | 6 Aussagen, zufällig gezogen aus einer Liste von 40 |
| Ende | "Thank you for taking part" |
Jede Seite sieht völlig normal aus. Ob Marke 173 jemals gezeigt wird oder wie gleichmäßig die 200 Marken verteilt sind, zeigt sich erst, wenn man über viele Interviews hinweg zählt - und genau das macht SurveyTester.
Schritt 1: Projekt anlegen
Öffne das Projektmenü (☰) und wähle Neues Projekt erstellen. Wähle einen Ordner, gib dem Projekt einen Namen wie "Sandbox Markenliste" und füge den Link oben als Link zur Befragung ein. SurveyTester erkennt das Umfragesystem (Dimensions) am Link. Wähle Englisch als Standardsprache und lege das Projekt an. Alles andere kann bleiben, wie es ist; der Dialog ist in Best Practices: vom neuen Projekt bis zur Freigabe beschrieben.
Eine Regel oder Einstellung ist nicht nötig: SurveyTester erkennt Teilmengen-Fragen allein aus den Testläufen.
Schritt 2: Einen ersten Schwung von 20 SurveyBots starten
Klicke auf Testumfrage, wähle SurveyBot testet und stelle die Zahl der Testläufe auf 20. Ein Testfall ist nicht nötig: Zufallsantworten genügen. Starte den Job und warte, bis die Läufe unter Testläufe erscheinen. Läufe, die bei der Altersfrage als Screenout enden, sind gewollt und zählen nicht für die Markenliste - bei Zufallsantworten ist das etwa jeder vierte Lauf.
Schritt 3: Die Zahlen in Fragen & Logik ansehen
Öffne Fragen & Logik und lade die Seite neu, wenn die Läufe fertig sind. In der Spalte Erwartungen siehst du jetzt:
- 25 von 200 an der Frage Awareness - SurveyTester hat erkannt, dass jedes Interview 25 Marken aus einer Liste von 200 zeigt; None of these wird immer gezeigt und deshalb nicht mitgezählt;
- 6 von 40 am Grid Rating, für seine Aussagezeilen.
Ein Klick auf 25 von 200 öffnet den Dialog Item-Anzeige. Nach 20 Läufen ist die Schaltfläche noch gestrichelt grau, und der Dialog sagt Noch kein Urteil: Jede Marke wurde bisher erst etwa zweimal gezeigt, das reicht nicht, um eine ausbalancierte von einer zufälligen Ziehung zu unterscheiden. Die Belege-Zeile sagt, wie viele Läufe noch nötig sind, und die Item-Tabelle zeigt schon die Zahlen je Marke - achte darauf, wie weit sie auseinanderliegen.
Schritt 4: 40 weitere SurveyBots starten und das Urteil lesen
Starte einen weiteren SurveyBot-Job mit 40 Läufen. Sobald etwa 40 Läufe die Markenliste erreicht haben, wurde jede Marke im Schnitt etwa fünfmal gezeigt, und die Prüfung urteilt. Verlangt die Belege-Zeile noch mehr Läufe, starte ein paar weitere. Lade Fragen & Logik neu: Die Schaltfläche wird orange, und der Dialog sagt:
- Nicht OK - Zufallsziehung, nicht ausbalanciert. Die Zahlen streuen genau so stark, wie eine Zufallsziehung es ergibt. Bei 25 von 200 Marken wurden manche Marken ein- oder zweimal gezeigt, andere zehnmal oder öfter, obwohl jede Marke bei etwa fünf liegen sollte;
- eine Gleichmäßigkeit von etwa 60 bis 70 (eine ausbalancierte Ziehung bleibt über 90);
- in den Fakten die Spanne, die der Zufall allein ergibt - so siehst du, dass die Streuung kein Pech ist, sondern das Verhalten einer Zufallsziehung.
Das Grid Rating bekommt etwa zur selben Zeit dasselbe Urteil: Auch seine sechs Aussagen werden zufällig gezogen.
Jede Abweichung ist außerdem ein AutoDetect-Befund Item exposure not balanced unter der Prüfung Item-Anzeige auf der Seite Tickets, bereit, als Issue an den Fragebogen-Autor zu gehen.
Hinweis
Die Prüfung Jedes Item der Liste wird gezeigt kann zu diesem Zeitpunkt noch warten: Bei einer Zufallsziehung kann der Zufall allein eine Marke eine Weile ungesehen lassen. Sie wird nach etwa 60 Interviews geurteilt, die die Markenliste erreicht haben. Starte weitere 20 bis 30 SurveyBots, wenn du sie sehen möchtest.
Was eine korrekte Umfrage zeigen würde
Eine Umfrage mit ausbalancierter Ziehung - Dimensions mit Sample Management oder einer Tabelle der Anzeigezahlen,
Decipher mit ausbalanciertem shuffle, Qualtrics mit "evenly present elements" - hält jede Marke nach 40 Interviews
bei fünf oder sechs Anzeigen. Der Dialog sagt dann Sehr wahrscheinlich OK mit einer Gleichmäßigkeit über 90.
Ist in deiner Studie tatsächlich eine Zufallsziehung gewollt, hinterlege sie als Regel im Dialog Erwartungen der
Frage (Teilmenge pro Befragtem, Ziehung zufällig): Die Zufallsziehung wird dann akzeptiert. Beides ist in
Fragen testen, die eine zufällige Teilmenge von Items zeigen
beschrieben.
Was du geübt hast
- SurveyTester erkennt Fragen, die nur einen Teil einer Liste zeigen, allein aus den Testläufen, ohne Einrichtung.
- Ob eine lange Liste gleichmäßig verteilt wird, ist in einem einzelnen Interview unsichtbar und wird nach ein paar Dutzend SurveyBot-Läufen sichtbar.
- Der Dialog unterscheidet eine ausbalancierte von einer zufälligen oder verzerrten Ziehung und sagt, wann die Belege ausreichen.
Geh bei deiner nächsten Studie mit einer langen Marken- oder Aussagenliste genauso vor: vor dem Start so viele SurveyBots laufen lassen, bis die Belege-Zeile ausreichend sagt, die Schaltfläche n von N öffnen und eine zufällige oder verzerrte Ziehung vor dem Feldstart an den Fragebogen-Autor geben.