Une liste de 200 marques ne peut pas être montrée à un seul répondant. Le questionnaire montre donc à chaque répondant un sous-ensemble - ici 25 marques - et l'équipe d'étude s'attend à ce que chaque marque recueille à peu près le même nombre de réponses sur l'ensemble du terrain. Cela ne fonctionne qu'avec un tirage équilibré (least-filled) : chaque répondant reçoit les marques les moins affichées jusqu'ici. Si le questionnaire tire simplement au hasard, certaines marques finissent avec trois fois plus de réponses que d'autres - et personne ne le remarque avant l'arrivée des données.
Ce bac à sable vous permet d'essayer la vérification d'exposition des items de SurveyTester sur un questionnaire de démonstration qui commet exactement cette erreur. Comptez environ 10 minutes : les SurveyBots fonctionnent en parallèle, une série de 20 à 40 tests est terminée en quelques minutes. Ce qui est compté et comment le verdict est établi est expliqué dans Tester les questions qui affichent un sous-ensemble aléatoire d'items.
Le questionnaire de démonstration
https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_PARTIALDISTRIBUTION
Ouvrez d'abord le lien dans votre navigateur et parcourez-le une fois - cela prend une minute :
| Page | Ce que vous voyez | Ce qu'il y a derrière |
|---|---|---|
| Âge | Choix unique | Under 18 termine l'interview en screenout |
| Awareness | 25 marques plus None of these | 25 marques tirées au hasard dans une liste de 200 ; None of these toujours affiché |
| Rating | Une grille de 6 affirmations | 6 affirmations tirées au hasard dans une liste de 40 |
| Fin | « Thank you for taking part » |
Chaque page a l'air parfaitement normale. Savoir si la marque 173 est jamais affichée, ou à quel point les 200 marques sont réparties uniformément, n'apparaît que si l'on compte sur de nombreuses interviews - et c'est ce que fait SurveyTester.
Étape 1 : créer le projet
Ouvrez le menu des projets (☰) et choisissez Créer un projet. Choisissez un dossier, donnez au projet un nom comme « Sandbox liste de marques » et collez le lien ci-dessus comme Lien du questionnaire. SurveyTester reconnaît le système d'enquête (Dimensions) à partir du lien. Choisissez l'anglais comme langue par défaut et créez le projet. Tout le reste peut rester tel quel ; la boîte de dialogue est décrite dans Bonnes pratiques : du nouveau projet à la validation.
Aucune règle ni aucun réglage n'est nécessaire : SurveyTester reconnaît seul les questions à sous-ensemble à partir des tests.
Étape 2 : lancer une première série de 20 SurveyBots
Cliquez sur Tester le questionnaire, choisissez Test SurveyBot et réglez le nombre de tests sur 20. Aucun cas de test n'est nécessaire : des réponses aléatoires suffisent. Lancez le job et attendez que les tests apparaissent dans Exécutions de test. Les tests qui se terminent en screenout à la question d'âge sont voulus et ne comptent pas pour la liste de marques - avec des réponses aléatoires, environ un test sur quatre.
Étape 3 : consulter les comptages dans Pages et routage
Ouvrez Pages et routage et rechargez la page une fois les tests terminés. Dans la colonne Attentes, vous voyez maintenant :
- 25 sur 200 sur la question Awareness - SurveyTester a constaté que chaque interview affiche 25 marques d'une liste de 200 ; None of these est toujours affiché et donc exclu du comptage ;
- 6 sur 40 sur la grille Rating, pour ses lignes d'affirmations.
Cliquez sur 25 sur 200 pour ouvrir la boîte de dialogue Exposition des items. Après 20 tests, le bouton est encore en gris pointillé et la boîte de dialogue indique Pas encore de verdict : chaque marque n'a été affichée qu'environ deux fois jusqu'ici, ce qui ne suffit pas pour distinguer un tirage équilibré d'un tirage aléatoire. La ligne de preuves indique combien de tests sont encore nécessaires, et le tableau des items montre déjà les comptages par marque - regardez à quel point ils sont éloignés.
Étape 4 : lancer 40 SurveyBots de plus et lire le verdict
Lancez un autre job SurveyBot de 40 tests. Dès qu'environ 40 tests ont atteint la liste de marques, chaque marque a été affichée en moyenne environ cinq fois et la vérification rend son verdict. Si la ligne de preuves demande encore des tests, lancez-en quelques-uns de plus. Rechargez Pages et routage : le bouton passe à l'orange et la boîte de dialogue indique :
- Pas OK - Tirage aléatoire, non équilibré. Les comptages se dispersent exactement comme le produit un tirage aléatoire. Avec 25 marques sur 200, certaines marques ont été affichées une ou deux fois, d'autres dix fois ou plus, alors que chaque marque devrait se situer autour de cinq ;
- un score de régularité d'environ 60 à 70 (un tirage équilibré reste au-dessus de 90) ;
- dans les faits, la plage que le hasard seul produit - vous voyez ainsi que la dispersion n'est pas de la malchance, mais le comportement d'un tirage aléatoire.
La grille Rating reçoit le même verdict à peu près au même moment : ses six affirmations sont elles aussi tirées au hasard.
Chaque écart est aussi un constat AutoDetect Item exposure not balanced sous la vérification Exposition des items sur la page Tickets, prêt à être converti en ticket pour l'auteur du questionnaire.
Remarque
La vérification Chaque item de la liste est affiché peut encore attendre à ce stade : avec un tirage aléatoire, le hasard seul peut laisser une marque invisible pendant un moment. Elle est jugée après environ 60 interviews ayant atteint la liste de marques. Lancez 20 à 30 SurveyBots de plus si vous voulez la voir.
Ce que montrerait un questionnaire correct
Un questionnaire avec un tirage équilibré - Dimensions avec la gestion d'échantillon ou une table des comptages
d'affichage, le shuffle équilibré de Decipher, l'option « evenly present elements » de Qualtrics - maintient
chaque marque à cinq ou six affichages après 40 interviews. La boîte de dialogue indique alors Très probablement
OK avec un score de régularité supérieur à 90. Si votre étude prévoit réellement un tirage aléatoire, indiquez-le
comme règle dans la boîte de dialogue Attentes de la question (Sous-ensemble par répondant, tirage
aléatoire) : le tirage aléatoire est alors accepté. Les deux sont décrits dans
Tester les questions qui affichent un sous-ensemble aléatoire d'items.
Ce que vous avez pratiqué
- SurveyTester reconnaît les questions qui n'affichent qu'une partie d'une liste à partir des seuls tests, sans configuration.
- La répartition uniforme d'une longue liste est invisible dans une seule interview et devient visible après quelques dizaines de tests SurveyBot.
- La boîte de dialogue distingue un tirage équilibré d'un tirage aléatoire ou biaisé, et indique quand les preuves suffisent.
Procédez de la même façon pour votre prochaine étude avec une longue liste de marques ou d'affirmations : lancez avant le terrain assez de SurveyBots pour que la ligne de preuves indique suffisant, ouvrez le bouton n sur N et transmettez un tirage aléatoire ou biaisé à l'auteur du questionnaire avant le démarrage du terrain.