Une liste de 200 marques ne peut pas être évaluée par un seul répondant. Les enquêtes montrent donc à chaque répondant un sous-ensemble aléatoire - 25 des 200 marques, 6 affirmations sur 40, 5 images de produit sur 30 - et comptent sur le générateur aléatoire pour répartir les items régulièrement sur les interviews, afin que chaque item recueille à peu près le même nombre de réponses et qu'aucun ne soit oublié. Impossible de le voir dans une seule interview. SurveyTester reconnaît ces questions à partir des tests seuls, compte combien de fois chaque item a été affiché et vous dit si le tirage est équilibré (chaque item à peu près aussi souvent), laissé au hasard ou biaisé. Les comptages apparaissent sur la page Pages et routage sous forme d'un bouton dans la colonne Attentes, et chaque écart est signalé comme constat.
Ce qu'est une question à sous-ensemble
La question a une longue liste d'items - options de réponse ou lignes de grille -, mais chaque répondant n'en voit
qu'un nombre fixe, tiré au hasard. La plateforme d'enquête décide du tirage à l'exécution : le shuffle de
Decipher avec une limite, le « n'afficher que n des choix » de Qualtrics, le ran de Dimensions avec un nombre,
les constructed lists de Sawtooth et leurs équivalents sur toutes les autres plateformes.
L'attente derrière ce plan est simple : sur de nombreuses interviews, chaque item est affiché à peu près aussi souvent et aucun item n'est oublié. Un générateur aléatoire défaillant, une liste pondérée censée être uniforme, un filtre qui favorise discrètement les premières entrées ou une entrée de liste que le tirage ne peut jamais atteindre brisent cette attente - et rien de tout cela n'est visible sur la page.
Pourquoi c'est difficile à tester sans SurveyTester
- Une interview ne prouve rien. Un testeur voit un tirage de 25 marques. Savoir si la marque 173 est jamais tirée, ou si les 20 premières marques sortent deux fois plus souvent que les autres, ne se voit que sur des dizaines d'interviews.
- Les écarts sont statistiques. Même un générateur parfait n'affiche pas chaque item exactement aussi souvent ; la question est de savoir si les comptages sont aussi groupés qu'un tirage contrôlé les garde, seulement aussi inégaux que le hasard, ou pires. Il faut une comparaison avec ce qu'un tirage aléatoire produirait, pas un coup d'œil à un tableau.
- Compter à la main ne passe pas à l'échelle. Tabuler lesquels des 200 items sont apparus dans 40 interviews est un travail que personne ne fait avant le lancement.
SurveyTester fait ce comptage à chaque test et vous donne une ligne : très probablement OK, pas OK, ou pas encore jugé parce qu'il faut plus de tests.
Comment SurveyTester teste une question à sous-ensemble
Reconnaître la question
Aucune règle ni marquage n'est nécessaire. Pendant que l'analyse du projet lit les tests, SurveyTester observe chaque question avec des options de réponse ou des lignes de grille et la classe comme question à sous-ensemble quand les captures montrent le schéma d'un tirage : un nombre stable d'items par interview (une entrée autre qui va et vient est tolérée), jamais la liste entière, au moins trois interviews et au moins trois combinaisons d'items différentes - un tirage aléatoire en montre une nouvelle presque à chaque fois, un plan par blocs ses blocs. Les listes dont la taille varie parce qu'elles dépendent d'une réponse antérieure ne sont pas des questions à sous-ensemble - pour celles-ci, voyez les attentes sur les éléments dépendants. Les tâches MaxDiff et conjoint ont leur propre vérification, voir Tester les questions MaxDiff.
Les vérifications
Sur l'ensemble des tests du projet, SurveyTester compte combien de fois chaque item a été affiché. L'attente est un tirage équilibré : chaque item à peu près aussi souvent. Les comptages sont comparés à ce qu'un tirage purement aléatoire de même taille produirait, aucune connaissance du plan de l'enquête n'est donc nécessaire : bien plus régulier que cela est équilibré, aussi régulier que cela est aléatoire, moins régulier est biaisé.
| Vérification | Ce qui est compté | Quand c'est signalé |
|---|---|---|
| Chaque item de la liste est affiché | Les items de la liste de la question, telle que le projet la connaît, jamais apparus | Seulement quand le hasard seul aurait affiché chaque item ; un item qui n'apparaît toujours pas est inaccessible dans l'enquête |
| Le tirage est équilibré | À quel point les comptages varient, par rapport à un tirage aléatoire de même taille (khi-deux) | Quand les comptages se dispersent comme un tirage aléatoire au lieu de rester groupés - l'enquête laisse l'exposition au hasard. Équilibré signifie que les comptages varient moins d'un tiers de ce qu'un tirage aléatoire donnerait. Jugé dès que chaque item a été affiché environ cinq fois |
| Le tirage n'est pas biaisé | La même comparaison dans l'autre sens | Quand les comptages dépassent de plus de quatre écarts-types ce que même un tirage aléatoire produit - un générateur défaillant, une liste pondérée, un filtre qui favorise certains items |
Tirage équilibré ou aléatoire
Un tirage purement aléatoire ne répartit pas les items régulièrement en pratique. Avec 25 marques sur 200 tirées au
hasard, après 50 interviews la marque sortie le plus souvent avait été affichée 14 fois et la plus rare une fois,
alors que 6,25 étaient attendues pour chacune - et c'est exactement ce que le hasard produit, pas un défaut du
générateur. Seul un tirage contrôlé garde les comptages groupés : la plateforme montre à chaque répondant les
items affichés le moins souvent jusque-là (le shuffle équilibré de Decipher, « evenly present elements » de
Qualtrics, la gestion d'échantillon de Dimensions ou une routine least-filled, les constructed lists équilibrées de
Sawtooth). Avec un tel tirage, chaque marque se situe à 6 ou 7 après 50 interviews et les 200 ont toutes été
affichées après 8. SurveyTester signale un tirage aléatoire comme Tirage aléatoire, non équilibré avec un constat,
car l'attente de recherche derrière une question à sous-ensemble est une exposition égale ; la boîte de dialogue
montre la bande qu'un tirage aléatoire produit à côté de celle qu'un tirage équilibré garderait.
La seconde vérification a besoin de la liste complète. SurveyTester la prend dans les items qu'il a détectés pour la question ; si les métadonnées de l'enquête ont été importées (voir Importer les métadonnées de l'enquête) ou si des tests antérieurs ont montré plus d'items, la liste est complète avant même que chaque item ait été tiré.
Où voir le résultat
Ouvrez Pages et routage. Une question à sous-ensemble affiche un bouton tel que 25 sur 200 dans la colonne Attentes - vert quand les vérifications tiennent, orange quand un écart a été constaté, gris pointillé tant que les preuves ne suffisent pas. Une grille dont les lignes sont tirées en sous-ensemble affiche le bouton pour ses lignes ; une question qui tire à la fois ses options et ses lignes en affiche deux.
Cliquez sur le bouton pour ouvrir la boîte de dialogue Exposition des items :
- Bandeau de verdict - Très probablement OK pour un tirage équilibré, Pas OK avec le type de tirage constaté (aléatoire ou biaisé) et les vérifications en échec, ou Pas encore de verdict - plus un score de régularité de 0 à 100 : 100 signifie chaque item exactement aussi souvent ; un tirage équilibré dépasse 90, un tirage purement aléatoire se situe entre 60 et 90 selon le nombre d'interviews.
- Ligne de preuves - si les preuves suffisent, ou pourquoi davantage de tests sont recommandés : moins de tests que le minimum, chaque item affiché moins d'environ cinq fois jusqu'ici, ou un item encore vu pour la première fois dans les derniers tests (la liste n'est pas encore couverte).
- Faits - combien d'items chaque interview a montrés, le nombre de tests et d'affichages, les items vus, les items de la liste, les combinaisons distinctes et le nombre attendu d'affichages par item. Elle indique aussi la bande que le hasard seul produit - pour 25 items sur 200 après 50 interviews, des comptages entre 1 et 13 -, afin qu'un item isolé affiché deux fois plus souvent qu'attendu ne soit pas lu comme un problème ; seule l'image sur l'ensemble des items décide.
- Vérifications - les trois vérifications (quatre avec une règle, voir plus bas) avec une coche ou une croix et une courte explication de ce que chacune compte.
- Items - chaque item avec son nombre d'affichages, le rapport à la valeur attendue et une barre qui rend la répartition visible d'un coup d'œil ; les items de la liste jamais affichés sont listés en premier.
Les chiffres sont actualisés par l'analyse du projet qui s'exécute après les tests terminés. Rechargez la page après une série de tests pour voir l'état le plus récent.
Constats
Chaque écart est aussi un constat AutoDetect sous la vérification Exposition des items : il apparaît dans la liste des constats, peut être approuvé en problème ou refusé, et est retiré automatiquement dès qu'il n'est plus observé - par exemple après que l'auteur de l'enquête a corrigé le générateur et que de nouveaux tests le montrent.
La vérification s'active et se désactive par entreprise, type de projet ou projet comme toute autre vérification AutoDetect, voir Auto Detect Issues.
Vérifier une correction avec un filtre de résultats
Une fois le tirage corrigé par l'auteur de l'enquête, placez un jalon au moment de la correction et activez-le comme filtre de résultats. La boîte de dialogue est alors calculée uniquement pour les tests filtrés et le dit dans une note, tandis que les constats conservent l'historique. Voir Filtre de résultats pour les filtres et les jalons.
Indiquer la règle : à la main ou depuis le questionnaire
Sans règle, SurveyTester reconnaît les questions à sous-ensemble à partir des tests seuls, comme décrit plus haut. Une règle apporte trois choses : la question est suivie dès le premier test (pas d'attente de trois interviews), le nombre d'items par répondant est vérifié par rapport à la règle, et le tirage demandé par la règle décide du verdict - un tirage que le document indique comme aléatoire n'est alors pas un écart.
- À la main : ouvrez la boîte de dialogue Attentes de la question depuis le tableau des pages. La section Sous-ensemble par répondant prend le nombre d'items qu'un répondant voit et le tirage (équilibré ou aléatoire), pour les options de réponse et pour les lignes de grille.
- Depuis le document du questionnaire : lorsqu'un questionnaire Word, Excel ou PDF est importé, l'analyse lit les notes de programmation telles que Show least-shown list of 17 per respondent ou chaque répondant évalue 6 affirmations au hasard et, après Rapprocher et vérifier, crée la règle sur la question d'enquête appariée. La boîte de dialogue des attentes la montre comme issue du questionnaire ; une saisie manuelle la remplace.
Une enquête qui affiche 20 items là où le document en indique 17 est signalée aussitôt comme Taille du sous-ensemble différente - un constat comme les autres, avec le nombre du document et celui de l'enquête.
Pas à pas
- Créez le projet avec le lien de l'enquête comme d'habitude et lancez une première série de tests.
- Ouvrez Pages et routage et cherchez les boutons n sur N dans la colonne Attentes. Ils apparaissent dès qu'une question a été affichée dans au moins trois tests avec le schéma d'un tirage.
- Ouvrez la boîte de dialogue et lisez la ligne de preuves. Elle vous dit combien de tests la vérification demande encore : avec 25 items sur 200, environ 40 tests donnent cinq affichages à chaque item.
- Lancez d'autres SurveyBots jusqu'à ce que la ligne de preuves indique suffisantes, puis lisez le verdict.
- Transmettez les écarts à l'auteur de l'enquête sous forme de constats ou de problèmes. Après la correction, placez un jalon, activez-le comme filtre de résultats, lancez la série suivante et vérifiez que l'écart a disparu.
Combien de tests suffisent
La vérification juge l'équilibre dès que chaque item a été affiché environ cinq fois. Le nombre de tests nécessaire dépend du tirage :
| Items par interview | Items dans la liste | Tests pour cinq affichages par item |
|---|---|---|
| 25 | 200 | 40 |
| 6 | 40 | 34 |
| 5 | 30 | 30 |
| 10 | 20 | 10 |
En bref : cinq fois la taille de la liste divisée par la taille du sous-ensemble. La ligne de preuves de la boîte de dialogue applique exactement cette règle et vous dit quand vous arrêter.
Remarques
- Une coche verte signifie que les comptages sont aussi réguliers qu'un tirage contrôlé les garde ; le générateur de l'enquête lui-même n'est pas inspecté. Un plan de rotation équilibré (chaque item exactement aussi souvent) passe ; un tirage purement aléatoire ne passe pas.
- Une liste filtrée par une réponse antérieure et de plus plafonnée (« afficher jusqu'à 5 des marques choisies ») peut être reconnue comme question à sous-ensemble. Ses comptages sont alors façonnés par les réponses des répondants de test, pas par le seul tirage ; placez une attente d'éléments dépendants sur la question pour la retirer de cette vérification.
- Les items sont appariés par leur valeur interne, les tests dans plusieurs langues comptent donc ensemble.
- Un item qui apparaît sur chaque page - un Aucun de ceux-ci exclusif, un Autre ancré - ne fait pas partie du tirage. SurveyTester le reconnaît dès que le hasard seul ne peut plus l'expliquer et l'exclut de la taille du sous-ensemble et de l'équilibre ; la boîte de dialogue le liste comme toujours affiché.
À retenir
Un sous-ensemble aléatoire ne se valide pas en parcourant l'enquête une fois. SurveyTester l'exécute comme des dizaines de répondants, compte ce que chaque interview a montré et vous dit si chaque item reçoit sa juste part - avant que le premier vrai répondant ne tire une liste biaisée.