Le MaxDiff est l'un des types de question les plus difficiles à tester à la main : chaque répondant voit des ensembles d'items différents, et les propriétés qui comptent - chaque item est-il exposé aussi souvent, chaque paire d'items se rencontre-t-elle un jour, les lignes sont-elles en rotation - n'apparaissent que sur de nombreux répondants. SurveyTester répond aux tâches MaxDiff comme le ferait un répondant et évalue l'exercice sur l'ensemble de ses tests. Le verdict apparaît sur la page Pages et routage sous forme d'icône d'équilibre avec une boîte de dialogue de résumé, et chaque écart est signalé comme constat.
Ce qu'est un MaxDiff
Le MaxDiff (maximum difference scaling, aussi appelé best-worst scaling) mesure l'importance relative d'une liste d'items, par exemple douze caractéristiques d'un produit. Au lieu de noter chaque caractéristique, les répondants voient une série de tâches. Chaque tâche présente un petit sous-ensemble des items, généralement quatre ou cinq, et demande le plus et le moins important.
Derrière les tâches se trouve un plan : il décide quels items apparaissent ensemble dans quelle tâche. Un bon plan montre chaque item aussi souvent, fait se rencontrer chaque paire d'items à peu près aussi souvent, répartit les items sur les positions de ligne et se divise généralement en plusieurs versions auxquelles les répondants sont affectés. La plateforme d'enquête (Sawtooth, Decipher, Qualtrics, Alchemer, Dimensions et autres) génère les tâches à partir de ce plan au moment de l'interview.
Pourquoi c'est difficile à tester sans SurveyTester
- Un répondant ne prouve rien. Un testeur qui parcourt l'enquête voit une version de neuf ou quinze tâches. Savoir si l'item 7 rencontre un jour l'item 11, ou si l'item 1 est toujours en première ligne, est invisible en un seul passage.
- Les erreurs sont statistiques, pas visuelles. Une page de tâche a l'air correcte même quand le plan derrière est cassé : un filtre qui omet toujours le même item, une affectation de versions qui n'atteint jamais la version 4, ou un ordre de lignes qui suit la liste des items au lieu d'être aléatoire.
- La règle de validation se casse facilement. L'enquête doit refuser une tâche où le plus et le moins important désignent le même item. Une règle absente ou erronée ne se révèle que lorsque quelqu'un essaie précisément cela.
- Compter à la main ne passe pas à l'échelle. Vérifier l'exposition des items et la couverture des paires revient à tabuler des centaines de tâches sur des dizaines de répondants - un travail que personne ne fait avant le lancement.
SurveyTester fait ce comptage pour vous, à chaque test, et vous dit en une ligne si l'exercice est très probablement correct, pas correct, ou pas encore jugé.
Comment SurveyTester teste un MaxDiff
Détection et réponses
SurveyTester reconnaît les tâches MaxDiff sur les plateformes prises en charge par leur structure : une grille avec une colonne le plus et une colonne le moins, chacune un choix unique sur les mêmes items. Les SurveyBots choisissent alors toujours deux items différents, passent la validation de l'enquête et le test se poursuit comme une vraie interview. Si une plateforme ou un modèle n'est pas reconnu, vous pouvez marquer la question comme MaxDiff vous-même (voir ci-dessous).
La vérification de l'équilibre
Toutes les pages de tâches d'un exercice comptent comme un seul MaxDiff, même si l'enquête les répartit sur neuf ou quinze pages. Sur l'ensemble des tests du projet, SurveyTester compte quels items chaque tâche a montrés, sur quelle ligne, avec quels autres items, et ce qui a été répondu. Il en juge quatre choses :
| Vérification | Ce qui est compté | Quand elle signale |
|---|---|---|
| Le plus jamais égal au moins | Chaque tâche soumise : l'enquête a-t-elle accepté le même item comme le plus et le moins important ? | Immédiatement, dès la première tâche acceptée |
| Items affichés aussi souvent | Combien de fois chaque item est apparu sur l'ensemble des tâches de tous les tests | Lorsque l'item le plus affiché apparaît plus de 1,5 fois plus souvent que le moins affiché |
| Lignes en rotation | Si des paires d'items ont été vues dans les deux ordres (A au-dessus de B et B au-dessus de A) | Lorsque l'ordre des lignes est fixe - un ordre fixe obtient 0 même si les items du milieu semblent bouger |
| Les paires partagent une tâche | Combien de fois deux items sont apparus dans la même tâche | Seulement lorsqu'assez de tâches ont été vues pour que chaque paire se soit rencontrée environ trois fois ; une paire qui ne s'est toujours pas rencontrée indique une lacune du plan |
Les vérifications comparent les items entre eux, pas à une valeur cible, donc SurveyTester n'a pas besoin de connaître le plan. Les vérifications d'équilibre attendent un nombre minimal de tests (cinq par défaut) avant de juger ; la vérification de validation signale immédiatement.
Où voir le résultat
Ouvrez Pages et routage. Chaque page de tâche d'un MaxDiff affiche une icône d'équilibre dans la colonne Attentes : verte quand les vérifications tiennent, orange quand un écart a été trouvé, grise en pointillés tant qu'il n'y a pas assez de tests.
Cliquez sur l'icône pour ouvrir la boîte de dialogue Équilibre MaxDiff :
- Bannière de verdict - Très probablement correct, Pas correct avec les vérifications échouées et leurs nombres, ou Pas encore de verdict avec le nombre de tests encore nécessaires - plus un score d'équilibre de 0 à 100.
- Ligne de preuves - si les preuves suffisent, ou pourquoi d'autres tests sont recommandés : moins de tests que le minimum, trop peu de tâches pour la vérification des paires, ou une nouvelle séquence de tâches encore apparue dans les derniers tests (l'affectation des versions n'est pas encore couverte).
- Vérifications - les quatre vérifications avec une coche ou une croix, leurs scores et une courte explication de ce que chacune compte.
- Items - chaque item avec son nombre d'affichages et leur répartition sur les lignes.
- Paires d'items - combien de paires possibles ont partagé une tâche, à quelle fréquence, et la liste de toutes celles qui ne l'ont jamais fait.
Les nombres sont actualisés par l'analyse du projet qui s'exécute après les tests terminés. Rechargez la page après une série de tests pour voir l'état le plus récent.
Constats
Chaque écart est aussi un constat AutoDetect sous la vérification Équilibre MaxDiff : il apparaît dans la liste des constats, peut être approuvé en problème ou refusé, et est retiré automatiquement dès qu'il n'est plus observé - par exemple après que l'auteur du questionnaire a corrigé la rotation des lignes et que de nouveaux tests le montrent.
La vérification peut être activée ou désactivée par entreprise, type de projet ou projet comme toute autre vérification AutoDetect, voir Auto Detect Issues.
Vérifier une correction avec un filtre de résultats
Le cycle typique : une série de tests trouve un écart, l'auteur du questionnaire corrige le plan, et vous voulez savoir si c'est résolu. Créez un jalon au moment de la correction et activez-le comme filtre de résultats. La boîte de dialogue d'équilibre est alors calculée pour les tests filtrés uniquement et l'indique dans une note, tandis que les constats conservent l'historique. Voir Filtre de résultats pour les filtres et les jalons.
Marquer une question comme MaxDiff vous-même
Lorsque SurveyTester ne reconnaît pas une tâche MaxDiff - un modèle inhabituel ou une plateforme sans type MaxDiff dédié - ouvrez la boîte de dialogue Attentes de la question depuis le tableau des pages et activez Cette question est une tâche MaxDiff. Par défaut, l'interrupteur s'applique à toutes les pages de tâches de l'exercice à la fois. Dès le test suivant, les SurveyBots choisissent des items différents pour le plus et le moins important, et la vérification d'équilibre inclut l'exercice. L'interrupteur n'est disponible que pour les questions ayant la forme d'une tâche MaxDiff : une grille à deux colonnes, chacune un choix unique sur les mêmes items. Pour les autres questions, il reste visible mais désactivé, avec la raison affichée.
Pas à pas
- Créez le projet avec le lien de l'enquête comme d'habitude et lancez un premier test pour que SurveyTester détecte les pages.
- Ouvrez Pages et routage et vérifiez que les pages de tâches portent l'icône d'équilibre MaxDiff. Sinon, marquez la question comme décrit ci-dessus.
- Lancez une série de SurveyBots. Dix tests sont un bon début : assez pour les vérifications des lignes et des paires, et avec une affectation des versions par numéro de répondant, chaque version est vue deux fois.
- Rechargez Pages et routage et ouvrez la boîte de dialogue d'équilibre. Lisez le verdict et la ligne de preuves ; lancez d'autres robots si cette ligne le demande.
- Transmettez les écarts à l'auteur du questionnaire sous forme de constats ou de problèmes. Après la correction, créez un jalon, activez-le comme filtre de résultats, lancez la série suivante et vérifiez que l'écart a disparu.
Combien de tests suffisent
| Propriété | Tests nécessaires |
|---|---|
| Rotation des lignes | Environ cinq : un ordre en rotation montre vite les paires dans les deux ordres |
| Couverture des paires | Assez de tâches pour que chaque paire se soit rencontrée environ trois fois ; la boîte de dialogue affiche la valeur actuelle |
| Versions du plan | Deux fois le nombre de versions lorsque les répondants sont affectés dans l'ordre ; davantage en cas d'affectation aléatoire, jusqu'à ce qu'aucune nouvelle séquence de tâches n'apparaisse |
| Le plus jamais égal au moins | Le volume n'aide pas : les SurveyBots ne donnent jamais cette réponse. Testez la règle avec une réponse volontairement fausse lors d'un test manuel |
La ligne de preuves de la boîte de dialogue applique exactement ces règles et vous dit quand vous arrêter.
Remarques
- Le verdict est relatif : une coche verte signifie qu'aucun écart n'a été observé dans les tests réalisés jusqu'ici, pas que le plan est statistiquement optimal. Un plan issu d'un outil de conception MaxDiff devrait passer les quatre vérifications.
- La vérification des paires ne peut pas savoir si un plan épars est voulu. Elle signale une paire qui ne s'est jamais rencontrée dès que chaque paire aurait pu se rencontrer plusieurs fois ; l'auteur du questionnaire décide si c'est acceptable.
- Les scores sont une vue graduée à côté du verdict strict : exposition = item le moins affiché sur item le plus affiché, lignes = part des paires vues dans les deux ordres, paires = couverture multipliée par la régularité.
- La vérification d'équilibre fonctionne de la même manière sur toute plateforme où le MaxDiff est reconnu ou marqué ; la logique de plan de la plateforme elle-même n'est pas lue.
À retenir
Un MaxDiff ne se valide pas en le parcourant une fois. SurveyTester l'exécute comme des dizaines de répondants, compte ce que chaque tâche a montré et vous donne un verdict avec les preuves à l'appui - avant que le premier vrai répondant ne voie un plan cassé.