Ce bac à sable vous permet d'essayer la vérification d'équilibre MaxDiff dans votre propre projet, avec deux questionnaires de démonstration que nous mettons à disposition. Les deux contiennent le même MaxDiff : douze caractéristiques d'un forfait mobile, quatre par tâche, neuf tâches par répondant, cinq versions du plan. Le premier questionnaire contient un défaut de plan qu'aucun testeur ne remarquerait en le parcourant ; le second contient le plan corrigé. Vous lancez des SurveyBots sur le premier, voyez SurveyTester signaler le défaut, faites pointer le projet vers le second lien et observez le verdict changer - le même cycle que lorsqu'un auteur de questionnaire corrige un vrai MaxDiff.
Comptez environ 10 minutes : les SurveyBots fonctionnent en parallèle, une série de 20 à 40 tests est terminée en quelques minutes. Ce qui est vérifié et pourquoi est expliqué dans Tester les questions MaxDiff.
Les deux questionnaires de démonstration
| Questionnaire | Lien | Ce que contient le plan |
|---|---|---|
| Avec défaut de plan | https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_MAXDIFFWITHDESIGNFLAWS | Les cinq versions sont des copies décalées d'un seul plan. Résultat : deux paires d'items n'apparaissent jamais dans la même tâche, dans aucune version |
| Plan corrigé | https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_MAXDIFFWITHCORRECTDESIGN | Cinq plans réellement différents : chaque paire d'items se rencontre plusieurs fois sur l'ensemble des versions |
Chaque page de tâche a l'air parfaitement normale dans les deux questionnaires. La différence n'apparaît que si l'on compte sur de nombreux répondants - et c'est exactement ce que fait SurveyTester.
Remarque
Les questionnaires commencent par une question d'âge. Un SurveyBot qui répond Moins de 18 ans est exclu avant le MaxDiff ; c'est voulu et vous donne un screenout dans les tests. Seuls les tests qui atteignent le MaxDiff comptent pour la vérification d'équilibre.
Étape 1 : créer le projet avec le questionnaire défectueux
Ouvrez le menu des projets (☰) et choisissez Créer un projet. Choisissez un dossier, donnez au projet un nom comme « Sandbox MaxDiff » et collez le premier lien comme Lien du questionnaire :
https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_MAXDIFFWITHDESIGNFLAWS
SurveyTester reconnaît le système d'enquête (Dimensions) à partir du lien. Choisissez l'anglais comme langue par défaut et créez le projet. Tout le reste peut rester tel quel ; la boîte de dialogue est décrite en détail dans Bonnes pratiques : du nouveau projet à la validation.
Étape 2 : lancer 10 à 20 SurveyBots
Cliquez sur Tester le questionnaire, choisissez Test SurveyBot et réglez le nombre de tests sur 10 à 20. Aucun cas de test n'est nécessaire : des réponses aléatoires suffisent pour un MaxDiff. Lancez le job et attendez que les tests apparaissent dans Exécutions de test.
Dix tests suffisent pour couvrir chaque version du plan deux fois ; davantage de tests renforcent les preuves.
Étape 3 : consulter le résultat dans Pages et routage
Ouvrez Pages et routage et rechargez la page une fois les tests terminés. Les neuf pages de tâches MaxDiff portent l'icône d'équilibre dans la colonne Attentes. Cliquez dessus pour ouvrir la boîte de dialogue Équilibre MaxDiff. Vous devriez voir :
- le verdict Pas correct, avec la vérification échouée Les paires partagent une tâche ;
- dans l'encadré Paires d'items, les deux paires qui n'ont jamais partagé une tâche ;
- les autres vérifications (même nombre d'items par tâche, items affichés aussi souvent, lignes en rotation) réussies - le défaut réside dans la combinaison des items, pas dans leur fréquence d'affichage.
L'écart est aussi signalé comme constat AutoDetect sous Équilibre MaxDiff sur la page Tickets, où vous pouvez le convertir en ticket comme pour un vrai questionnaire.
Conseil
Si la boîte de dialogue indique Pas encore de verdict, trop peu de tests ont atteint le MaxDiff. Lancez quelques SurveyBots de plus et rechargez.
Étape 4 : créer un jalon
Avant de modifier quoi que ce soit, marquez ce moment : ouvrez Détails du projet › Jalons et ajoutez un jalon, par exemple « Plan corrigé ». Chaque test lancé ensuite appartient au nouveau jalon, ce qui vous permet d'examiner plus tard les tests postérieurs à la correction séparément. Plus d'informations sur les jalons dans How to Use Milestones.
Étape 5 : passer au questionnaire corrigé
Ouvrez Détails du projet › Général et remplacez le Lien du questionnaire par le second lien :
https://www.feedback-experts.com/mrIWeb/mrIWeb.dll?I.Project=SANDBOX_MAXDIFFWITHCORRECTDESIGN
Enregistrez. C'est ce qui se passe dans un vrai projet lorsque l'auteur du questionnaire publie un script corrigé sous un nouveau lien. Les questions, les pages et les tests précédents restent dans le projet.
Étape 6 : lancer 10 à 20 SurveyBots de plus et comparer
Lancez un autre job SurveyBot de 10 à 20 tests, comme à l'étape 2. Une fois terminé, rechargez Pages et routage et rouvrez la boîte de dialogue d'équilibre. Les nouveaux tests réunissent les paires qui ne s'étaient jamais rencontrées, et le verdict évolue vers Très probablement correct. Les constats qui ne sont plus observés sont retirés automatiquement.
Sans filtre, la boîte de dialogue compte ensemble les tests des deux questionnaires : les chiffres portent donc encore l'ancien plan. Pour voir le plan corrigé seul, utilisez le jalon.
Étape 7 (facultative) : filtrer sur le jalon
Ouvrez le Filtre de résultats, ajoutez le critère Jalon, choisissez le jalon de l'étape 4 et activez le filtre. La boîte de dialogue d'équilibre est désormais calculée uniquement pour les tests postérieurs au changement et l'indique dans une note bleue : toutes les vérifications réussies, verdict Très probablement correct.
Désactivez le filtre pour revoir les deux plans ensemble. Les filtres et les jalons sont décrits dans Filtre de résultats.
Ce que vous avez pratiqué
- Un défaut de plan MaxDiff est invisible sur chaque page prise isolément et n'apparaît que si l'on compte sur l'ensemble des répondants.
- Les SurveyBots fournissent ce volume en quelques minutes ; la boîte de dialogue d'équilibre en fait un verdict appuyé par les preuves.
- Un jalon avant la correction et un filtre de résultats après répondent à la question que pose chaque mise à jour de script : est-ce corrigé maintenant ?
Procédez de la même façon pour votre prochain vrai MaxDiff : lancez une série de SurveyBots avant le lancement, transmettez les constats à l'auteur du questionnaire, créez un jalon à l'arrivée de la correction et vérifiez les tests suivants.