Chaque test de questionnaire se termine par la même question : avons-nous fini ? Le plan de test y répond. C'est la première page de chaque projet dans SurveyTester : une liste de ce qu'il faut vérifier avant la mise en ligne du questionnaire, regroupée par thème et dans un ordre logique. Vous cochez un point une fois que vous l'avez vérifié. De nombreux points se cochent d'eux-mêmes dès que SurveyTester trouve la preuve dans le projet : le questionnaire a été analysé, 50 SurveyBots ont tourné, chaque cas de test a atteint sa page de fin, le projet a été validé.
Pourquoi c'est difficile sans SurveyTester
- La liste de contrôle est ailleurs. Un tableur ou un document Word à côté de l'outil de test est périmé dès que quelqu'un oublie de le mettre à jour. Personne ne sait si « routage vérifié » a été coché avant ou après la dernière mise à jour du script.
- « Terminé » est une impression, pas un fait. Chaque cas de test a-t-il atteint sa page de fin attendue, chaque langue a-t-elle été testée, tous les constats ont-ils été examinés ? Les réponses se trouvent dans les données de test, pas dans la mémoire de quelqu'un.
- Une seule coche ne suffit pas pour un questionnaire multi-pays. « Traductions vérifiées » ne dit rien si on ne sait pas pour quelle langue. Une liste plate ne peut pas exprimer que l'allemand est terminé et le français non.
- Les nouveaux membres de l'équipe ne connaissent pas l'étape suivante. Les testeurs expérimentés ont le processus en tête. Les autres ont besoin d'un guide qui indique quoi faire ensuite et où le faire dans l'outil.
Comment ça marche
Un projet reçoit son plan de test la première fois que quelqu'un ouvre la page Plan de test. Le plan provient d'un modèle : le modèle de l'entreprise qui correspond le mieux au projet (votre administrateur en décide, voir Modèles de plan de test), sinon l'un des deux plans fournis par SurveyTester :
| Plan | Ce que c'est | Points |
|---|---|---|
| Plan de test simple SurveyTester | Un guide à travers SurveyTester : quoi faire ensuite, du lien du questionnaire à la mise en ligne. Le plan par défaut des nouveaux projets. | 28 étapes en 5 catégories |
| Plan de test standard SurveyTester | Chaque étape du plan simple et tout ce qu'il faut vérifier avant la mise en ligne d'un questionnaire, par langue, marché et appareil, dans l'ordre du travail. | 114 points en 15 phases |
Chaque point a un statut : Ouvert, Terminé, Non applicable ou Bloqué. Un point se coche une fois pour le projet, ou par langue, par marché, par langue et marché ou par appareil. Chaque valeur a alors son propre statut, et l'allemand peut être terminé alors que le français est encore ouvert.
Les points dotés d'un contrôle automatique sont jugés par SurveyTester à partir des données du projet. Le résultat est Réussi, Échoué, Pas encore assez de preuves ou Non applicable. Un contrôle réussi coche le point. La décision d'une personne l'emporte toujours : un contrôle échoué ne retire jamais une coche posée par quelqu'un. Le point affiche alors un avertissement, pour que quelqu'un le revoie.
La page en un coup d'œil
- Date de mise en ligne. À côté du titre figure la date de mise en ligne du projet, définie dans Détails du projet › Général. Un clic vous y conduit. Elle passe en rouge lorsque la mise en ligne approche (par défaut 7 jours ou moins, réglable par type de projet) ou est passée.
- Modèle. De quel modèle provient le plan, quand il a été créé et quand les contrôles automatiques ont tourné pour la dernière fois.
- Cartes de synthèse. Points, Terminés, Ouverts, Avertissements et Non applicables pour l'ensemble du plan.
- Chronologie. Le projet de son démarrage à sa mise en ligne : jalons, phases du projet, validations et ce qui s'est passé chaque jour. Voir La chronologie plus bas.
- Prochaine étape. Le premier point ouvert, avec Y aller (ouvre la page de SurveyTester où vous le réalisez), Fait et Ignorer.
- Menu des catégories. Les catégories à gauche, chacune avec une barre de progression. Un clic affiche ses points. Les filtres statut et langue / marché indiquent combien de points correspondent dans chaque catégorie.
- Points. Code, titre et description, mode de vérification, contrôle automatique et une pastille de statut par langue, marché ou appareil. La flèche en fin de ligne mène à la page où le point se réalise.
La chronologie
Sous les cartes de synthèse, la Chronologie montre tout le projet d'un coup d'œil : du jour de sa création à la date de mise en ligne. Sa ligne d'en-tête le résume : Jour 12 sur 30 · 18 jours avant la mise en ligne (en rouge quand la mise en ligne approche), les problèmes trouvés et combien sont encore ouverts, les tests manuels et les passages SurveyBot, ainsi que le nombre de jalons.
| Ligne | Ce qu'elle montre |
|---|---|
| Jalons | Les phases du projet sous forme de bandes colorées avec leur nom, les jalons sous forme de losanges, les validations sous forme de drapeaux verts, et des points pour le premier test manuel et le premier passage SurveyBot. |
| Problèmes | Les problèmes trouvés par jour en barres rouges vers le haut, les problèmes fermés par jour en barres vertes vers le bas. |
| Tests | Les tests manuels (en bleu) au-dessus des passages SurveyBot (en bleu clair), par jour. |
| Plan de test | Les points du plan de test cochés comme terminés, par jour. |
Une ligne pointillée Aujourd'hui et une ligne Mise en ligne (en rouge quand elle approche) indiquent où vous en êtes et où vous devez arriver. Survolez un jour pour voir ses chiffres, ou un repère pour voir son titre et sa date. Un clic sur la ligne d'en-tête replie la chronologie. SurveyTester s'en souvient pour chaque projet.
La chronologie s'arrête au dernier élément qu'elle affiche : la date de mise en ligne, le dernier jour avec de l'activité ou le dernier jalon. Pour un projet ancien, la ligne Aujourd'hui n'est pas tracée, pour que le projet utilise toute la largeur.
Étape par étape
1. Ouvrir le plan de test
Ouvrez un projet. Le Plan de test est la première entrée des Détails du projet, et les projets s'ouvrent sur lui. Si vous ne le voyez pas, votre rôle n'a pas l'autorisation Voir le plan de test. Pour cocher des points, il vous faut Gérer le plan de test.
2. Suivre la prochaine étape
L'encadré Prochaine étape affiche toujours le premier point ouvert. Cliquez sur Y aller pour ouvrir la bonne page, par exemple le lien du questionnaire dans Général, le téléversement du questionnaire ou les SurveyBots. Revenez ensuite : le contrôle automatique a généralement déjà coché le point. Les points sans contrôle automatique se cochent avec Fait. Ignorer passe au suivant sans cocher.
3. Cocher des points
- Cliquez sur une pastille de statut pour passer de Ouvert à Terminé et inversement.
- Ouvrez le menu de la pastille (la petite flèche ou un clic droit) pour Terminé, Non applicable, Bloqué..., Ouvert (réinitialiser), Commentaire... et Cocher toutes les valeurs de ce point. Bloqué vous demande ce qui bloque le point.
- Survolez une pastille pour voir qui l'a posée et quand, ainsi que le résultat du contrôle automatique.
4. Garder un œil sur la mise en ligne
La date de mise en ligne à côté du titre est votre échéance. Quand elle passe en rouge, les points ouverts sont l'ordre du jour des jours restants. Modifiez la date dans Détails du projet › Général (champ Date de mise en ligne).
La chronologie montre si le projet est dans les temps : trouve-t-on encore des problèmes chaque jour, ou sont-ils en train d'être fermés ? La phase chez les développeurs dure-t-elle plus longtemps que prévu ?
5. Adapter le plan au projet
Le menu Gérer (avec Gérer le plan de test) propose :
| Action | Effet |
|---|---|
| Ajouter un point | Ajoute un point dont seul ce projet a besoin. Il est signalé comme point du projet. |
| Charger un modèle | Remplace les points par un autre modèle ou un plan fourni. Les coches des points de même code sont conservées, celles des points supprimés sont perdues. |
| Actualiser les contrôles automatiques | Exécute immédiatement tous les contrôles automatiques. Ils tournent aussi d'eux-mêmes après les passages de SurveyBots et d'autres modifications du projet. |
| Réinitialiser le plan de test... | Repart du modèle actuel : les points ajoutés, les textes modifiés, toutes les coches et tous les commentaires sont supprimés. Cette action est irréversible. |
Le plan de test simple
Le Plan de test simple SurveyTester vous guide à travers un projet en cinq catégories. « Automatique » signifie que SurveyTester coche l'étape dès qu'il en voit la preuve. Les autres étapes, vous les cochez vous-même.
| Catégorie | Étapes |
|---|---|
| 1. Configurer le projet | Ajouter le lien du sondage (automatique) · Téléverser le questionnaire et lancer l'analyse (automatique) · Définir les langues et les marchés (automatique) · Gérer l'équipe du projet (automatique) · Définir la checklist (automatique) · Désactiver les mécanismes de sécurité pour les tests, comme les CAPTCHA, les contrôles d'IP et les questions pièges |
| 2. Tester le sondage | Décrire qui termine le sondage (automatique : un cas de test Complete) · Lancer 50 SurveyBots (automatique) · Marquer les questions filtres (automatique) · Générer les cas de test de screenout et de routage (automatique) · Exécuter chaque cas de test avec les SurveyBots (automatique) · Vérifier la logique du sondage avec le diagramme de routage et l'analyse des parcours · Tester manuellement et signaler les problèmes (automatique) · Vérifier les constats et les convertir en problèmes (automatique) |
| 3. Vérifier les traductions | Tester chaque langue (automatique) · Examiner les constats de langue (automatique) · Téléverser les questionnaires traduits (automatique) · Comparer les traductions côte à côte |
| 4. Corriger et revérifier | Passer la phase du projet aux développeurs (automatique) · Les développeurs corrigent les problèmes et les marquent comme corrigés (automatique) · Repasser la phase du projet à l'assurance qualité (automatique) · Revérifier les problèmes corrigés (automatique) · Télécharger les données du sondage depuis votre système d'enquête et vérifier leur plausibilité |
| 5. Finaliser | Examiner la couverture des tests dans les insights · Vérifier que la checklist est complète · Réactiver les mécanismes de sécurité · Valider le projet (automatique) · Mettre en ligne et fermer le projet |
Pour un projet avec une seule langue, les étapes de traduction sont Non applicables. Si votre entreprise n'utilise pas de phases de projet, les étapes de phase le sont aussi.
Le plan de test standard
Le plan de test standard SurveyTester contient chaque étape du plan simple et y ajoute les contrôles de qualité utiles avant la mise en ligne d'un questionnaire. Ses 114 points suivent l'ordre du travail, en 15 phases. Chaque point a un lien Y aller, et 75 d'entre eux ont un contrôle automatique.
| Phase | Ce qu'elle couvre |
|---|---|
| Configurer le projet | Lien du questionnaire, document, langues et marchés, appareils, équipe, pages de fin, checklist, mécanismes de sécurité, vague précédente |
| Cas de test et SurveyBots | Cas de test Complet, cas de test issus du questionnaire, 50 SurveyBots, questions de routage, attentes des questions, cas de test de screenout et de routage, test manuel, relecteurs externes |
| Conformité au questionnaire | Questions, formulation, options, types et notes de programmation comparés au questionnaire, différences avec la vague précédente |
| Routage et logique | Diagramme de routage et analyse des parcours, conditions d'affichage, rotation, boucles, listes reprises, questions retirées, designs MaxDiff, sous-ensemble et TURF |
| Comportement des réponses et validation | Questions obligatoires et facultatives, validation des saisies, limites de sélection, plages numériques, saisies limites, retour en arrière |
| Texte, piping et formulation | Orthographe, grammaire, lisibilité, introduction, textes insérés, code visible, échelles cohérentes, noms de marque |
| Traductions et marchés | Chaque langue testée, constats de langue, traductions complètes et comparées, logique par langue, contenu par marché |
| Mise en page, appareils et médias | Ordinateur, téléphone et tablette, images, médias, navigateurs, ergonomie, champs de saisie, réponses alignées |
| Accessibilité | Alternatives textuelles, contraste, libellés, focus, clavier, langue de la page, limites de temps, messages d'erreur |
| États finaux, quotas et échantillon | Complets, screenouts, quota plein, redirections, paramètres d'échantillon, durée d'entretien, motifs de screenout |
| Comportement technique | Erreurs du questionnaire, vitesse des pages, pays cibles, nombreux répondants simultanés |
| Confidentialité et informations aux répondants | Données personnelles, consentement, prérequis techniques |
| Corriger et revérifier | Constats en problèmes, phases du projet, corrections, revérification, régression |
| Export des données | Les données du questionnaire comparées au livre de codes |
| Finaliser | Couverture, checklist, sécurité réactivée, contrôles anti-fraude, validation par langue, archivage, mise en ligne et clôture |
Passer du plan simple au plan standard, ou l'inverse, conserve les coches des étapes communes aux deux plans.
Bon à savoir
- La fermeture vient en dernier. Un projet fermé est en lecture seule, son plan de test aussi. C'est pourquoi « Mettre en ligne et fermer le projet » est la toute dernière étape. Voir Fermer un projet.
- Les contrôles automatiques sont des indices, pas une preuve. « Chaque cas de test a été exécuté » signifie que les bots ont exécuté chaque cas de test, pas que quelqu'un en a examiné les résultats. Les étapes qui demandent le jugement d'une personne ne se cochent jamais d'elles-mêmes.
- Changer de modèle plus tard conserve les coches des points de même code. Les points que vous avez ajoutés vous-même sont supprimés lors du chargement d'un modèle, sauf si le modèle contient un point de même code.
- Les modèles de votre entreprise se gèrent dans Administration › Modèles de plan de test. Voir Modèles de plan de test.