Evaluation des outils Campus-AAR – 1e session
De septembre à décembre 2015, le projet Campus-AAR réalise la première session d’évaluation de ses outils : les environnements d’analyse et de publication de ressources audiovisuelles. Cette étape de travail correspond à la cinquième tâche du projet concernant la création de pilotes et leur évaluation à travers des phases de tests utilisateurs.
Pour plus d’informations concernant les différentes étapes du projet, merci de consulter la rubrique Tâches du projet.
Dans cet article, nous présentons :
- la méthodologie suivie pour l’évaluation de l’environnement Campus-AAR,
- le processus de déroulement des tests.
Méthodologie
Scenarii d’évaluation
Nous avons choisi de tester l’outil Campus-AAR à travers un ensemble de scénarii d’usages correspondant à des cas d’utilisation typiques de cet environnement numérique. Nous avons ainsi développé 9 scenarii d’évaluation retraçant les principales étapes de travail effectuées par les utilisateurs lors des phases de test de l’outil.
Par exemple :
- La création d’une analyse thématique pour l’environnement d’analyse (Studio Campus-AAR)
- La gestion d’un portail de publication d’analyses audiovisuelles en ligne (Environnement de publication Campus-AAR).
Utilisateurs
Pour la réalisation des scenarii durant la première session de tests (septembre- décembre 2015), nous avons sélectionné un panel représentatif d’utilisateurs professionnels, disposant d’une expérience significative dans l’usage de logiciels similaires (logiciel d’édition, d’analyse ou de publication audiovisuelle), et correspondant aux profils types des utilisateurs-cibles de l’environnement Campus-AAR (pour plus de détails se reporter au livrable_t5-2)
Sondages et questionnaires en ligne
Nous avons élaboré 2 types de sondages en ligne permettant aux utilisateurs d’évaluer les 2 composantes principales de l’environnement Campus-AAR : analyse et publication. Pour chaque sondage, nous avons mis au point une série de questionnaires permettant de recueillir l’évaluation des fonctionnalités importantes des deux environnements.
A l’issue de chaque phase d’évaluation, il est ainsi demandé à l’utilisateur de répondre en ligne au sondage relatif au scénario qu’il a réalisé. Chaque sondage s’adaptant au scénario décrit à travers un ensemble de questionnaires spécifiques aux fonctionnalités testées.
Phases de tests
Les phases de tests permettant de tester l’outil à travers les scénarii d’usage se dérouleront en deux sessions (septembre-décembre 2015 et janvier-juin 2016) ; à l’issue desquelles des rapports d’évaluation technique seront rédigés.
Calendrier
Afin de planifier des phases de tests hebdomadaires, nous avons établi un calendrier de travail, définissant la date, la durée et les scenarii à évaluer pour chaque phase de tests.
Pour les mois de septembre et octobre, les 3 scenarii suivants ont été testés :
1 – Consultation d’une analyse
2 – Création d’une analyse de base
3 – Création d’une analyse thématique
Déroulement des tests
Les utilisateurs testent différentes fonctionnalités de l’outil à travers la réalisation de scénarii d’usage concrets et remplissent en ligne les questionnaires dévolus à chaque scénario, permettant de recueillir le feedback des utilisateurs auprès des partenaires techniques.
Chaque phase de tests s’organise en trois étapes principales :
- Présentation du scénario aux utilisateurs
- Test de l’outil Campus-AAR selon le scénario défini
- Réponse en ligne aux questionnaires du sondage
Synthèse et évaluation générale
A l’issue de chaque phase de test, l’équipe de l’ESCoM-FMSH se charge d’analyser et de synthétiser les questionnaires sous forme de rapports d’évaluation, afin de transmettre régulièrement à l’équipe technique les différents éléments à améliorer dans les outils Campus-AAR.