L'évaluation à chaud : systématiquement réalisée mais rarement exploitée...
Si vous participez aujourd'hui à une formation, on sollicitera presque toujours votre avis : dans le meilleur des cas vous répondrez à un questionnaire en ligne et sinon bien souvent vous devrez remplir un formulaire au format papier... Ces questionnaires distribués à la fin de la formation sont communément appelés "l'évaluation à chaud".
Cette pratique qui est assez nouvelle s'explique en grande partie par un changement de législation : la loi du 5 mars 2014 dispose que les financeurs de la formation professionnelle doivent faire appel à des "prestataires dispensant des formations de qualité." Et le moyen le plus simple de justifier cette notion de "qualité" reste de mesurer la satisfaction des participants à la fin des formations via des questionnaires.
D'après les chiffres de l'étude Diduenjoy "L'évaluation de la Formation en 2018 en France", 95% des responsables de formation évaluent à chaud la satisfaction des apprenants à l’issue d'une formation.
Pourtant ces questionnaires font l'objet de sévères critiques de la part des responsables de formation :
Savoir que l'ambiance était bonne mais qu'on manquait de café ne m'aide pas vraiment à améliorer mon offre de formation. Ce qui m'intéresse c'est la validation des compétences et cela ne se mesure pas à chaud.
Après avoir rencontré une centaine de responsables de formation, j'ai parfois l'impression que beaucoup ont décidé que ces questionnaires étaient ipso facto inutiles. Si je devais caricaturer leur raisonnement cela donnerait :
1. Je suis obligé au minimum de réaliser un questionnaire d'évaluation à chaud pour justifier la qualité de mes formations.
2. Je sais bien que les résultats de ces questionnaires ne m'apprendront rien d'intéressant, donc je ne vais pas y consacrer beaucoup de temps ni de moyens. On va utiliser des formulaires papiers ou des questionnaires en ligne gratuits de type google form ou survey monkey.
3. Effectivement les résultats que j'obtiens ne m'apprennent pas grand chose et sont peu exploitables. C'est bien ce que je pensais : le questionnaire d'évaluation à chaud est une perte de temps.
CQFD
Eric John, Directeur de Campus à l'Université de la Poste résume bien l'absurdité de cette situation dans notre Guide Pratique : Pour une évaluation constructive de la formation :
Jusqu'à l'année dernière, l’évaluation à chaud de la formation était réalisée sur des feuilles de papier distribuées après la formation qui n'étaient peu ou pas exploitées. Le formateur faisait remplir deux feuilles de papier et les mettait dans son placard. Cela ne servait à rien mais ne coûtait pas cher. A l'époque nous n’avions pas jugé pertinent de consacrer du temps et de l’argent à cette question.
Si depuis l'Université de la Poste a changé ses pratiques, beaucoup d'entreprises et d'organismes de formation considèrent toujours les questionnaires à chaud comme une perte de temps.
Mais puisque ce questionnaire est de toute façon réalisé, pourquoi ne pas chercher à l'optimiser ? Certes, l'évaluation à chaud seule ne suffit pas à évaluer l'efficacité de vos formations, mais bien conçue elle peut s'avérer très efficace pour piloter en continu vos actions de formation.
Vous en doutez ? Je vous donne ici 5 conseils à suivre pour pouvoir mieux exploiter vos évaluations à chaud.
Conseil #1 : Laissez tomber les formulaires papier
Oui je sais, ce n'est pas vraiment un conseil tant cela relève du bon sens.
Mais toujours est-il qu'en 2018, 61% des responsables de formation pratiquent encore l'évaluation à chaud sous la forme d'un questionnaire papier ! Pas étonnant que les résultats ne soient pas exploités derrière s'il faut ressaisir ensuite à la main les résultats dans un tableau excel.
Une multitude de logiciels vous permettent de digitaliser à la fois la création des questionnaires, leur envoi et leur analyse.
Leurs avantages :
- Des résultats statistiquement plus fiables : Distribués à la fin des formations et remplis devant l'animateur, les questionnaires au format papier génèrent des réponses souvent biaisées et peu objectives. Vous n'aurez plus ce problème avec un questionnaire en ligne.
- Une exploitation immédiate des réponses : théoriquement, avec à peu près n'importe quel logiciel de questionnaire en ligne vous devriez pouvoir consulter en temps réel les résultats.
- Un petit geste pour la planète : à l'heure des Zero paper policy, il serait temps de montrer l'exemple :)
Conseil #2 : Concevez des questionnaires courts et design
Il y a quelques semaines, j'ai reçu un questionnaire de satisfaction après un trajet en bus. Le mail m'invitait à prendre "un peu de mon temps" pour le remplir et, en l'ouvrant, j'ai vu qu'il contenait 30 questions ! Comment le concepteur de ce questionnaire peut-il imaginer que plus de 5% des voyageurs vont effectivement y répondre, surtout en entier ? Sans même parler du design qui n'était pas adapté à un smartphone. Pourquoi en serait-il autrement pour vos collaborateurs ?
Digitaliser vos questionnaires ne fait pas tout, il y a aussi plusieurs critères à respecter sur le format et les informations contenues dans le questionnaires pour maximiser vos taux de retour :
- Des questionnaires courts. Le taux de retour diminue significativement en fonction de la longueur des questionnaires : de 94% pour 6 questions à 61% pour 15 questions, selon une statistique de DIDUENJOY. Vos stagiaires ne devraient pas prendre plus d'une minute pour répondre à vos enquêtes. Cela rendra leur expérience fluide et agréable et ils seront plus enclins à remplir vos prochains questionnaires.
- Des questions claires qui ont un but précis. Rien n'est plus agaçant dans une enquête que de chercher à répondre à une question que l'on ne comprend pas bien. Evitez les questions doubles du type "Votre formateur était-il disponible et assez clair dans ses explications ?". Ensuite, soyez efficaces, ne posez pas deux questions dont les réponses vous conduiraient à mettre en place les mêmes actions en pratique.
- La prise en compte du profil des répondants : inutile de poser des questions sur des informations que vous possédez déjà. Exemple : le nom de la session de formation, le lieu de la formation suivie, la date, le nom du formateur etc.
- Des questionnaires responsive : il est essentiel de créer des questionnaires optimisés quel que soit le support (mobile, PC, tablette). Un nombre croissant de collaborateurs consulte ses emails sur son téléphone (pro ou perso).
- Une même échelle de réponse tout au long du questionnaire. Si vous mélangez plusieurs échelles de réponses au sein d’un même questionnaire (étoile, note de 1 à 10, smileys) vous augmentez le risque d'erreur. Les réponses doivent être instinctives sinon les répondants risquent de ne pas toujours voir que l'échelle a changé.
Et vous à quel questionnaire préféreriez-vous répondre ?
Conseil #3 : Optez pour un envoi de questionnaire "à tiède"
Vous vous souvenez comme il était désagréable de faire des évaluations en classe lorsque votre professeur passait dans les rangs ? Alors imaginez compléter un questionnaire sur ce que vous avez pensé du formateur dans la même situation. C'est absurde !
Vos résultats en ressortent biaisés et comme ils ne sont pas exploitables, vous manquez même l'objectif de l'évaluation. Il est donc crucial de choisir le bon moment et la bonne fréquence d’envoi si vous voulez obtenir des retours constructifs et fiables de la part de vos apprenants.
- Jonathan Pottiez, spécialiste de la question et auteur de L'évaluation de la formation, écrit : " Le fait d’évaluer la réaction des apprenants le jour même de la formation introduit quelques biais, liés notamment à la présence du formateur, à l’ambiance de la salle, ou à des préoccupations d’emplois du temps. Mieux vaut 80 % de retours riches d’informations exploitables que 100 % de retours pauvres
en information. "
Alors quel est le bon timing ? Les avis divergent sur le sujet : quelques heures après la fin de la formation, le lendemain matin, deux jours après. Le plus important est d'éviter de faire remplir vos enquêtes devant le responsable de formation.
La seule raison pour laquelle tant de formateurs font encore remplir leurs évaluations à chaud dans la salle est que les stagiaires sont tous présents.
Conseil #4 : Automatisez l'envoi des questionnaires
Votre questionnaire est désormais digitalisé et envoyé dans le bon timing : c'est une première étape. Si vous commencez avoir plus d'une centaine de sessions de formation an, vous devez réfléchir à un moyen d'automatiser les envois.
La bonne nouvelle c'est que les obstacles techniques qui se dressaient pour automatiser l'envoi des questionnaires d'évaluation ont disparu ! Plusieurs solutions s'offrent à vous :
- Utilisation d'un serveur FTP : vous déposez tous les jours ou toutes les semaines le fichier contenant toutes les informations liées à vos formations (email de l'apprenant, nom du libellé de la formation, nom de l'animateur et de l'organisme de formation etc.) sur un serveur FTP déployé par votre solution de questionnaire d'évaluation. Cette solution nécessite de créer un flux entre votre SIRH ou LMS et votre solution de questionnaire d'évaluation. Vous devez compter 1 jour maximum de développement technique.
- Utilisation de l'API de votre éditeur de solution de questionnaire d'évaluation : grâce à un système de clés d'interface de programmation, vous pouvez déclencher automatiquement les envois de votre questionnaire après n'importe quel événement (date de l'émargement, date de fin de la formation etc.). Vous devez également disposer en interne de ressources techniques pour utiliser l'API (1 jour maximum de développement)
- Transfert d'un fichier Excel (aucune compétence technique n'est requise) : vous pouvez transférer un simple fichier csv ou Excel tous les jours/semaines à votre éditeur. Ce fichier doit comporter scrupuleusement la même structure d'un envoi à l'autre. Cette 3ème option est à privilégier uniquement si vous n'arrivez techniquement pas à réaliser les deux options citées ci-dessus.
Conseil #5 : Impliquez vos stagiaires
Combien de fois avez-vous répondu à des enquêtes et eu l'impression que ça ne servirait à rien ? Comme je le disais dans des articles précédents, le plus important est de créer un cycle d'amélioration continue de vos formations. Vos collaborateurs sont vos plus grands alliés dans ce projet.
Pour les impliquer dans l'amélioration de vos formations et obtenir des retours constructifs, il y a plusieurs leviers :
- Prendre le temps de les remercier une fois qu'ils ont répondu à votre questionnaire. Ça peut sembler évident mais le simple fait de prendre la peine de "fermer la boucle" avec ceux qui ont pris la peine de répondre à votre questionnaire montre que vous prenez en compte leurs réponses. Ce "SAV" de la formation vous permettra en outre de mieux comprendre les attentes des stagiaires qui n'auraient pas apprécié leurs formations.
- Les inciter à prendre des engagements : demandez à vos stagiaires de citer au moins une action qu'ils aimeraient mettre en place à l'issue de leur formation. Cela vous permettra immédiatement de voir si les actions sur lesquelles s'engagent vos collaborateurs sont en phase avec les objectifs que vous aviez fixés avant la formation. Quelques mois plus tard, ce sera l'occasion de faire le point pour regarder si elles ont bien été mises en place (lors de l'évaluation à froid par exemple).
- Les informer des changements mis en place après leur formation grâce à leurs retours. Vos stagiaires doivent se sentir utiles au processus de formation. Appuyez-vous sur leurs retours pour mettre en place des changements simples (ex : création d'une nouvelle offre de formation, meilleure logistique, remplacement d'un matériel informatique défaillant etc ). Ensuite, dites-leur à travers une communication que leurs feedbacks ont été écoutés.
Si vous suivez ces principes, vous devriez collecter des retours constructifs lors de l'évaluation à chaud qui vous seront utiles pour mieux piloter votre offre de formation. Dans un prochain article, nous parlerons de l'évaluation à froid qui, elle, permet de s'assurer qu'il y a eu un transfert des acquis.
Si vous voulez davantage de conseils et des témoignages autour de l'évaluation de la formation, téléchargez notre guide pratique en cliquant ici.
Pour découvrir la solution d'évaluation de la formation DIDUENOY, vous pouvez toujours réserver un créneau dans mon agenda en cliquant ici.
Louis
