Évaluer ses actions de formation

1.
Évaluer : une action à 360°

L’évaluation a vocation à donner du sens à la formation, à mettre en lumière la valeur de l’action. En cela, l’évaluation va bien au-delà du contrôle. En effet, l’évaluation porte un jugement de valeur là ou le contrôle se contente de mesurer un écart entre un résultat et une norme imposée au départ.

Et c’est bien là que les choses se compliquent…

Donner du sens, mais pour qui ? Pour l’apprenant au travers de ses apprentissages, pour l’organisation au travers de la performance de ses collaborateurs formés, pour le formateur, le tuteur et le pédagogue au travers de leur travail de conception, d’animation et d’accompagnement ? Évaluer implique d’engager toutes les parties prenantes de la formation : de l’apprenant au formateur, du manager de l’apprenant à la direction de l’organisation.

Pour chacune des parties, il convient de déterminer les indicateurs qui permettront de mesurer l’atteinte des objectifs. Les indicateurs sont le fruit d’un consensus entres les parties prenantes de la formation. Les objectifs doivent être définis précisément pour chaque intervenant :

• l’apprenant au niveau de la satisfaction mais aussi de l’acquisition des connaissance et des compétences ;
• le formateur et l’équipe pédagogique au niveau de la conception (ingénierie pédagogique et pertinence des ressources, par exemple) et de l’exécution de l’action de formation (efficacité de l’accompagnement sur l’engagement et la complétion du parcours par l’apprenant, par exemple);
• le couple manager-apprenant au niveau du transfert en situation de travail, des savoirs, savoir-faire et savoir-être acquis (mise en place de nouveaux modes de fonctionnement dans l’équipe, promotion interne, par exemple) ;
• la direction et le service formation au niveau de l’impact organisationnel (évolution et fluidité des process, par exemple), et de la performance (gains de productivité ou conquête de nouveaux marchés, par exemple).

Chaque partie prenante détient une partie des éléments permettant de réaliser une évaluation porteuse de sens :

• la direction (ou le service RH) est censée indiquer les objectifs d’évolution des apprenants, les résultats opérationnels attendus et les moyens humains et financiers alloués à l’action de formation ;
• le manager de l’apprenant doit participer à la définition des objectifs d’évolution et des résultats opérationnels mais doit en outre déceler les apprenants potentiels dans son équipe (pré-requis, niveau, volonté d’évoluer manifestée par le collaborateur) et expliciter les leviers de mise en œuvre des connaissances et compétences acquises ;
• l’équipe pédagogique doit assister le manager dans la définition des pré-requis et l’identification des apprenants potentiels.

Concernant la notion de valeur de l’action de formation, de quoi parle-t-on exactement ? De l’efficacité, de l’efficience, de la pertinence, de l’impact ? De toutes ces notions à la fois ? Détour par quelques concepts clés…

 

2.
Évaluer : oui mais quoi ?

Réaliser une évaluation des actions de formation nécessite au préalable d’avoir clairement identifié le cadre de la démarche. Que cherche-t-on à démontrer ? Quels résultats veut-on apprécier ?

Pour définir des indicateurs pertinents encore faut-il se repérer dans les notions qui, à la croisée des chemins, entre qualité et évaluation, vont orienter le procédé d’évaluation.

De la pertinence à l’efficacité, de l’efficience à l’impact ou à la pérennité, chaque critère oriente la démarche. La combinaison et l’ordonnancement de ces critères permettent d’aboutir à des modèles d’évaluation, qu’ils soient à dominante qualitative (comme le modèle de Kirkpatrtick par exemple) ou quantitative (le ROI de Phillips, par exemple).

Le Comité d’Aide au Développement (CAD) de l’OCDE a mis en évidence plusieurs critères génériques applicables à une démarche d’évaluation. Ces critères se retrouvent généralement dans les modèles d’évaluation appliqués à la formation.

Efficacité ou efficience ?

Souvent confondues, efficacité et efficience sont pourtant des notions très différentes dans l’intention, dans l’objectif de mesure et dans les indicateurs associés.

L’efficacité s’attache à mesurer l’atteinte des objectifs, d’où la nécessité d’une définition claire des objectifs non seulement pédagogiques mais également organisationnels de l’action à évaluer. L’efficacité s’attache donc à prendre en compte l’acquisition des connaissances et compétences acquises, dont la qualité intrinsèque du dispositif pédagogique mais également les effets produits par la formation et la capacité de transfert par l’apprenant en situation de travail.

L’efficience en revanche considère le rapport entre les moyens engagés pour produire et délivrer la formation (budget, ressources humaines, ressources matérielles, durée) et l’atteinte de l’objectif. Cette notion est plus proche du concept de ROI.

Pertinence ou impact ?

La pertinence met en regard les besoins de formation et l’objectif visé : la formation est-elle le meilleur moyen (ou mieux vaut-il privilégier l’investissement matériel, le recrutement externe… ?) d’atteindre le résultat recherché par l’entreprise ?

Une fois la formation validée comme levier de l’atteinte des objectifs de l’organisation, la pertinence va se concentrer sur la conception pédagogique en identifiant les compétences clés et les connaissances à aqcuérir.

L’impact est un concept plus large qui évalue l’atteinte de l’objectif organisationnel. Il permet d’identifier la plus-value de l’action de formation à moyen et long terme et de valider les effets et modifications durables apportés par la formation dans la structure. Ce critère est à relier au concept de ROE (retour sur les attentes) mis en avant par le modèle de Kirkpatrick.

Et dans la durée ?

Liée à l’impact, la pérennité constitue le 5e critère du CAD. Il cherche à mesurer la poursuite des effets de la formation dans le temps et l’opportunité de reproduire ou d’étendre l’action de formation à d’autres publics cibles de l’entreprise.

Des critères aux modèles

Ces critères sont souvent, en tout ou partie, sous-jacents aux différents modèles construits pour élaborer une démarche structurée d’évaluation de la formation, le plus connu étant le modèle de Kirkpatrick.

 

3.
Le modèle de Kirkpatrick

Une fois précisés les critères sur lesquels peuvent porter l’évaluation, reste à structurer une démarche et un processus opérationnel de mesure des effets de l’action de formation. Plusieurs modèles coexistent. Le modèle de Kirkpatrick est sans doute le plus connu. Mais d’autres modèles sont venus compléter la démarche de Kirkpatrick en introduisant notamment une dimension plus quantitative.

ROE vs ROI

Si le modèle de Kirkpatrick est le plus valorisé en matière d’évaluation de la formation, c’est qu’il s’attache moins au ROI (retour sur investissement) jugé trop restrictif car à dominante purement quantitative pour se concentrer sur le ROE (retour sur les attentes) plus qualitatif.

Dans une démarche de ROE, toute la chaîne de production et d’exécution de la formation est analysée. L’approche ROE se focalise sur l’atteinte des objectifs considérant la formation comme un levier de développement de l’entreprise plus que comme une fin en soi.  Les indicateurs sont élaborés avec l’ensemble des parties prenantes de l’action de formation contrairement à une démarche purement ROIste qui s’appuie sur une équation générique à visée quantitative.

Les 4 niveaux du modèle de Kirkpatrick

Le modèle de Donald Kirkpatrick, élaboré dans les années soixante puis complété en 2010 par  James et Wendy Kirkpatrick, s’attache à l’efficacité organisationnelle de la formation. Le modèle est bâti sur une démarche en 4 niveaux successifs d’évaluation :

• Niveau 1 : les réactions des apprenants
• Niveau 2 : les apprentissages 
• Niveau 3 : le transfert 
• Niveau 4 : les résultats

L’évaluation de chaque niveau est liée à la validation du niveau inférieur.

Le premier niveau d’évaluation vise à apprécier la satisfaction des apprenants qu’il s’agisse du contenu, du rythme, de l’accompagnement, de la durée… L’évaluation est réalisée au moyen de questionnaires à chaud puis à froid, de l’analyse des commentaires des apprenants tout au long du parcours de formation, des messages postés sur les forums le cas échéant. Ce niveau n’a pas pour objet d’identifier et de valider les acquis. Aujourd’hui, la satisfaction des apprenants est systématiquement évaluée.

Le deuxième niveau d’évaluation se concentre sur les acquis. On se positionne ici sur un critère d’efficacité. Il permet de mesurer l’efficacité pédagogique de la formation, notamment le niveau de mémorisation et de compréhension des notions abordées. Cette étape est assurée au travers des évaluations formatives et sommatives prévues dans le parcours : tests, quiz, cas pratiques, mises en situation voire certification ou examen.

Cet indicateur est d’autant plus fiable qu’un test de positionnement aura été réalisé en début de formation et un test de validation en fin de parcours, permettant de mesurer une progression.

Le troisième niveau d’évaluation concerne le transfert des acquis en situation de travail. Il s’agit ici de valider les changements de comportement chez les apprenants. Ce niveau nécessite d’avoir une idée précise des changements attendus chez l’apprenant ou des savoir-faire à utiliser. Cette évaluation ne peut pas être réalisée dès la fin de la formation. Il faut laisser à l’apprenant quelques semaines pour intégrer ces nouveaux réflexes acquis en formation dans sa pratique quotidienne et à son manager le temps de constater l’évolution chez son collaborateur. Ce niveau relève de l’efficacité du dispositif. L’évaluation prend la forme de questionnaires ou d’interviews destinés à sonder l’apprenant mais également son manager sur les nouvelles pratiques mises en œuvre.

Quatrième et dernier niveau du modèle de Kirkpatrick, l’évaluation des résultats de l’action de formation vont permettre de s’extraire de l’efficacité individuelle pour mesurer l’impact organisationnel du dispositif formatif. La formation a-t-elle atteint l’objectif global de départ (amélioration des délais de traitement des réclamations, augmentation de la part de marché sur un segment donné, baisse du turn-over dans l’entreprise…) ?

Parvenir à identifier la part de la performance et des évolutions individuelles dans l’entreprise imputable à l’action de formation nécessite d’avoir élaboré des indicateurs très précis lors de l’analyse des besoins, effectuée en amont de la conception de la formation. Les résultats obtenus doivent être quantifiables (gains de productivité, réduction de coûts, hausse des ventes…)

Là encore, cette évaluation n’est pas réalisée dès la fin de la formation. Elle peut être programmée avec des échéances précises (au terme du pic d’activité en cas de forte saisonnalité, par exemple) et à plusieurs reprises pour mesurer en outre la viabilité et la pérennité du dispositif.

Cette évaluation est à l’initiative de la direction générale, des ressources humaines, de la direction opérationnelle concernée par l’objectif global…

Le 5e élément

A la fin des années 90, Jack Phillips complète le modèle de Kirkpatrick en lui ajoutant un 5e niveau, plus quantitatif celui là : le ROI (retour sur investissement). Après avoir dégagé les apports qualitatifs de l’action de formation au travers des 4 niveaux de Kirkpatrick, l’entreprise peut alors tenter de quantifier le bénéfice apporté par la formation par rapport à l’investissement qu’elle a nécessité.

Concrètement, le ROI est égal au rapport du bénéfice net dégagé par les équipes formées, sur le coût global de l’action de formation. Cette évaluation ne s’entend qu’après réalisation des 4 niveaux du modèle de Kirkpatrick qui posent la définition des objectifs pédagogiques mais également des objectifs organisationnels de la formation. Parvenir à un ratio pertinent peut s’avérer complexe en formation. L’opération nécessite des outils de reporting précis qui se révèlent potentiellement difficiles à alimenter.

 

4.
Pour conclure

Toute démarche d’évaluation de la formation passe, avant même sa conception ou sa mise en œuvre, par une définition claire et précise des objectifs, qu’ils soient stratégiques, opérationnels ou purement pédagogiques. Elle se conçoit au regard des moyens engagés et nécessite avant même le démarrage :

• d’inscrire la formation dans la stratégie de l’entreprise ou du service qui entend la déployer ;
• de procéder à un diagnostic et un positionnement des pratiques et de l’état (niveau) des connaissances ou compétences ;
• de choisir une méthode et des critères d’évaluation en adéquation avec la culture de l’entreprise et les outils et moyens mis à disposition de l’évaluateur ;
• d’expliciter la démarche et d’y engager toute les parties prenantes (direction, management, pédagogues et apprenants) ;
• de prévoir le temps suffisant pour dérouler le processus d’évaluation.

Au terme de l’évaluation, les résultats doivent être communiqués aux différentes parties prenantes. L’évaluation n’est enfin pas une fin en soi. Elle est l’élément objectivable de l’efficacité voire de l’efficience de l’action de formation. A ce titre, elle doit être suivie d’un plan d’action pour ajuster le parcours et combler les écarts constatés entre les attendus et les résultats constatés.

Aujourd’hui, l’évaluation en formation est un sujet majeur dans l’entreprise mais, au-delà de l’évaluation de la satisfaction de l’apprenant, reste une démarche peu pratiquée. Le niveau 3 du modèle de Kirkpatrick n’est abordé que dans 35 % des cas ; taux qui chute à 15 % pour le niveau 4.