Wednesday, 1 March 2017

SEE Conférence 2016 Présentation: Les profils modulaires de compétence des évaluateurs comme cadre pour l’éducation, la formation et la pratique

 Volet 1 - Éthique de l'évaluation, gouvernance et professionnalisme

12e Conférence biannuelle de la SEE
L'avenir de l'évaluation en Europe et au-delà: connectivité, innovation et utilisation
26-30 septembre 2016,
MECC, Maastricht, Pays-Bas

Présenté par:
Gunter Rochow
Evaluateur accrédité
Comme nous le savons tous, la pratique de l'évaluation mondiale a fait d'énormes progrès sur tous les fronts, stimulée dans une large mesure par les activités de l'Année internationale de l'évaluation2015 et du Programme d'évaluation mondial2016-2020. Dans le cadre de cet exposé, je vais examiner quelques implications et exigences découlant de la troisième étape du Programme d'évaluation globale, c'est-à-dire développer les capacités individuelles de l'évaluateur, ce qui nécessite une formation davantage centrée sur  l'évaluation. En particuliercet exposé est susceptible d’aider les Organismes bénévoles d'évaluateurs professionnels (VOPE) dans leurs initiatives visant à professionnaliser leur domaine de pratique en leur offrant une approche qui a utilisée avec succès dans le monde entier pour de nombreux autres métiers et professions. Il pourrait en être de même pour l'évaluation.

Malheureusement, il est évident que l'offre de formation liée à l'évaluation a augmenté avant que la communauté mondiale d'évaluation n'ait soigneusement défini la nature et l'étendue de sa demande! Ainsi, l'offre cherche à attirer la demande, et la demande n'oriente l'offre, comme elle le devrait!
Dans ce contexte, la communauté mondiale de l'évaluation est bombardée par les annonces des universités et des collèges (exemple 1, exemple 2, exemple 3), des programmes et des séminaires offerts par les sociétés et organisations nationales et internationales (exemple 1, exemple 2, exemple 3) d’évaluation, ainsi que par des firmes du secteur privé (exemple 1, exemple 2. Il s'agit d’un marché dans lequel les vendeurs sont en concurrence pour les acheteurs, et les acheteurs sont souvent confus sur ce qu'ils devraient acheter afin de mieux répondre à leurs besoins. Néanmoins, je dois souligner que, dans le cas du Canada, la Société canadienne d'évaluation a défini des compétences pour les évaluateurs (même si celles-ci doivent encore être analysées plus en détail). En outre, le CES offre le statut d’évaluateur accrédité aux évaluateurs qui peuvent démontrer qu'ils ont atteint un niveau élevé des compétences requises et qu'ils respectent les normes applicables.

Dans ce contexte global, les gestionnaires d'évaluation font appel aux prestataires de services d'évaluation pour qu'ils offrent leurs services d'évaluation souvent, dans la mesure du possible, avec l'appui d'évaluateurs issus de divers milieux nationaux, culturels, éducatifs et linguistiques, tout en insistant sur la qualité de leurs services. Le dilemme pour de nombreux fournisseurs d'évaluation est de savoir comment ils peuvent être sûrs qu'ils choisissent ‘les bons attelages pour tirer leurs wagons’.

Plus précisément, alors que les organismes internationaux spécialisés en évaluation se réjouissent des avantages d'avoir des évaluateurs disponibles sur le marché mondial, ils sont souvent confrontés à un problème majeur et à l'incertitude lorsqu'ils tentent de constituer des équipes d'évaluateurs capables de fournir des services de haute qualité. Pourquoi? Les organismes spécialisés en évaluation ont souvent de la difficulté à évaluer avec confiance l'étendue et la qualité de la formation préalable ou de la formation spécialisée en évaluation des nouveaux membres de leur équipe, que ce soit dans un environnement formel ou informel. La raison en est que les futurs membres de l'équipe présentent aux employeurs potentiels un diplôme, un certificat, une attestation de participation à une activité de formation qui sont sensés attester de leurs compétences ; or, il se trouve que l’organisme spécialisé en évaluation n'a pas de jauge commune pour comparer et évaluer ces divers parcours de formation.

C'est bien sûr un problème commun à la plupart des dossiers éducatifs et il s'applique à la plupart des établissements d'enseignement et de formation. Pour défendre leur crédibilité personnelle dans cet environnement, les étudiants choisissent souvent consciencieusement les établissements d'apprentissage en fonction de leur réputation, de leurs antécédents et de leurs classements publiés, mais les preuves documentaires de ce qu’ils ont appris ne fournissent guère d'informations détaillées et comparables aux futurs employeurs.

Je crois que la communauté mondiale de l'évaluation doit et peut faire mieux que cela, comme elle l'indique au troisième volet du Programme d'évaluation mondial 2016-2020, et nous pouvons faire mieux sans nuire à l'«indépendance» des organismes d’enseignement.

Une approche axée sur le renforcement des capacités d'évaluation à l'aide des profils de compétences aiderait non seulement les entités publiques, privées et éducatives dans la planification des programmes, mais les profils qui en découleraient seraient également utiles aux commissaires ( ?) aux services d'évaluation et aux fournisseurs de services en matière de recrutement et l'élaboration d'échelles de rémunération.

Avant de me pencher sur la façon dont la communauté d'évaluation peut faire mieux, j'ai une question pour les prestataires d'évaluation qui sont présents dans cette salle : avez-vous eu des problèmes à identifier et à comprendre les qualifications académiques et la formation des évaluateurs potentiels avant de vous risquer à les inclure à vos équipes? Ou avez-vous déjà entretenu des doutes, un sentiment qu’il m’est arrivé d’éprouver à l’occasion?

À mon avis, une solution pour la communauté mondiale de l'évaluation consiste à élaborer et à maintenir une liste détaillée et non équivoque des exigences en matière de qualification académique et de formation en évaluation, conformément au troisième volet du Programme d'évaluation mondial 2016-2020, et de faire part de ces exigences aux institutions, organismes et firmes de formation concernés, en insistant pour que ceux-ci démontrent dans quelle mesure leurs offres répondent à la demande spécifiée par la communauté mondiale d'évaluation.

Je vais illustrer comment une telle approche fonctionne à l'aide d'un exemple au Brésil. En 1998, le Service national brésilien de formation industrielle (SENAI) avait un problème (voir OccasionalPaper4) : le ministère brésilien du Travail et de l'Emploi (Ministério do Trabalho e Emprego) avait publié une nouvelle classification et Dictionnaire des professions à partir duquel SENAI devait mettre à jour ses programmes de de formation. Le SENAI avait du mal à comprendre le contenu précis des compétences définies. En vue de trouver une solution, le SENAI a communiqué avec le gouvernement du Canada, avec des représentants de plusieurs autres pays, avec la demande d'envoyer une équipe de trois personnes du secteur public et privé au Brésil, aux frais du Brésil, pour participer à un séminaire. Tous les invités, dont le Canada,, furent invités à faire des exposés sur la façon dont le problème du SENAI pouvait être résolu. Je fus à la fois surpris et heureux d’apprendre que l'approche proposée par notre cabinet (Capra International Inc.) avait été acceptée! Il s’ensuivit que, de 1999 à 2002, notre cabinet forma, en collaboration avec l'Association canadienne de formation professionnelle, des facilitateurs brésiliens pour l'utilisation de la méthode DACUM (voir l'origine et son développement ultérieur)et la supervision de la production de profils de compétences pour environ 300 des 500 familles professionnelles contenues dans le nouveau Dictionnaire des professions du Brésil. Depuis lors, jusqu'en 2014, d'autres engagements liés à DACUM ont suivi, y compris avec l'Institut de recherche économique (FIPE) de l'Université de São Paulo, qui a entrepris d'autres recherches liées à la méthode DACUM dans le cadre d’une entente contractuelle avec le ministère du Travail et de l'Emploi.

La caractéristique essentielle d'un profil de compétences DACUM est qu'il s'agit d'une description empirique et non théorique des compétences observables et mesurables requises dans un domaine donné de la pratique professionnelle. Cette description est élaborée par des groupes de praticiens. L'effet net est non seulement la production de descriptions de profils de compétences qui reflètent les réalités inhérentes de la pratique professionnelle en termes de compétences professionnelles et générales, mais aussi le fait que ces profils mettent en relief l'évolution des bonnes ou des meilleures pratiques et, ce faisant, peuvent aider à façonner les utilisations pouvant être faites de ces compétences professionnelles.

La compétence professionnelle est définie comme étant «la démonstration par un individu qu’il a la capacité, en l’occurrence le savoir, le savoir faire faire et le savoir être, d’accomplir une tâche  conformément à une norme établie». Les compétences sont généralement analysées en six niveaux ainsi que par une description des connaissances requises.

Les programmes de formation en évaluation s’appuient essentiellement sur les niveaux d’analyse 2 (champs de compétences) et 3 (compétences professionnelles ou techniques) pour assurer une couverture comparable des objets de formation tout en laissant aux organisations bénévoles d'évaluateurs professionnels (VOPE) la possibilité de définir d’autres niveaux DACUM selon leurs besoins.

Voici un exemple de profils de niveau 2 et de niveau 3:

Niveau 2: Identification des champs de compétences (CDC)
CDC possibles d'un évaluateur professionnel

Un évaluateur professionnel doit être capable de ...

CDC
Compétences Professionnelles / Techniques
A.      Définir un mandat d’évaluation
B.      Concevoir …
C.      Collecter …
D.      Analyser …
E.       
F.       
CDC
Compétences non spécifiques à la profession
X.   Compétences personnelles
CDC
Compétences Professionnelles / Techniques
A.      Définir un mandat d’évaluation
Déterminer le but d’une évaluation
B.      Concevoir …
Établir la faisabilité et la pertinence de l'évaluation
Anticiper des problèmes de conception
C.      Collecter …
Négocier l'accès aux données
Traiter les questions de contrôle de la qualité
S'assurer du respect des protocoles de contrôle des données établis


Et pour accomplir les tâches ci-dessus, un évaluateur professionnel doit être capable de …


Niveau 3: Identification des Compétences
Compétences possibles d'un évaluateur professionnel


Les étapes suivantes sont nécessaires pour développer un cadre de compétences global pour les professionnels de l'évaluation:

1.      Identifier un organisme chef de file chargé de guider l'élaboration d'une stratégie mondiale et d'un plan d'action pour la mise en œuvre du troisième volet du Programme d'évaluation mondial. Cette organisation pourrait être l'Organisation internationale pour la coopération en évaluation (IOCE).
2.  Faire en sorte que l'organisation choisie consulte ses organisations membres (VOPE) sur l’identification des champs de compétences (niveau 2) et des tâches / compétences requises (niveau 3) et, ce faisant, assurer que les pratiques d'évaluation soient conformes aux normes et normes applicables
3.      Pour exécuter l'étape 2, organiser des ateliers DACUM, qui nécessitent normalement de 2 à 3 jours sous la direction d'un facilitateur qualifié du DACUM.
4.    Une fois que la communauté mondiale des évaluateurs est parvenue à un accord sur les champs de compétences en matière d’évaluation (niveau 2) et les tâches ou compétences spécifiques requises (niveau 3), proposer ces exigences aux organismes dispensateurs de formation préalable et de formation spécialisée en évaluation de même qu’aux recruteurs d'évaluateurs. Ces exigences constituent le volet de la demande.
5.     Demander aux organismes dispensateurs de formation d'orienter leurs offres de formation en fonction de la demande, c’est-à-dire des besoins tels qu’identifiés par la communauté mondiale des évaluateurs praticiens et par les VOPE. C'est le volet de l’offre.
6.      Encourager les recruteurs potentiels d'évaluateurs à spécifier leur demande conformément aux directives mondiales et VOPE adoptées.
7.     Encourager les évaluateurs potentiels à documenter leur expertise en matière d'évaluation en conformité avec les lignes directrices adoptées.
8.     Faire connaître l'existence des lignes directrices par le biais des associations professionnelles et des sites Web de VOPE.
9.     Mettre à jour les lignes directrices de temps à autre, à mesure que la pratique de l'évaluation évolue.
10.  Demander aux organisations mondiales et aux VOPE de rendre compte chaque année de leurs progrès en matière de demande, d'offre et d'utilisation des programmes de formation générale et spécialisée conformément aux lignes directrices adoptées.

Selon votre compréhension de l'approche proposée, croyez-vous que celle-ci pourrait vous aider ainsi que votre organisation, à réaliser la troisième composante du Programme d'évaluation mondial, en l’occurrence le développement des compétences du praticien évaluateur ?

Je vous invite maintenant à prendre la parole pour préciser en quoi l'approche proposée peut vous aider personnellement ou être utile à votre organisation, à votre association (VOPE) ou, au contraire, pour pourquoi vous en questionnez la pertinence. Si vous croyez que des étapes nous vous serions reconnaissants de les identifier. Vos commentaires seront précieux pour aider à tracer une voie à suivre. Je vous encourage donc à intervenir en grand nombre, ce qui entrainera  des échanges stimulants et enrichissants.

Merci beaucoup !













No comments:

Post a comment