Volet
1 - Éthique de l'évaluation, gouvernance et professionnalisme
12e Conférence biannuelle de la SEE
L'avenir
de l'évaluation en Europe et au-delà: connectivité, innovation et utilisation
26-30
septembre 2016,
MECC,
Maastricht, Pays-Bas
Présenté
par:
Gunter
Rochow
Evaluateur
accrédité
Comme nous le savons tous, la pratique de l'évaluation mondiale a fait
d'énormes progrès sur tous les fronts, stimulée dans une large mesure par les
activités de l'Année internationale de l'évaluation2015 et
du Programme d'évaluation mondial2016-2020. Dans
le cadre de cet exposé, je vais examiner quelques implications et exigences
découlant de la troisième étape du Programme d'évaluation globale,
c'est-à-dire développer les capacités individuelles de l'évaluateur,
ce qui nécessite une formation davantage centrée sur l'évaluation. En
particulier, cet exposé est susceptible d’aider les Organismes
bénévoles d'évaluateurs professionnels (VOPE) dans
leurs initiatives visant à professionnaliser leur domaine de pratique en leur
offrant une approche qui a utilisée avec succès dans le monde entier pour de
nombreux autres métiers et professions. Il pourrait en être de même pour
l'évaluation.
Malheureusement, il est évident que l'offre de formation liée à
l'évaluation a augmenté avant que la communauté mondiale d'évaluation n'ait
soigneusement défini la nature et l'étendue de sa demande! Ainsi,
l'offre cherche à attirer la demande, et la demande n'oriente l'offre, comme
elle le devrait!
Dans
ce contexte, la communauté mondiale de l'évaluation est bombardée par les
annonces des universités et des collèges (exemple 1, exemple 2, exemple 3), des programmes et des séminaires
offerts par les sociétés et organisations nationales et internationales (exemple 1, exemple 2, exemple 3) d’évaluation, ainsi que par des firmes
du secteur privé (exemple 1, exemple
2. Il s'agit d’un marché dans lequel les vendeurs sont en
concurrence pour les acheteurs, et les acheteurs sont souvent confus sur ce
qu'ils devraient acheter afin de mieux répondre à leurs besoins. Néanmoins, je
dois souligner que, dans le cas du Canada, la Société
canadienne d'évaluation a défini des compétences pour les évaluateurs (même si
celles-ci doivent encore être analysées plus en détail). En outre, le CES offre
le statut d’évaluateur
accrédité aux évaluateurs qui peuvent démontrer qu'ils ont atteint
un niveau élevé des compétences requises et qu'ils respectent les normes
applicables.
Dans
ce contexte global, les gestionnaires d'évaluation font appel aux prestataires
de services d'évaluation pour qu'ils offrent leurs services d'évaluation
souvent, dans la mesure du possible, avec l'appui d'évaluateurs issus de divers
milieux nationaux, culturels, éducatifs et linguistiques, tout en insistant sur
la qualité de leurs services. Le dilemme pour de nombreux fournisseurs
d'évaluation est de savoir comment ils peuvent être sûrs qu'ils choisissent
‘les bons attelages pour tirer leurs wagons’.
Plus
précisément, alors que les organismes internationaux spécialisés en évaluation
se réjouissent des avantages d'avoir des évaluateurs disponibles sur le marché
mondial, ils sont souvent confrontés à un problème majeur et à l'incertitude
lorsqu'ils tentent de constituer des équipes d'évaluateurs capables de fournir
des services de haute qualité. Pourquoi? Les organismes spécialisés en
évaluation ont souvent de la difficulté à évaluer avec confiance l'étendue et
la qualité de la formation préalable ou de la formation spécialisée en
évaluation des nouveaux membres de leur équipe, que ce soit dans un
environnement formel ou informel. La raison en est que les futurs membres de
l'équipe présentent aux employeurs potentiels un diplôme, un certificat, une
attestation de participation à une activité de formation qui sont sensés
attester de leurs compétences ; or, il se trouve que l’organisme
spécialisé en évaluation n'a pas de jauge commune pour comparer et évaluer ces
divers parcours de formation.
C'est bien sûr un problème commun à la plupart des dossiers éducatifs et il
s'applique à la plupart des établissements d'enseignement et de formation. Pour
défendre leur crédibilité personnelle dans cet environnement, les étudiants
choisissent souvent consciencieusement les établissements d'apprentissage en
fonction de leur réputation, de leurs antécédents et de leurs classements
publiés, mais les preuves documentaires de ce qu’ils ont appris ne fournissent
guère d'informations détaillées et comparables aux futurs employeurs.
Je
crois que la communauté mondiale de l'évaluation doit et peut faire mieux que
cela, comme elle l'indique au troisième volet du Programme d'évaluation
mondial 2016-2020, et nous pouvons faire mieux sans nuire à
l'«indépendance» des organismes d’enseignement.
Une approche axée sur le renforcement des capacités d'évaluation à l'aide
des profils de compétences aiderait non seulement les entités publiques,
privées et éducatives dans la planification des programmes, mais les profils
qui en découleraient seraient également utiles aux commissaires ( ?) aux
services d'évaluation et aux fournisseurs de services en matière de recrutement
et l'élaboration d'échelles de rémunération.
Avant de me
pencher sur la façon dont la communauté d'évaluation peut faire mieux, j'ai une
question pour les prestataires d'évaluation qui sont présents dans cette
salle : avez-vous eu des problèmes à identifier et à comprendre les
qualifications académiques et la formation des évaluateurs potentiels avant de
vous risquer à les inclure à vos équipes? Ou avez-vous déjà entretenu des
doutes, un sentiment qu’il m’est arrivé d’éprouver à l’occasion?
À mon avis, une solution pour la
communauté mondiale de l'évaluation consiste à élaborer et à maintenir une
liste détaillée et non équivoque des exigences en matière de qualification
académique et de formation en évaluation, conformément au troisième volet du Programme
d'évaluation mondial 2016-2020, et de faire part de ces exigences aux
institutions, organismes et firmes de formation concernés, en insistant pour
que ceux-ci démontrent dans quelle mesure leurs offres répondent à la demande
spécifiée par la communauté mondiale d'évaluation.
Je vais illustrer comment une telle approche
fonctionne à l'aide d'un exemple au Brésil. En 1998, le Service national
brésilien de formation industrielle (SENAI) avait
un problème (voir OccasionalPaper4) : le ministère brésilien du Travail et
de l'Emploi (Ministério do Trabalho e Emprego) avait publié une
nouvelle classification et Dictionnaire des
professions à partir duquel SENAI devait mettre à jour ses programmes de
de formation. Le SENAI avait du mal à comprendre le contenu précis
des compétences définies. En vue de trouver une solution, le SENAI
a communiqué avec le gouvernement du Canada, avec des représentants de
plusieurs autres pays, avec la demande d'envoyer une équipe de trois personnes
du secteur public et privé au Brésil, aux frais du Brésil, pour participer à un
séminaire. Tous les invités, dont le Canada,, furent invités à faire des
exposés sur la façon dont le problème du SENAI pouvait être résolu. Je fus à la
fois surpris et heureux d’apprendre que l'approche proposée par notre cabinet
(Capra International Inc.) avait été acceptée! Il s’ensuivit que, de 1999 à
2002, notre cabinet forma, en collaboration avec l'Association canadienne de
formation professionnelle, des facilitateurs brésiliens pour
l'utilisation de la méthode DACUM (voir l'origine et son développement ultérieur)et la supervision de la
production de profils de compétences pour environ 300 des 500 familles
professionnelles contenues dans le nouveau Dictionnaire des professions du
Brésil. Depuis lors, jusqu'en 2014, d'autres engagements liés à DACUM ont
suivi, y compris avec l'Institut de recherche économique (FIPE) de
l'Université de São Paulo, qui a entrepris d'autres recherches liées à la
méthode DACUM dans le cadre d’une entente contractuelle avec le ministère du
Travail et de l'Emploi.
La caractéristique essentielle d'un
profil de compétences DACUM est qu'il s'agit d'une description empirique et non
théorique des compétences observables et mesurables requises dans un domaine
donné de la pratique professionnelle. Cette description est élaborée par des
groupes de praticiens. L'effet net est non seulement la production de
descriptions de profils de compétences qui reflètent les réalités inhérentes de
la pratique professionnelle en termes de compétences professionnelles et
générales, mais aussi le fait que ces profils mettent en relief l'évolution des
bonnes ou des meilleures pratiques et, ce faisant, peuvent aider à façonner les
utilisations pouvant être faites de ces compétences professionnelles.
La compétence professionnelle est
définie comme étant «la démonstration par un individu qu’il a la capacité, en
l’occurrence le savoir, le savoir faire faire et le savoir être, d’accomplir
une tâche conformément à une norme établie». Les compétences sont
généralement analysées en six niveaux ainsi que par une description
des connaissances requises.
Les programmes de formation en évaluation s’appuient essentiellement sur
les niveaux d’analyse 2 (champs de compétences) et 3 (compétences professionnelles
ou techniques) pour assurer une couverture comparable des objets de formation
tout en laissant aux organisations bénévoles d'évaluateurs professionnels
(VOPE) la possibilité de définir d’autres niveaux DACUM selon leurs besoins.
Voici un exemple de
profils de niveau 2 et de niveau 3:
Niveau 2: Identification des champs de compétences (CDC)
CDC possibles d'un évaluateur professionnel
Un évaluateur professionnel doit être capable de ...
CDC
|
Compétences Professionnelles / Techniques
|
|||
A. Définir un
mandat d’évaluation
|
||||
B. Concevoir …
|
||||
C. Collecter …
|
||||
D. Analyser …
|
||||
E. …
|
||||
F. …
|
||||
CDC
|
Compétences non spécifiques à la profession
|
|||
X. Compétences personnelles
|
…
|
…
|
…
|
…
|
CDC
|
Compétences Professionnelles / Techniques
|
|||
A. Définir un
mandat d’évaluation
|
Déterminer le
but d’une évaluation
|
…
|
…
|
…
|
B. Concevoir …
|
…
|
Établir la faisabilité et la pertinence de l'évaluation
|
Anticiper des problèmes de conception
|
…
|
C. Collecter …
|
Négocier l'accès aux données
|
Traiter les questions de contrôle de la qualité
|
S'assurer du respect des protocoles de contrôle des
données établis
|
…
|
Et pour accomplir les tâches ci-dessus, un évaluateur professionnel doit
être capable de …
Niveau
3: Identification des Compétences
Compétences possibles d'un évaluateur professionnel
Les étapes suivantes sont nécessaires pour développer un cadre de
compétences global pour les professionnels de l'évaluation:
1. Identifier
un organisme chef de file chargé de guider l'élaboration d'une stratégie
mondiale et d'un plan d'action pour la mise en œuvre du troisième volet du Programme
d'évaluation mondial. Cette organisation pourrait être l'Organisation
internationale pour la coopération en évaluation (IOCE).
2. Faire en sorte que l'organisation choisie consulte ses
organisations membres (VOPE) sur l’identification des champs de compétences
(niveau 2) et des tâches / compétences requises (niveau 3) et, ce faisant,
assurer que les pratiques d'évaluation soient conformes aux normes et normes
applicables
3.
Pour exécuter l'étape 2, organiser des ateliers DACUM,
qui nécessitent normalement de 2 à 3 jours sous la direction d'un facilitateur
qualifié du DACUM.
4. Une fois que la communauté mondiale des évaluateurs est
parvenue à un accord sur les champs de compétences en matière d’évaluation
(niveau 2) et les tâches ou compétences spécifiques requises (niveau 3),
proposer ces exigences aux organismes dispensateurs de formation préalable et
de formation spécialisée en évaluation de même qu’aux recruteurs d'évaluateurs.
Ces exigences constituent le volet de la demande.
5. Demander aux organismes dispensateurs de formation
d'orienter leurs offres de formation en fonction de la demande, c’est-à-dire
des besoins tels qu’identifiés par la communauté mondiale des évaluateurs
praticiens et par les VOPE. C'est le volet de l’offre.
6.
Encourager les recruteurs potentiels d'évaluateurs à
spécifier leur demande conformément aux directives
mondiales et VOPE adoptées.
7. Encourager les évaluateurs potentiels à
documenter leur expertise en matière d'évaluation en conformité avec les lignes
directrices adoptées.
8. Faire connaître l'existence des lignes
directrices par le biais des associations professionnelles et des sites Web de
VOPE.
9. Mettre à jour les lignes directrices de
temps à autre, à mesure que la pratique de l'évaluation évolue.
10. Demander aux organisations mondiales et aux VOPE de
rendre compte chaque année de leurs progrès en matière de demande, d'offre
et d'utilisation des programmes de formation générale et spécialisée
conformément aux lignes directrices adoptées.
Selon votre compréhension de l'approche
proposée, croyez-vous que celle-ci pourrait vous aider ainsi que votre
organisation, à réaliser la troisième composante du Programme d'évaluation
mondial, en l’occurrence le développement des compétences du praticien
évaluateur ?
Je vous invite maintenant à prendre la
parole pour préciser en quoi l'approche proposée peut vous aider
personnellement ou être utile à votre organisation, à votre association (VOPE)
ou, au contraire, pour pourquoi vous en questionnez la pertinence. Si vous
croyez que des étapes nous vous serions reconnaissants de les identifier. Vos
commentaires seront précieux pour aider à tracer une voie à suivre. Je vous
encourage donc à intervenir en grand nombre, ce qui entrainera des
échanges stimulants et enrichissants.
Merci
beaucoup !
