Sección 1 - Ética de la evaluación, gobernanza y profesionalismo
12ª Conferencia Bianual de la Sociedad Europea de Evaluación
Futuros de la evaluación en Europa y más allá: conectividad, innovación y uso
26-30 de septiembre de 2016, Maastricht, Países Bajos
Presentado por:
Gunter Rochow
Evaluador acreditado,
Como todos sabemos, la práctica de la evaluación global está dando grandes pasos en todos los frentes, estimulados en gran medida por las actividades del
Año Internacional de la Evaluación 2015 y la
Agenda de Evaluación Global 2016-2020 que resultaron de ella. En esta presentación examinaré algunas implicaciones y requisitos resultantes de la tercera etapa de la Agenda Global de Evaluación, es decir, el desarrollo de la capacidad individual de los evaluadores, lo que requiere más educación y capacitación relacionadas con la evaluación. En particular, esta presentación responde a la necesidad de que las
Organizaciones Voluntarias de Evaluadores Profesionales (VOPE) puedan requerir apoyo con iniciativas de profesionalización, ofreciendo un enfoque que ha sido implementado con éxito en el mundo para muchas otras profesiones y ocupaciones. Podría hacer lo mismo para la evaluación.
Lamentablemente, es evidente que la oferta de educación y capacitación relacionada con la evaluación ha ido aumentando antes de que la comunidad mundial de evaluación haya definido cuidadosamente la naturaleza y el alcance de la demanda para ello. Por lo tanto, la oferta busca atraer la demanda, y la demanda no está dirigiendo la oferta, como debería!
En ese ambiente, la comunidad de evaluación global está siendo bombardeada con anuncios de universidades y colegios (
ejemplo 1;
ejemplo 2;
ejemplo 3), programas y seminarios ofrecidos por sociedades y organizaciones de evaluación nacionales e internacionales (
ejemplo 1;
ejemplo 2;
ejemplo 3), así como por instructores del sector privado (
ejemplo 1;
ejemplo 2). Es un mercado en el que los vendedores están compitiendo por los compradores, y los compradores a menudo se confunden sobre lo que deben comprar con el fin de mejor satisfacer sus necesidades. Sin embargo, con toda equidad, debo señalar que en el caso de Canadá, la
Sociedad Canadiense de Evaluación ha definido las
competencias de los evaluadores (aunque éstas todavía
requieren pulido) y el CES ofrece el estatus de
Evaluador Acreditado a los evaluadores que pueden demostrar que han logrado un alto nivel de las competencias requeridas y que se atengan a las normas aplicables.
En este contexto global, los gestores de la evaluación apelan a los proveedores de la evaluación para que ofrezcan sus servicios de evaluación a menudo, en la medida de lo posible, con el apoyo de evaluadores procedentes de diversos orígenes nacionales, culturales, educativos y lingüísticos. El dilema para muchos proveedores de la evaluación es cómo pueden estar seguros de que están seleccionando los caballos adecuados para tirar sus vagones.
Si bien los proveedores internacionales de evaluación aprecian las ventajas de disponer de evaluadores en el mercado mundial, a menudo se enfrentan a un gran problema e incertidumbre al intentar a seleccionar equipos de evaluación capaces de ofrecer productos de alta calidad. ¿Por qué es así? A los proveedores de evaluación a menudo les resulta difícil evaluar con confianza el grado y la calidad de la educación previa o la capacitación en evaluación, ya sea en un ambiente formal o informal, que los nuevos miembros del equipo podrían traer a la mesa. La razón es que los posibles miembros del equipo presentan a los Proveedores de Evaluación un título, un diploma, un certificado, un registro de asistencia que hace afirmaciones mientras que el Proveedor de Evaluación no tiene un criterio común satisfactorio para evaluar el contenido de estos registros de logro!
Esto es, por supuesto, un problema que es común a la mayoría de los certificados educativos y se aplica a la mayoría de las instituciones de educación y formación. Para defender su credibilidad personal en ese entorno, los estudiantes a menudo seleccionan conscientemente las instituciones de aprendizaje basándose en la reputación de las instituciones, los registros de seguimiento y las clasificaciones publicadas, pero la evidencia documental de su aprendizaje hace poco para proporcionar información detallada comparable a los posibles empleadores.
Creo que la comunidad mundial de evaluación debe y puede hacerlo mejor que eso, ya que inicia la tercera etapa de la Agenda Global de Evaluación 2016-2020, y podemos hacerlo mejor sin perjudicar la "independencia" de proveedores de educación institucional.
Un enfoque para el fortalecimiento de la capacidad de evaluación sería utilizar perfiles de competencia. Esto no sólo ayudaría a las entidades públicas, privadas y educativas en la planificación curricular, sino que los perfiles resultantes también serían útiles para los servicios de evaluación y proveedores de servicios de reclutamiento, capacitación, evaluación de desempeño, así como el desarrollo de las escalas de remuneración.
Antes de empezar a describir cómo la comunidad de evaluación puede hacer mejor, tengo una pregunta para los Proveedores de Evaluación en nuestro medio: ¿Ha tenido problemas en la identificación y comprensión de la sustancia necesaria de las credenciales educativas y de capacitación de los posibles evaluadores antes de arriesgar a ponerlos en sus equipos? ¿O ha tenido que pasar por alto un análisis a fondo, como he tenido que hacer ocasionalmente?
En mi opinión, una solución para la comunidad mundial de evaluación es desarrollar y mantener un listado detallado e inequívoco de la demanda de educación y capacitación relacionada con la evaluación de conformidad con la tercera etapa de la Agenda Global de Evaluación 2016-2020 y presentarla a los potenciales proveedores de la educación y capacitación necesarias e insistiendo en que los proveedores potenciales demuestren hasta qué punto sus ofertas en el mercado responden a la demanda especificada por la comunidad de evaluación global.
Voy a ilustrar cómo funciona este enfoque a través de un ejemplo de Brasil. En 1998 el
SENAI tuvo un problema (ver
OccasionalPaper4Dacum): el Ministerio de Trabajo y Empleo de Brasil (
Ministério do Trabalho e
Emprego) publicó una nueva
Clasificación y Diccionario de Ocupaciones, según la cual se esperaba que el SENAI entregara un programa de capacitación actualizado. El SENAI tuvo dificultad para entender el contenido preciso de las destrezas de trabajo definidas. Con el fin de encontrar una solución, el SENAI contactó al Gobierno de Canadá, entre representantes de varios países, con la solicitud de enviar a Brasil, a expensas de Brasil, un equipo de tres personas del sector público y privado para participar en un Seminario International. Se invitó a todos los invitados, Canadá incluido, a hacer presentaciones sobre cómo el problema del SENAI podría ser resuelto. ¡Me sorprendió y me complació cuando se aceptó el enfoque propuesto por nuestra empresa (Capra International Inc.)! En consecuencia, desde 1999 hasta 2002 nuestra empresa, en colaboración con la
Asociación Profesional Canadiense (Canadian Vocational Association), capacitó a facilitadores brasileños para que utilizasen el método DACUM (ver
origen y
expansión) y supervisaran la producción de perfiles de competencia para cerca de 300 de las 500 familias ocupacionales contenidas en el nuevo Diccionario de Ocupaciones. Desde entonces, hasta el año 2014, siguieron otros compromisos relacionados con DACUM, incluido con el
Instituto de Investigación Económica (FIPE) de la Universidad de São Paulo, que llevó a cabo más investigaciones relacionadas con DACUM bajo contrato con el Ministerio de Trabajo y Empleo.
La característica clave de un perfil de competencias de DACUM es que se trata de una descripción de abajo hacia arriba, no de arriba abajo, de las competencias de habilidades observables y medibles requeridas en un área determinada de la práctica profesional, desarrollada por grupos de profesionales. El efecto neto no es sólo la producción de descripciones de perfiles de habilidades que reflejan las realidades inherentes a la práctica profesional en términos de habilidades profesionales y personales, sino también el hecho de que estos perfiles apuntan a la evolución de buenas o mejores prácticas que pueden ayudar a dar forma a futuras aplicaciones de estas competencias profesionales.
La competencia profesional se define como "la capacidad demostrada -incluyendo conocimientos, habilidades y actitudes- para realizar una tarea con éxito de acuerdo a un estándar establecido". Estas competencias se analizan típicamente en hasta
seis niveles, más una descripción del conocimiento requerido.
La planificación global de la educación y la capacitación para la evaluación se realiza mejor en las áreas generales de competencia de nivel 2 y las tareas / habilidades de nivel 3 para asegurar una cobertura comparable general, dejando a las organizaciones voluntarias de evaluadores profesionales (VOPE) planificar otros niveles de DACUM, según sea necesario.
Un
ejemplo de perfiles de nivel 2 y de nivel 3 es el siguiente:
Nivel 2: Identificación de las Áreas Generales de Competencias (AGC)
Posibles AGC de un evaluador profesional
Un evaluador profesional debe ser capaz de ...
AGCs
|
Competencias profesionales /
Técnicas
|
A.
Circunscribir un mandato de evaluación
|
|
|
|
|
B. Diseñar …
|
|
|
|
|
C. Recoger …
|
|
|
|
|
D. Analisar …
|
|
|
|
|
E. …
|
|
|
|
|
F. …
|
|
|
|
|
Y para cumplir con los deberes y tareas anteriores, un evaluador profesional debe ser capaz de …
AGC
|
Competencias no específicas a
determinadas profesiones
|
X. Competencias generales demostradas
|
…
|
…
|
…
|
…
|
Nivel 3: Identificación de Competencias
Posibles Competencias de un Evaluador Profesional
Un evaluador profesional debe ser capaz de ...
AGCs
|
Competencias profesionales /
Técnicas
|
A.
Circunscribir
un mandato de evaluación
|
Determinar el
propósito de una evaluation
|
…
|
…
|
…
|
B. Diseñar …
|
…
|
Establecer
la viabilidad de la evaluación y su adecuación
|
Anticipar problemas de diseño
|
…
|
C. Recoger …
|
Negociar
acceso a datos
|
Formular
aspectos de control de calidad
|
Asegurar
el cumplimiento de los protocolos establecidos de control de datos
|
…
|
Y para cumplir con los deberes y tareas anteriores, un evaluador profesional debe ser capaz de …
AGC
|
Competencias no específicas a
determinadas profesiones
|
X. Competencias generales
demostradas
|
Actuar
en forma ética
|
Demostrar
capacidad de comunicación escrita
|
Demostrar capacidad de comunicación oral
|
Demostrar
capacidad analítica …
|
Los siguientes pasos son necesarios para desarrollar un marco global de competencias para los profesionales de la evaluación:
2. Mandar a la organización elegida que consulte con sus organizaciones miembros (VOPE) sobre el desarrollo de las áreas generales de competencia (nivel 2) y las tareas / habilidades (nivel 3) para las prácticas de evaluación, de conformidad con las normas aplicables.
3. Para ejecutar el paso 2, organizar los talleres DACUM, que normalmente requieren 4-5 días cada uno bajo el liderazgo de un facilitador DACUM cualificado.
4. Una vez que la comunidad de evaluación global haya llegado a un acuerdo sobre los perfiles de las Áreas Generales de Competencias para la Práctica de Evaluación (Nivel 2) y las Tareas / Competencias (Nivel 3), ofrecer estas definiciones a los potenciales proveedores de educación y capacitación así como a los reclutadores de evaluadores. Este es el lado de la Demanda.
5. Solicitar a los posibles proveedores de educación y capacitación que ofrezcan sus servicios de educación y capacitación con referencia específica a las competencias requeridas por parte de la comunidad de evaluación global y las VOPE. Este es el lado de la oferta.
6. Alentar a los potenciales reclutadores de evaluadores a especificar su demanda de acuerdo con los perfiles globales y aprobados por los VOPE.
7. Alentar a los evaluadores potenciales a documentar su experiencia en evaluación, de acuerdo con las definiciones adoptadas.
8. Dar a conocer la existencia de las definiciones a través de las asociaciones profesionales y los sitios web de VOPE.
9. Actualizar las definiciones de vez en cuando, a medida que evoluciona la práctica de evaluación.
10. Solicitar a las organizaciones globales y a los VOPE que informen anualmente sobre su progreso en la Demanda, la Oferta y el uso de la educación y la formación, de conformidad con las definiciones aprobadas.
De lo que usted sabe hasta ahora acerca del enfoque propuesto para usar los Perfiles Modulares de Competencia para Evaluadores como Marco para la Educación, Formación y Práctica Globales, ¿cree usted que esto podría ayudarlo a usted y a su organización a ejecutar la tercera etapa de la Agenda Global de Evaluación; Es decir, en el desarrollo de las capacidades de los evaluadores individuales?
Le estaré muy agradecido por ahora usar la palabra abierta para comentar cómo el enfoque propuesto podría ayudarle, su organización, su VOPE, o por qué cree que no. Si usted puede pensar en algunos pasos adicionales que pueden ser necesarios para la aplicación de este enfoque, la identificación de estos sería particularmente útil. Sus comentarios serán valiosos para ayudar a trazar un camino hacia adelante. Así que, por favor, adelante y déjennos discutir.
¡Gracias!