SEE Conferencia 2016 Presentación: Perfiles Modulares de Competencia de Evaluadores como Marco de Referencia para la Educación, Formación y Práctica Globales

Sección 1 - Ética de la evaluación, gobernanza y profesionalismo

12ª Conferencia Bianual de la Sociedad Europea de Evaluación

Futuros de la evaluación en Europa y más allá: conectividad, innovación y uso

26-30 de septiembre de 2016, Maastricht, Países Bajos

Presentado por:

Gunter Rochow

Evaluador acreditado,

Presidente, Capra International Inc, Canadá

Como todos sabemos, la práctica de la evaluación global está dando grandes pasos en todos los frentes, estimulados en gran medida por las actividades del Año Internacional de la Evaluación 2015 y la Agenda de Evaluación Global 2016-2020  que resultaron de ella. En esta presentación examinaré algunas implicaciones y requisitos resultantes de la tercera etapa de la Agenda Global de Evaluación, es decir, el desarrollo de la capacidad individual de los evaluadores, lo que requiere más educación y capacitación relacionadas con la evaluación. En particular, esta presentación responde a la necesidad de que las Organizaciones Voluntarias de Evaluadores Profesionales (VOPE)  puedan requerir apoyo con iniciativas de profesionalización, ofreciendo un enfoque que ha sido implementado con éxito en el mundo para muchas otras profesiones y ocupaciones. Podría hacer lo mismo para la evaluación.

Lamentablemente, es evidente que la oferta de educación y capacitación relacionada con la evaluación ha ido aumentando antes de que la comunidad mundial de evaluación haya definido cuidadosamente la naturaleza y el alcance de la demanda para ello. Por lo tanto, la oferta busca atraer la demanda, y la demanda no está dirigiendo la oferta, como debería!

En ese ambiente, la comunidad de evaluación global está siendo bombardeada con anuncios de universidades y colegios (ejemplo 1; ejemplo 2; ejemplo 3), programas y seminarios ofrecidos por sociedades y organizaciones de evaluación nacionales e internacionales (ejemplo 1; ejemplo 2; ejemplo 3), así como por instructores del sector privado (ejemplo 1; ejemplo 2). Es un mercado en el que los vendedores están compitiendo por los compradores, y los compradores a menudo se confunden sobre lo que deben comprar con el fin de mejor satisfacer sus necesidades. Sin embargo, con toda equidad, debo señalar que en el caso de Canadá, la Sociedad Canadiense de Evaluación  ha definido las competencias de los evaluadores  (aunque éstas todavía requieren pulido) y el CES ofrece el estatus de Evaluador Acreditado  a los evaluadores que pueden demostrar que han logrado un alto nivel de las competencias requeridas y que se atengan a las normas aplicables.

En este contexto global, los gestores de la evaluación apelan a los proveedores de la evaluación para que ofrezcan sus servicios de evaluación a menudo, en la medida de lo posible, con el apoyo de evaluadores procedentes de diversos orígenes nacionales, culturales, educativos y lingüísticos. El dilema para muchos proveedores de la evaluación es cómo pueden estar seguros de que están seleccionando los caballos adecuados para tirar sus vagones.

Si bien los proveedores internacionales de evaluación aprecian las ventajas de disponer de evaluadores en el mercado mundial, a menudo se enfrentan a un gran problema e incertidumbre al intentar a seleccionar equipos de evaluación capaces de ofrecer productos de alta calidad. ¿Por qué es así? A los proveedores de evaluación a menudo les resulta difícil evaluar con confianza el grado y la calidad de la educación previa o la capacitación en evaluación, ya sea en un ambiente formal o informal, que los nuevos miembros del equipo podrían traer a la mesa. La razón es que los posibles miembros del equipo presentan a los Proveedores de Evaluación un título, un diploma, un certificado, un registro de asistencia que hace afirmaciones mientras que el Proveedor de Evaluación no tiene un criterio común satisfactorio para evaluar el contenido de estos registros de logro!

Esto es, por supuesto, un problema que es común a la mayoría de los certificados educativos y se aplica a la mayoría de las instituciones de educación y formación. Para defender su credibilidad personal en ese entorno, los estudiantes a menudo seleccionan conscientemente las instituciones de aprendizaje basándose en la reputación de las instituciones, los registros de seguimiento y las clasificaciones publicadas, pero la evidencia documental de su aprendizaje hace poco para proporcionar información detallada comparable a los posibles empleadores.

Creo que la comunidad mundial de evaluación debe y puede hacerlo mejor que eso, ya que inicia la tercera etapa de la Agenda Global de Evaluación 2016-2020, y podemos hacerlo mejor sin perjudicar la "independencia" de proveedores de educación institucional.

Un enfoque para el fortalecimiento de la capacidad de evaluación sería utilizar perfiles de competencia. Esto no sólo ayudaría a las entidades públicas, privadas y educativas en la planificación curricular, sino que los perfiles resultantes también serían útiles para los servicios de evaluación y proveedores de servicios de reclutamiento, capacitación, evaluación de desempeño, así como el desarrollo de las escalas de remuneración.

Antes de empezar a describir cómo la comunidad de evaluación puede hacer mejor, tengo una pregunta para los Proveedores de Evaluación en nuestro medio: ¿Ha tenido problemas en la identificación y comprensión de la sustancia necesaria de las credenciales educativas y de capacitación de los posibles evaluadores antes de arriesgar a ponerlos en sus equipos? ¿O ha tenido que pasar por alto un análisis a fondo, como he tenido que hacer ocasionalmente?

En mi opinión, una solución para la comunidad mundial de evaluación es desarrollar y mantener un listado detallado e inequívoco de la demanda de educación y capacitación relacionada con la evaluación de conformidad con la tercera etapa de la Agenda Global de Evaluación 2016-2020 y presentarla a los potenciales proveedores de la educación y capacitación necesarias e insistiendo en que los proveedores potenciales demuestren hasta qué punto sus ofertas en el mercado responden a la demanda especificada por la comunidad de evaluación global.

Voy a ilustrar cómo funciona este enfoque a través de un ejemplo de Brasil. En 1998 el SENAI  tuvo un problema (ver OccasionalPaper4Dacum): el Ministerio de Trabajo y Empleo de Brasil (Ministério do Trabalho e Emprego) publicó una nueva Clasificación y Diccionario de Ocupaciones, según la cual se esperaba que el SENAI entregara un programa de capacitación actualizado. El SENAI tuvo dificultad para entender el contenido preciso de las destrezas de trabajo definidas. Con el fin de encontrar una solución, el SENAI contactó al Gobierno de Canadá, entre representantes de varios países, con la solicitud de enviar a Brasil, a expensas de Brasil, un equipo de tres personas del sector público y privado para participar en un Seminario International. Se invitó a todos los invitados, Canadá incluido, a hacer presentaciones sobre cómo el problema del SENAI podría ser resuelto. ¡Me sorprendió y me complació cuando se aceptó el enfoque propuesto por nuestra empresa (Capra International Inc.)! En consecuencia, desde 1999 hasta 2002 nuestra empresa, en colaboración con la Asociación Profesional Canadiense  (Canadian Vocational Association), capacitó a facilitadores brasileños para que utilizasen el método DACUM (ver origen y expansión) y supervisaran la producción de perfiles de competencia para cerca de 300 de las 500 familias ocupacionales contenidas en el nuevo Diccionario de Ocupaciones. Desde entonces, hasta el año 2014, siguieron otros compromisos relacionados con DACUM, incluido con el Instituto de Investigación Económica (FIPE) de la Universidad de São Paulo, que llevó a cabo más investigaciones relacionadas con DACUM bajo contrato con el Ministerio de Trabajo y Empleo.

La característica clave de un perfil de competencias de DACUM es que se trata de una descripción de abajo hacia arriba, no de arriba abajo, de las competencias de habilidades observables y medibles requeridas en un área determinada de la práctica profesional, desarrollada por grupos de profesionales. El efecto neto no es sólo la producción de descripciones de perfiles de habilidades que reflejan las realidades inherentes a la práctica profesional en términos de habilidades profesionales y personales, sino también el hecho de que estos perfiles apuntan a la evolución de buenas o mejores prácticas que pueden ayudar a dar forma a futuras aplicaciones de estas competencias profesionales.

La competencia profesional se define como "la capacidad demostrada -incluyendo conocimientos, habilidades y actitudes- para realizar una tarea con éxito de acuerdo a un estándar establecido". Estas competencias se analizan típicamente en hasta seis niveles, más una descripción del conocimiento requerido.

La planificación global de la educación y la capacitación para la evaluación se realiza mejor en las áreas generales de competencia de nivel 2 y las tareas / habilidades de nivel 3 para asegurar una cobertura comparable general, dejando a las organizaciones voluntarias de evaluadores profesionales (VOPE) planificar otros niveles de DACUM, según sea necesario.

Un ejemplo de perfiles de nivel 2 y de nivel 3 es el siguiente:

Nivel 2: Identificación de las Áreas Generales de Competencias (AGC)

Posibles AGC de un evaluador profesional

Un evaluador profesional debe ser capaz de ...

AGCs	Competencias profesionales / Técnicas
A.      Circunscribir un mandato de evaluación
B.      Diseñar …
C.      Recoger …
D.      Analisar …
E.      …
F.       …

Y para cumplir con los deberes y tareas anteriores, un evaluador profesional debe ser capaz de …

AGC	Competencias no específicas a determinadas profesiones
X.   Competencias generales demostradas	…	…	…	…

Nivel 3: Identificación de Competencias

Posibles Competencias de un Evaluador Profesional

Un evaluador profesional debe ser capaz de ...

AGCs	Competencias profesionales / Técnicas
A.      Circunscribir un mandato de evaluación	Determinar el propósito de una evaluation	…	…	…
B.      Diseñar …	…	Establecer la viabilidad de la evaluación y su adecuación	Anticipar problemas de diseño	…
C.      Recoger …	Negociar acceso a datos	Formular aspectos de control de calidad	Asegurar el cumplimiento de los protocolos establecidos de control de datos	…

Y para cumplir con los deberes y tareas anteriores, un evaluador profesional debe ser capaz de …

AGC	Competencias no específicas a determinadas profesiones
X.   Competencias generales demostradas	Actuar en forma ética	Demostrar capacidad de comunicación escrita	Demostrar  capacidad de comunicación oral	Demostrar capacidad analítica …

Los siguientes pasos son necesarios para desarrollar un marco global de competencias para los profesionales de la evaluación: 

1. Identificar una organización líder responsable de guiar el desarrollo de una estrategia global y un plan de acción para implementar la tercera etapa de la Agenda Global de Evaluación. Esa organización podría ser la Organización Internacional para la Cooperación en Evaluación (IOCE) . 

2. Mandar a la organización elegida que consulte con sus organizaciones miembros (VOPE) sobre el desarrollo de las áreas generales de competencia (nivel 2) y las tareas / habilidades (nivel 3) para las prácticas de evaluación, de conformidad con las normas aplicables. 

3. Para ejecutar el paso 2, organizar los talleres DACUM, que normalmente requieren 4-5 días cada uno bajo el liderazgo de un facilitador DACUM cualificado. 

4. Una vez que la comunidad de evaluación global haya llegado a un acuerdo sobre los perfiles de las Áreas Generales de Competencias para la Práctica de Evaluación (Nivel 2) y las Tareas / Competencias (Nivel 3), ofrecer estas definiciones a los potenciales proveedores de educación y capacitación así como a los reclutadores de evaluadores. Este es el lado de la Demanda. 

5. Solicitar a los posibles proveedores de educación y capacitación que ofrezcan sus servicios de educación y capacitación con referencia específica a las competencias requeridas por parte de la comunidad de evaluación global y las VOPE. Este es el lado de la oferta. 

6. Alentar a los potenciales reclutadores de evaluadores a especificar su demanda de acuerdo con los perfiles globales y aprobados por los VOPE. 

7. Alentar a los evaluadores potenciales a documentar su experiencia en evaluación, de acuerdo con las definiciones adoptadas. 

8. Dar a conocer la existencia de las definiciones a través de las asociaciones profesionales y los sitios web de VOPE. 

9. Actualizar las definiciones de vez en cuando, a medida que evoluciona la práctica de evaluación. 

10. Solicitar a las organizaciones globales y  a los VOPE que informen anualmente sobre su progreso en la Demanda, la Oferta y el uso de la educación y la formación, de conformidad con las definiciones aprobadas.

De lo que usted sabe hasta ahora acerca del enfoque propuesto para usar los Perfiles Modulares de Competencia para Evaluadores como Marco para la Educación, Formación y Práctica Globales, ¿cree usted que esto podría ayudarlo a usted y a su organización a ejecutar la tercera etapa de la Agenda Global de Evaluación; Es decir, en el desarrollo de las capacidades de los evaluadores individuales?

Le estaré muy agradecido por ahora usar la palabra abierta para comentar cómo el enfoque propuesto podría ayudarle, su organización, su VOPE, o por qué cree que no. Si usted puede pensar en algunos pasos adicionales que pueden ser necesarios para la aplicación de este enfoque, la identificación de estos sería particularmente útil. Sus comentarios serán valiosos para ayudar a trazar un camino hacia adelante. Así que, por favor, adelante y déjennos discutir.

¡Gracias!

EES Conference 2016 Presentation: Modular Evaluator Competency Profiles as a Framework for Global Education, Training and Practice

Strand 1 - Evaluation Ethics, Governance, and Professionalism

12^th EES Biannual Conference

Evaluation Futures in Europe and Beyond: Connectivity, Innovation and Use

26-30 September, 2016,

MECC, Maastricht, Netherlands

Presented by:

Gunter Rochow

 Credentialed Evaluator,

Chairman and President, Capra International Inc., Canada

 

As we are all aware, global evaluation practice is making enormous strides on all fronts, stimulated to a considerable extent by the activities of the International Year of Evaluation 2015 and the Global Evaluation Agenda 2016-2020 that resulted from it. In this presentation I will look at some implications and requirements resulting from the third leg of the Global Evaluation Agenda, i.e. developing individual evaluator capacities, which calls for more evaluation-related education and training. In particular, this presentation responds to the need that Voluntary Organizations of Professional Evaluators (VOPEs) may require support with professionalization initiatives by offering an approach that has been implemented successfully worldwide for many other professions and occupations. It could do the same for evaluation. Regrettably, it is evident that the Supply of evaluation-related education and training has been increasing before the global evaluation community had carefully defined the nature and extent of Demand for it! Thus, Supply is appealing for Demand to come forward, and Demand is not steering the offering of Supply, as it should!

 

In that environment, the global evaluation community is being bombarded with advertisements from universities and colleges (example 1; example 2; example 3), programs and seminars offered by national and international evaluation societies and organizations (example 1; example 2; example 3), as well as by private sector trainers (example 1; example 2). It is a market place in which the sellers are competing for buyers, and the buyers are often confused about what they should buy in order best to meet their needs. Nevertheless, in all fairness, I must point out that in the case of Canada, the Canadian Evaluation Society has defined competencies for evaluators (although these still require polishing) and the CES offers Credentialed Evaluator status to evaluators who can demonstrate that they have achieved a strong level of the required competencies and that they abide by the applicable standards. In that global context, evaluation managers appeal to evaluation providers to offer their evaluation services often, to the extent possible, with the support of evaluators coming from diverse national, cultural, educational and linguistic backgrounds, while rightly insisting on delivering top quality products. The dilemma for many evaluation providers is how they can be sure that they are selecting the right horses to pull their wagons.

Put more precisely, while international evaluation providers welcome the advantages of having evaluators available in the global market place, they often face a major problem and uncertainty when attempting to select evaluation teams that are fully capable of delivering high quality products. Why is that so? Evaluation Providers often find it difficult to assess with confidence the extent and quality of the prior education or training in evaluation, either in a formal or informal environment, which new team members might bring to the table. The reason is that the prospective team members present to the Evaluation Providers a degree, a diploma, a certificate, a record of attendance that makes assertions while the Evaluation Provider does not have a satisfactory common yardstick to assess the contents of these records of achievement!
 

That is, of course, a problem that is common to most educational records and it applies to most education and training institutions. To defend their personal credibility in that environment, students often consciously select institutions of learning on the basis of the institutions’ reputations, track records and published rankings, but the documentary evidence of their learning does little to provide detailed comparable information to prospective employers.

I believe that the global evaluation community should and can do better than that, as it sets out on the third leg of the Global Evaluation Agenda 2016-2020, and we can do better without impinging on the time-honoured and expected “independence” of institutional education providers. 

An approach to evaluation capacity building using competency profiles would not only help public, private and educational entities in curricular planning, but the resulting profiles would also be useful to commissioners for evaluation services and service providers in gender-equitable personnel recruitment, training, performance assessment and the development of remuneration scales.


Before I set out on describing how the evaluation community can do better, I have a question for Evaluation Providers in our midst: Have you had problems in identifying and understanding the needed substance of educational and training credentials of prospective evaluators before you risk putting them on your teams? Or have you muddled through, as I have had to do on occasion? In my view, a solution for the global evaluation community is to develop and maintain a detailed and unequivocal listing of demand for evaluation-related education and training in accordance with the third leg of the Global Evaluation Agenda 2016-2020 and to present that to potential suppliers of the needed education and training, and insisting that potential suppliers demonstrate the extent to which their offerings in the market place respond to the demand specified by the global evaluation community.
 
The key feature of a DACUM competency profile is that it is a bottom-up, not top-down, description of the observable and measurable skill competencies required in a given area of professional practice, which is developed by groups of practitioners. The net effect is not only the production of descriptions of skill profiles that reflect the realities inherent in professional practice in terms of professional and personal skills, but also the fact that these profiles point to evolving good or best practices that can help to shape the future application of these professional skills.
                
Professional competency is defined as “the demonstrated ability – including knowledge, skills and attitudes – to perform a task successfully according to an established standard.” These competencies are typically analysed in up to six levels, plus a description of the required knowledge.

I will illustrate how such an approach works by means of an example from Brazil. In 1998 the Brazilian National Industrial Training Service (SENAI) had a problem (see: OccasionalPaper4Dacum): The Brazilian Ministry of Labour and Employment (Ministério do Trabalho e Emprego) had published a new Classification and Dictionary of Occupations in accordance with which SENAI was expected to deliver an updated training program. SENAI had difficulty understanding the precise skill content of the defined occupations. With a view to finding a solution, SENAI contacted the Government of Canada, among representatives from several other countries, with the request to send a three person public-private sector team to Brazil, at Brazil’s expense, to participate in a Labour Market Transformations International Seminar. All invited guests, Canada’s included, were asked to make presentations on how SENAI’s problem could be solved. I was both surprised and pleased when our firm’s (Capra International Inc.) proposed approach was accepted! Consequently, from 1999 until 2002 our firm, in collaboration with the Canadian Vocational Association, trained Brazilian facilitators for using the DACUM (see origin and further development) (Developing a Curriculum) method and supervising the production of competency profiles for about 300 of the 500 occupational families contained in Brazil’s new Classification and Dictionary of Occupations. Since then, until as recently as 2014, other DACUM-related engagements followed, including with the Institute of Economic Research  (FIPE) at the University of São Paulo, which undertook further DACUM-related research under contract to the Ministry of Labour and Employment.

Global planning for education and training for evaluation is best done at Level 2 General Areas of Competencies and Level 3 Tasks/ Skills to ensure overall comparable coverage, while leaving it to the Voluntary Organizations of Professional Evaluators (VOPEs) to plan at other DACUM levels, as needed. 

An example of Level 2 and Level 3 profiles looks as follows:

Level 2: Identifying the General Areas of Competencies (GACs)

Possible GACs of A Professional Evaluator

A Professional Evaluator must be able to …

GACs	Professional / Technical Competencies
A.      Circumscribe An Evaluation  Mandate
B.      Design …
C.      Collect …
D.      Analyse …
E.      …
F.       …

And to accomplish the above duties and tasks, a Professional Evaluator must be able to …

GACs	Non Occupation Specific Competencies
X.   Demonstrate General Competencies	…	…	…	…

Level 3: Identifying Competencies

Possible Competencies of A Professional Evaluator

A Professional Evaluator must be able to …

GACs	Professional / Technical Competencies
A. Circumscribe an Evaluation       Mandate	1.       Determine the purpose for an evaluation	…	…	…
B. Design …	…	Establish evaluation feasibility and appropriateness	Anticipate design issues	…
C. Collect …	Negotiate access to data	Address quality control issues	Ensure adherence to established data control protocols	…
D. Analyse …	…	…	…	…
…	…	…	…	…

And to accomplish the above duties and tasks, a Professional Evaluator must be able to …

GACs	Non Occupation Specific Competencies
X.   Demonstrate General    Competencies	1.       Act ethically	2.       Demonstrate written communication skills	3.       Demonstrate verbal communi-cation skills	4.       Demonstrate analytical skills
	5.       Negotiate	6.       …	7.       …	8.       …

The following steps are needed to develop a global competency framework for evaluation professionals:
 1.      Identify a lead organization responsible for guiding the development of a global strategy and plan of action for implementing the third leg of the Global Evaluation Agenda. That organization might be the International Organization for Cooperationin Evaluation (IOCE).2.      Mandate the chosen organization to consult with its member organizations (VOPEs) on the development of the General Areas of Competencies (Level 2) and Tasks/Skills (Level 3) for evaluation practice, in accordance with applicable norms and standards.
3.      To execute step 2, organize DACUM workshops, which normally require 4-5 days each under the leadership of a qualified DACUM facilitator.
4.      Once the global evaluation community has reached agreement on the profiles for the General Areas of Competencies for Evaluation Practice (Level 2) and Tasks/Skills (Level 3), offer these as guidelines to potential education and training providers and to recruiters of evaluators. This is the Demand side.
5.      Request potential education and training providers to offer their education and training services with specific reference to the guidelines issues by the global evaluation community and the VOPEs. This is the Supply side.
6.      Encourage potential recruiters of evaluators to specify their Demand in accordance with the adopted global and VOPE guidelines.
7.      Encourage potential evaluators to document their evaluation expertise in accordance with the adopted guidelines.
8.      Publicize the existence of the guidelines through professional associations and VOPE websites.
9.      Update the guidelines from time to time, as evaluation practice evolves.
10.  Request global organizations and VOPEs to report annually on their progress in demanding, offering and using education and training in accordance with the adopted guidelines.


From what you know so far about the proposed approach to use Modular Evaluator Competency Profiles as a Framework for Global Education, Training and Practice, do you think that this could help you and your organization in executing the third leg of the Global Evaluation Agenda; i.e. in developing individual evaluator capacities?


I would be grateful to you for now using the open floor to comment on how the proposed approach might help you, your organization, your VOPE, or why you think that it might not. If you can think of additional steps that may be  needed for implementing this approach, identifying these would be particularly helpful. Your comments will be valuable in helping to chart a way forward. So, please step forward and let us discuss.

 

 

 

Thank you!