Diferentes percepciones sobre el uso y la utilidad de evaluaciones


Ya hemos tratado el tema del uso de las evaluaciones en pasados posts como Gestión del conocimiento de las evaluaciones y Evaluación y Gestión del conocimiento, ¿moda o necesidad?

Otra vez utilizo una de mis publicaciones para traer un tema de discusión. En esta ocasión es mi publicación “La gestión del conocimiento de las evaluaciones: Teoría, retórica y práctica” (Rodríguez-Ariza, 2014)

Una definición de uso o utilización (de forma intercambiable) de la evaluación es “cualquier aplicación del proceso de evaluación, sus productos, o hallazgos para producir un efecto” (Johnson, Greenseid, Toal, King, Lawrenz, & Volkov, 2009, pág. 378)

Aunque normalmente y para no añadir complejidad se pueden considerar intercambiables uso y utilidad, se puede establecer una distinción:

Engranaje de mejora e implementación (Fuente Kybeleconsulting)

Engranaje de mejora e implementación (Fuente Kybeleconsulting)

Utilidad: Según Saunders, ‘utilidad de la evaluación’ hace hincapié en la medida en que el propio diseño de la evaluación “hace posible” (en teoría) el fomento del uso de sus productos en el sentido más amplio.

Uso: Sin embargo el “uso de la evaluación” se centra en el contexto y la capacidad (práctica) del entorno de la organización (estructura) para utilizar los procesos y productos de la evaluación. (Saunders, 2012)

Proceso para la rendición de cuentas y el aprendizaje (Fuente WFP)

Proceso para la rendición de cuentas y el aprendizaje (Fuente WFP)

Otra diferencia entre utilidad teórica y uso actual o práctico, pasa por la percepción que las organizaciones tienen sobre ese uso en base a sus motivaciones, capacidades y limitaciones de uso

Quiero añadir un poco de subjetividad al asunto, ya que la percepción sobre el uso de las evaluaciones difiere no sólo según en qué barrios estemos, sino que podemos ir más allá ya que dentro de una misma familia (organización) el concepto es diferente. Incluso dentro de una misma organización, podemos encontrar diferentes percepciones sobre la motivación y el propósito en el uso de las evaluaciones según se esté: (1) en sede o en terreno; (2) en un departamento u otro; (3) en una posición más senior o junior.

Una evaluación útil para el personal de la sede en la búsqueda del conocimiento estratégico u organizacional general puede no ser valorada de la misma forma por el personal de campo, más centrado como es normal en cambios directos en su programa. Incluso los individuos dentro de un mismo espacio, equipo o departamento pueden evaluar la utilidad de la misma evaluación de forma diferente.

Los usos de evaluación por los decisores reflejan las necesidades de sus posiciones de dirección. Estos usos por los oficiales y decisores de nivel medio/alto pueden ser de varios tipos: (1) para apoyar lo que de ante mano ya se quería o necesitaba hacer (es decir, los resultados han de confirmar la dirección de la política/colectivo predominante o de agendas personales/individuales); (2) una referencia independiente utilizada para resistirse a una directiva vertical desde arriba (desde superiores jerárquicos): (3) como una demostración externa para la rendición de cuentas; (4) proporcionar orientación cuando no se sabe cómo resolver un problema; (5) como instrumento de promoción; (6) como memoria institucional.

Por otra parte los oficiales de campo, muy presionados por las actividades y el tiempo, prefieren “aprender haciendo”, por lo que son más propensos al aprendizaje directamente de sus compañeros y de mensajes claros y cortos, que hacia un conocimiento encapsulado en largos y a veces ininteligibles “pdfs” o informes, directrices o evaluaciones. (ALNAP, 2004 en (Sandison, 2006))

 

Referencias citadas
Johnson, K., Greenseid, L., Toal, S., King, J., Lawrenz, F., & Volkov, B. (2009). Research on Evaluation Use. A Review of the Empirical Literature. From 1986 to 2005. American Journal of Evaluation.Volume 30 Number 3. September 2009 377-410
Rodríguez Ariza, C.  (2014). La gestión del conocimiento y el uso de las evaluaciones. Teoría, Retórica y Práctica. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo
Sandison, P. (2006). The utilisation of evaluations. ALNAP Review of Humanitarian Action , 1-56.
Saunders, M. (2012). The use and usability of evaluation outputs: A social practice approach. Evaluation 2012 18: 421 .

La gestión del conocimiento de las evaluaciones


Ya discutimos en el post Evaluación y Gestión del conocimiento, ¿moda o necesidad? la diferencia entre gestión del conocimiento y evaluación. Vamos a dar una vuelta de tuerca para hablar de la gestión del conocimiento de las evaluaciones. Este tema es la introducción de mi publicación “La gestión del conocimiento de las evaluaciones: Teoría, retórica y práctica” (Rodríguez-Ariza, 2014)

La aplicación sistemática de marcos de gestión del conocimiento podría añadir más valor al uso de las evaluaciones. Podemos considerar que un proceso evaluativo es de calidad cuando cumple principios como el rigor, la credibilidad, la utilidad, el uso, y la integración o participación de las partes interesadas. Por tanto, la calidad de los procesos evaluativos viene determinada por varios factores, uno de los cuales es el uso. Aunque en la práctica la línea divisoria entre dichos principios es muy sinuosa, también es cierto que podemos encontrar evaluaciones creíbles y rigurosas que no han sido utilizadas e, inversamente, encontramos que se han utilizado recomendaciones basadas en procesos poco rigurosos, pero de alta credibilidad. Incluso el hecho de que una evaluación sea “útil”, no significa que se utilice. Este post se centra específicamente en la gestión del conocimiento de las evaluaciones que permite la utilidad y uso de dichas evaluaciones.

¿Tiene sentido tratar la “gestión del conocimiento” de las evaluaciones más allá del mero ”uso”? Aunque gestión del conocimiento y uso son términos que se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones”, añade matices que no incorpora el concepto de “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones, porque el conocimiento surgido del proceso evaluativo debería ser recopilado, almacenado, ordenado, sistematizado, accedido, compartido, comunicado y difundido para poder ser utilizado de forma óptima y desde los primeros pasos del diseño evaluativo. Y entonces estamos hablando de una estrategia de gestión del conocimiento de las evaluaciones que para ser operacionalizada ha de contar con agentes de cambio, esto es, de gestores de la evaluación o brokers/gestores del conocimiento surgido de la evaluación. Aun así el concepto de “gestión del conocimiento” tiene tantos registros que también es un campo a acotar: (1) qué entendemos por conocimiento, usos y usuarios del conocimiento, (2) quién y para qué se construye el conocimiento.

La gestión del conocimiento optimiza los usos, las formas de usar, los usuarios y los momentos de uso de las evaluaciones. Las evaluaciones se pueden utilizar (a) de muchas maneras diferentes (ya vimos en otro de mis post los tipos de usos evaluativos), (b) por actores diferentes (directos o indirectos), (c) en momentos diferentes (corto, medio o largo plazo). Las recomendaciones pueden no ser seguidas inmediatamente, pudiendo existir usos difusos en el más largo plazo.

La institucionalización de la gestión del conocimiento de las evaluaciones en la estructura y cultura de la organización es un factor clave para mejorar su uso. El conocimiento de las evaluaciones está subutilizado por lo que la gestión del conocimiento tiene amplio margen para mejorar la utilización hacia la mejora y el cambio.

El trazar el aprendizaje y utilidad con respecto a las evaluaciones es complejo, no es una tarea sencilla y directa:

(1) el conocimiento que se utiliza para la toma de decisiones proviene de muchas fuentes, no sólo de las evaluaciones;

(2) con una correcta gestión del conocimiento de las evaluaciones, el conocimiento generado en cualquier contexto de la intervención evaluada puede ser aplicado un tiempo después en un contexto totalmente diferente al de la intervención;

(3) además si una evaluación fue importante para la toma de decisiones en el pasado, esa evaluación puede carecer de importancia o ser olvidada un tiempo después;

(4) la acumulación de evaluaciones útiles pero no utilizadas es frustrante sí, parecer inútil, pero una sistematización posterior puede dar lugar finalmente a importantes toma de decisiones.

La siguiente lista nos da pistas sobre elementos a asegurar para poder realizar la gestión del conocimiento de las evaluaciones. Elementos a sistematizar para la gestión del conocimiento de las evaluaciones (Adaptado a partir de Baguna en Visser et al, 2014:27):

1.Saber cómo: procesos, procedimientos, técnicas y herramientas que podemos utilizar para desarrollar e implementar calidad en el sistema de Evaluación con potencial para la alta utilidad

2.Saber por qué: visiones estratégicas para comprender el contexto de los roles de los actores implicados y el valor de sus acciones. Se necesita hacer un análisis de situación, acordando el propósito del sistema de Evaluación, e internalizando el por qué una evaluación se va a realizar (y no otro tipo de actividad similar)

3.Saber qué: son los hechos, datos, conocimientos, aprendizajes o prácticas que se quieren compartir y utilizar de las evaluaciones

4.Saber quién: incluye el conocimiento sobre relaciones, contactos, intermediarios, campeones, intermediarios y redes para mejorar el uso de las evaluaciones

5.Saber dónde: es la habilidad para navegar y encontrar la información correcta en las evaluaciones para la acción o toma de decisión efectiva.

6.Saber cuándo: es el sentido del tiempo, de la ventana temporal, para la correcta utilización de las evaluaciones, para tomar una decisión, o para parar algo.

Un marco de la gestión del conocimiento de las evaluaciones sería un sistema completo de personas, tecnología y procesos/gestión, que asegure que la gestión del conocimiento de las evaluaciones se aplica de forma sistemática y eficaz para aplicar y utilizar las evaluaciones (su diseño, proceso, sus resultados en su contexto y estructura evaluativa). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Marco de gestión del conocimiento

Marco de gestión del conocimiento

 

Marco de la gestión del conocimiento (Basado en Milton, 2010):

1.Las personas y los gestores del conocimiento: Tienen que establecerse en la organización (1) las personas responsables , (2) las funciones de gestión del conocimiento, siendo necesarias comunidades de prácticas para compartir y reutilizar el conocimiento tácito, comportamientos tales como la búsqueda y el intercambio de conocimientos necesitan ser incentivados, y para convertirse en “ la forma de trabajar.

2.Los procesos de gestión del conocimiento: tiene que haber un proceso validado y probado para la captura, destilación, análisis, almacenamiento, aplicación y reutilización el conocimiento, y también para innovar.

3.Las tecnologías de gestión del conocimiento: las personas y el proceso deben ser apoyadas por la tecnología, que permita que el conocimiento que sea encontrado y accesible (en bases de datos, en la Intranet, en determinadas personas). Desempeña un papel importante en la gestión del conocimiento, al proporcionar la tecnología para permitir que la gente se comunique.

4.El gobierno de la gestión del conocimiento sin un sistema de gobernanza que promueva y reconozca el intercambio y la reutilización del conocimiento, todo intento de introducir la gestión del conocimiento será más difícil.

A continuación presentamos como ejemplo de marco de gestión del conocimiento de evaluaciones a nivel internacional la plataforma web DEREC (DAC Evaluation Resource Center), la base de datos de evaluaciones de la Red de Evaluación del CAD/OCDE (Evalnet) (CAD-Comité de Ayuda al Desarrollo):

1.DEREC es un almacén de evaluaciones, en el que de forma amigable se pueden hacer búsquedas empleando filtros (por país, sector, organismo comanditario).

ŸŸ2.El gobierno de DEREC lo tiene la Red Eval Net

ŸŸ3.Los gestores de DEREC son parte de la Secretaría de Evalnet (funcionarios del CAD). También realizan su mantenimiento.

ŸŸ4.Los procesos de gestión del conocimiento: en Evalnet se hace un seguimiento del funcionamiento de DEREC, se anima a (1) introducir nuevas evaluaciones a los miembros de Evalnet, (2) a obtener información sobre las actividades de evaluación de otros miembros, de cara a realizar planificaciones conjuntas de evaluaciones entre los miembros de Evalnet.

ŸŸ5.La tecnología: DEREC es una base de datos robusta a la que se van subiendo las evaluaciones de organismos bilaterales y multilaterales.

Pues hasta aquí llegamos esta semana…y que de entre toda esta teoría, retórica y práctica recordemos al menos allí donde solíamos gritar…

 

REFERENCIAS CITADAS

Milton, N. (2010). Knoco stories. From the knowledge management front-line. Retrieved Enero 2014

Rodríguez Ariza, C.  (2014). La gestión del conocimiento y el uso de las evaluaciones. Teoría, Retórica y Práctica. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo

Visser, I; Kusters, C.S.L; Guijt, I; Roefs, M; Buizer, N. (2014). Improving the Use of Monitoring & evaluation processes and findings

 

 

Usos y abusos de las evaluaciones: Teoría, Retórica y Práctica


Con la misma editorial que publicó parte de mi tesis sobre la gestión de la información en las organizaciones de desarrollo, estoy en estos momentos completando otra publicación sobre “la gestión del conocimiento y el uso de las evaluaciones”.

Aunque aparece en repetidas ocasiones en el lV plan Director y en el Plan de Evaluaciones de la Cooperación Española, no hay mucha literatura que hable explícitamente sobre la “gestión del conocimiento de las evaluaciones”(os animo a sentir lo frústrante que es googlear “knowledge management of evaluations”). Sin embargo al contactar con algunos colegas a nivel internacional, la mayoría me refieren al concepto de “uso de las evaluaciones”.

La discusión en torno al “uso de las evaluaciones” es un tema que ha sido y sigue siendo importante en el mundillo de los locos de la evaluación. Así está reciente la publicación que recoge una buena sistematización en castellano:“Determinación de los principios básicos para lograr una mayor calidad y utilización de las evaluaciones” de mi colega Rafael Monterde (mundialmente conocido por su blog Evaluateca). Recientemente (2013) ha sido publicado el libro “Enhancing Evaluation Use” con Marlène Läubli Loud y John Mayne como editores.

Finalmente el próximo mes, los días 20 y 21 de marzo tendrá lugar la conferencia CDI Conference: Improving the use of M&E processes and findings, organizada en Wageningen por el equipo de Cecile Custer.

Pero volviendo a la “gestión del conocimiento” de las evaluaciones: ¿tiene sentido tratarlo más allá del mero”uso”? Creo que sí porque, aunque se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones” añade matices que no tiene el “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones. Porque el conocimiento surgido del proceso evaluativo·”debería” ser recopilado, sistematizado, almacenado y difundido…para poder ser utilizado de forma óptima. Y entonces estamos hablando de una estrategia de gestión del conocimiento y de agentes de cambio, esto es de gestores (de la evaluación o del conocimiento surgido de la misma). Aun así el concepto de  “gestión del conocimiento” tiene tantos registros que también es un campo a acotar (qué entendemos por conocimiento, usos y usuarios del conocimiento, quién y para qué se construye el conocimiento, el conocimiento tiene claras implicaciones de género)

Retos de la gestión del conocimiento

¿Cuáles son los mayores obstáculos para la gestión del conocimiento de las evaluaciones? De nuevo Nick Milton nos indica algunos: (1) El conocimiento se concibe como poder individual o no colectivo. (2) El sub-óptimo rol de lo colectivo y las nuevas relaciones, del trabajo en equipo y la colaboración. (4) El enfoque local no se percibe como oportunidad para el desarrollo de comunidades de práctica. (5) Respeto y relación de confianza como principios de los intercambios. (6) Las personas, a menudo con mucha razón, tienen miedo de que los fallos o errores se penalizarán, y por lo tanto no están dispuestos a compartir lo que pueden ver como un fracaso. (7) Los trabajadores sienten que no se les paga para compartir. (8) Las personas que sienten que no tienen tiempo para compartir. Esta es una barrera muy real, ya que la mayoría de la gente está ” a tope ” en todo momento. Así que tenemos que hacer que el intercambio de conocimientos tan rápido y eficiente como sea posible, porque realmente no tenemos tiempo para no compartir.

También según Milton un marco de la gestión del conocimiento es un sistema completo de personas, procesos, tecnología y gestión, que asegura que la gestión del conocimiento se aplica de forma sistemática y eficaz para aplicar y utilizar la evaluación (su proceso y sus resultados). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Usos y abusos de las evaluaciones

Como se indica en el libro de Lübli y Mayne, la deficiente utilización de las evaluaciones en las organizaciones es un tema recurrente en la literatura sobre evaluaciones. Y los artículos sobre evaluaciones de éxito en las organizaciones son más difíciles de encontrar; quizás debido a los desincentivos para hacerlo o porque cuando se hace, por muy bien que se haga, parece ser “documentación gris”, propaganda o panfletos institucionales vamos. Pero en esa dirección, en la de evaluaciones exitosas, en este momento se están desarrollando interesantes procesos como el de las evaluaciones que marcan la diferencia.

Volviendo a la deficiencia del uso, por un lado la literatura da pistas sobre cómo solventar esos retos, algunos pasan por: (1) producir mejores evaluaciones, (2) acercarse a los decisores políticos, (3) construir una cultura de evaluación, (4) comunicar mejor. Hay además otro cuerpo de publicaciones sobre aprendizaje organizacional que se centra en (1) cómo aprenden las organizaciones, (2) cómo la evaluación se relaciona con el aprendizaje organizacional. Mi experiencia es que a problemas complejos, soluciones complejas (cualquier estudiante de álgebra o cálculo lo sabe). Los retos de la vida real son una mezcla de los anteriores más unos cuantos más…empezando por la existencia o no de verdadera voluntad de cambio en los dirigentes, líderes o mandamases que centralizan poder y decisiones…aunque en menor medida centralicen rendición de cuentas…

Usos y usuarios, Racionalidad y Motivación de las evaluaciones

El uso de las evaluaciones está directamente relacionado con quién, qué, por qué, para qué se usan y se implican en las evaluaciones.

¿Quiénes usan las evaluaciones? ¿Qué usos? Los usuarios y los usos están relacionados. Podemos encontrar (a) usuarios de evaluación esperados o intencionales o intencionados (implicados o no), (b) usuarios no esperados, lo que también se llama “otras audiencias”. En este segundo apartado es en el que se diferencia la “Evaluación Enfocada a la Utilidad” (recordemos aquí a Ricardo Ramírez y Dal Brodhead  por no citar siempre al omnipresente Patton) y la “Gestión del Conocimiento de las Evaluaciones” en sentido más amplio. Y éste es uno de los grandes retos: ¿Por qué desde hace años las evaluaciones en todo el mundo vienen repitiendo las mismas conclusiones y recomendaciones?¿Por qué no se aprende ni del mal ajeno ni del propio? ¿Cómo lograr que utilicen la evaluación grupos o individuos que no se han implicado directamente en el proceso evaluativo?

Relacionado con el tipo de uso, hay muchas clasificaciones en base al uso de las evaluaciones (es especialmente interesante la “Investigación sobre el uso de las evaluaciones” de Johnson et al (2009)). También hay instituciones como el CAD (The DAC Network on Development Evaluation – 30 years of strengthening learning in development), UNEG (Report of the UNEG Evaluation Practice Exchange (EPE) 2013 Seminar), ECG (Knowledge Generation and Sharing by Multilateral Development Banks) o el propio DFID (ODI: Strengthening learning from research and evaluation: going with the grain ) que han profundizado en esa dirección. Mi ambición ha sido tener una visión sistémica, tratando de comprender la teoría del cambio de la evaluación y el rol del conocimiento que va surgiendo en cada una de sus fases. Esto puede dar cabida a todos ellos, y de alguna forma contiende tanto los postulados de los más recientes y completos marcos teóricos sobre el uso de evaluaciones (como los de Kirkhart (2000) y Henry & Mark (2003). Por ello enfoco la gestión del conocimiento de la evaluación situada en un marco que divide el contexto, diseño, proceso, estructura y resultados de la evaluación. El propio manual de gestión de evaluaciones de la Cooperación Española tiene un marcado enfoque de “proceso” evaluativo. En este proceso podemos distinguir la fase de (1) diseño evaluativo (que culmina con la realización de los TdR y la selección del equipo evaluador y su propuesta), (2) la ejecución de la evaluación y (3) la difusión y comunicación de resultados. Aunque cuando la gente piensa en una evaluación tiene en mente la parte de la ejecución, cuando se piensa en “el uso”, nos solemos centrar en la parte de difusión y comunicación. Sin embargo la gestión del conocimiento de la evaluación comienza en su fase de diseño. Claro está que esta gestión del conocimiento puede ser emergente o planificada. El conocimiento que surge en cada fase, puede ser gestionado o no y puede ser utilizado o no. Hay muchos usos o utilidades normalmente olvidados, basados en conocimiento tácito, por citar dos ejemplos: (1) los evaluadores externos independientes de recopilar y aprender las ofertas ganadoras en las licitaciones, (2) los gestores de la evaluación de sistematizar fortalezas y debilidades de los a veces poco participativos comités de seguimiento de las evaluaciones.

En cada una de estas tres fases a su vez, adaptando a partir de Verdung (1997), el uso de la evaluación puede ser: (1) Uso directo e interno, para la toma de decisiones inmediata de los usuarios esperados (uso instrumental), (2) Uso indirecto interno o externo, para usuarios no esperados u otras audiencias más amplias (uso conceptual), (3) Uso de proceso y (4) Uso retórico, ya que se evalúa porque hay que evaluar, de cara a la galería, pero sin pretender en realidad un propósito más allá de la autojustificación o autolegitimación (uso justificativo, legitimitativo, ritual, simbólico…). Este cuarto uso es considerado como ilegítimo, es decir como un “abuso” evaluativo, aunque por desgracia predomine mucho. Sin embargo hemos de señalar que en determinados “contextos y estructuras” en las que se da el proceso evaluativo no se da la más mínima opción a los otros tres tipos de uso. Contandriopoulos & Brousselle (2012) en su “Evaluation models and evaluation use”,  describen algunas de las barreras impuestas  por el “contexto del uso”: ideología y actores polarizados, que da lugar a la inexistencia de arena política para discutir y presentar de forma honesta fracasos y logros .

La capacidad de influencia por la gestión del conocimiento de las evaluaciones

En un mundo ideal desde el diseño de la evaluación se establecería una estrategia de gestión del conocimiento, con el fin de (1) establecer usos por fases y de (2) establecer los diferentes niveles de influencia, a “nivel individual, relacional o colectivo”

Dada la importancia de que sea un proceso planificado y no emergente, 3ie y ODI señalan lo ventajoso de que se presente un plan de Influencia política, que identifique: (1) qué cambios (incluyendo la Teoría del Cambio) en la actitud, el discurso, los procedimientos, el contenido de la política o la legislación , o los comportamientos , y (2) a qué partes interesadas o campeones del cambio (los responsables políticos, los medios de comunicación, organizaciones de la sociedad civil, asociaciones profesionales y comerciales clave de política sindicatos, grupos religiosos , etc) se dirigen.

El gran reto es comprender en profundidad la Teoría del Cambio de nuestra evaluación y en especial visualizar antes de tiempo y abrir la caja negra del proceso final de utilización o uso- ¿Podemos tener claro cómo son los procesos de influencia de las evaluaciones?¿En nuestros propias organizaciones, contextos y procesos evaluativos cómo identificar los mecanismos que favorecen los usos que nos proponemos? Tenemos una interesante profundización en el concepto de “mecanismos” de cambio en evaluación basada en teoría de programas en este artículo de Astbury y Leeuw (2010)

Algunas recetas para los inquietos

Aunque lo más importante es resolver los cuellos de botella estructurales, también se pueden dar algunos mecanismos para mejorar el uso de las evaluaciones. Y estos mecanismos son muy variados: Hay muchas maneras de comunicar, compartir o difundir información de las evaluaciones a las audiencias más amplias más allá de los usuarios esperados. Es esencial determinar los mecanismos del cambio que permitan o desatasquen dichos procesos de influencia. Para que la información de las evaluaciones sea fácil de usar ha de ser gestionada de forma que se transforme en un conocimiento de fácil acceso y atractivo para el público. A continuación se presentan algunos productos o procesos de la fase de difusión y comunicación, típicas acciones de gestión del conocimiento, muchas de los cuales pueden ser requisitos para los evaluadores en los TdR: (1) Elaborar diferentes formatos, con resúmenes concisos adaptados a audiencias diversas, en un lenguaje sencillo que permita circular ampliamente (2) Situar en los sitios web públicos de la organización los informes de evaluación y otros productos basados en las evaluaciones, siempre muy claros y a poder ser en las lenguas locales. (3) Organizar reuniones con las partes interesadas para discutir las lecciones de la evaluación. (4) Incorporar hallazgos de la evaluación y las lecciones aprendidas en las publicaciones existentes en la organización, tales como informes anuales, boletines de noticias o boletines. (5) Difundir las conclusiones y lecciones en las asambleas y reuniones anuales y foros con los medios de comunicación. (6) Desarrollar formatos adaptados sobre las actividades, los logros y retos de la organización. (5) Elaborar resúmenes concisos  en un lenguaje sencillo y circular ampliamente. (6) Publicar un artículo para una revista académica con base en los hallazgos de la evaluación. (7) Presentar una ponencia en una conferencia relacionada con el área objeto de evaluación. (8) Invitar a los evaluadores, investigadores y académicos locales a discutir los datos recogidos por la evaluación o para discutir la metodología y los métodos aplicados en la evaluación de la evaluación. (9) Compartir los hallazgos, recomendaciones y lecciones aprendidas en las sesiones y talleres de capacitación del personal, las contrapartes gubernamentales y otros socios. (10)  Compartir las lecciones a través de redes de conocimiento, notas sobre prácticas dentro y fuera de la organización. (11) Elaborar una respuesta de gestión a la evaluación por parte de la organización. Hacer su seguimiento y exponerlo públicamente.

Utilidad de hablar de la utilidad de las evaluaciones


Voy a tratar de convenceros de que una de mis mañanas fue bien “utilizada”.

A comienzos de febrero terminó la serie de talleres sobre “Determinación de los principios básicos para lograr mayor calidad y utilidad de las evaluaciones”, auspiciados por el CECOD y facilitados por el compañero y sin embargo amigo, Rafael Monterde, Monty, conocido mundialmente (y parte del extranjero) por su blog Evaluateca.

Antes de comenzar el sarao, y en relación directa con la “utilidad”, comentamos que si fuéramos a todos los eventos de este tipo no tendríamos tiempo para trabajar, siempre que tu trabajo no fuera asistir a este tipo de saraos claro, que seguro que trabajos de ese tipo haylos. Lo mismo puede pasar con las redes sociales supongo, esos miles de microsaraos por los que hoy por hoy nos movemos todos los días (o sus noches). Y esto es también una reflexión enfocada a la utilidad de nuestro quehacer (i). Pero un detalle, a los asistentes se nos pagó por nuestra participación, lo cual me parece increible en nuestro sector, tan acostumbrado a no valorar que el matra de la “participación” implica recursos (tiempo, organización, preparación…). Donde tantas veces gente con salarios fijos (y a veces muy pero que muy altos) crean el espejismo de la utilidad de la participación de gente (muchas veces sin oficio ni beneficio) que nunca recibe feedback alguno por haberle hecho el trabajo a los otros.

El tema de este sarao que menciono era el de la “utilidad de las evaluaciones”: Cómo aumentarla.

Claro que no se puede hablar de “utilidad en evaluación” sin mencionar a Patton, el que esto escribe ha podido tocar a Patton, vamos que Patton existe y no es una deificación de todas las bondades de un evaluador…

Pero volvamos al sarao: Hubo una interesante presentación para poner el Marco de trabajo, e incluso se mencionaron a otros autores como Kirkhart o Henry&Mark. Me pregunto si no fue un poco pesado para los “practitioners” más duros, para mí fue interesante, aprendí cosas nuevas y se planteó un enfoque de trabajo interesante: Se introdujeron los conceptos o enfoques de las esferas de lo individual, lo relacional y lo colectivo. Este enfoque está próximo de la sociología social.

Mi reflexión fue, bueno algunas de las ideas que surgieron fueron…perdón por sacar el ego en primer plano, pero por algo este blog es el mío (digo yo)…bueno también trataré de tomar una perspectiva global, pero no podré evitar sesgar lo que allí aconteció 😉 :

-Surgieron propuestas muy interesantes e innovadoras. Miento. Surgieron propuestas útiles…vale, mejor….casi todo está ya inventado, sólo hace falta ponerlo en práctica (por desgracia,nos empeñamos en seguir inventando la rueda sin preguntarnos por qué en el pasado otros infelices mejor preparados que nosotros no lo consiguieron)

-Es importante aprovechar todos los momentos de cara a la utilidad. Se mencionaron aspectos como fomentar la síntesis de evaluaciones , trabajar más a la demanda y alguien mencionó la necesidad de susurrar en los oídos de los políticos (esto me recuerda a la película de “El hombe que susurraba a los caballos”, y es que a veces los políticos se hacen, parecen o los tomamos por niños…o animalitos, digo yo que si están ahí por algo será, o debería ser.

-Como siempre, se mencionó la importancia de la transparencia y del accountability para aprender, materia que en España no pasa de ser ciencia ficción, por desgracia. Si no, veamos lo que ha sucedido tras años de absoluta impunidad e irresponsabilidad política…

-Después pensé que no se habló nada de la relación entre “poder” y “utilidad”: Introducir en el análisis el poder. Las relaciones de poder están en todas partes. Como ejemplo, el presentador y la audiencia tienen un nivel de poder diferente. Aunque el presentador me comentó que le hubiera gustado estar entre la audiencia, lo cierto es que tenía diferente poder, tiene el poder de vehicular y “hacer” utilizar ideas, enfoques, tiempos…ya sabemos que el poder es calentito ¡