Kurt Wallender (Henning Mankel) y evaluación


Hace ya un tiempo  introduje en uno de mis posts el tema de la “ficción del desarrollo“. Hoy voy a contar sobre un activista que luego devino escritor (¿el post-desarrollo de la ficción?). Cuántas novelas podríamos escribir los que trabajamos en “desarrollo”…

A pesar de que hay algunas noticias sobre el declive de las novelas policiacas Nórdicas, el llamado “Nordic Noir“, quiero presentar hoy a uno de mis grandes compañeros de viaje, el detectice Kurt Wallender, gran evaluador y mejor persona.

Wallander es la creación del escritor sueco Henning Mankell. En 1989 Henning Mankell volvió a Suecia después de un largo periodo en África, especialmente en Mozambique, donde dirigió  desde 1986 el Teatro Avenida de Maputo (Mozambique).  A su regreso a Suecia, Henning Mankell quedó asombrado por la xenofobia que parecía haber comenzado a crecer en la sociedad sueca y decidió escribir sobre este tema. Dado que el racismo, según Mankell, es un delito, necesitaba un oficial de policía. De una búsqueda al azar en una guía telefónica nació el nombre de Kurt Wallander.

Entre 1991 y 2009, durante 18 años publicó  10 novelas de Wallander. La primera “Asesinos sin rostro” (“Faceless killers”) y la última “El hombre inquieto “(“The Troubled Man”).  Mankell es un intelectual de izquierdas comprometido activamente con su entorno (manifestaciones contra Vietnam y contra las guerras colonialistas, participó en una de las flotillas hacia Gaza en 2010, visita campos de refugiados…). En sus novelas hay muchas referencias a Africa y a las organizaciones humanitarias involucradas en África.

Algunas pistas para entender el universo (de ficción) Wallander:

  1. Kurt Wallander es un policía sueco obstinado y bueno pero, al mismo tiempo, difícil, gruñón y disfuncional. Aunque vive en una ciudad pequeña llamada Ystad, en la provincia de Skane al sur de Suecia, tiene el cansancio vital típico de un policía de una gran ciudad. Su entorno aparentemente por tanto es sereno, donde las cosas no deberían suceder, excepto que lo hacen: Las cosas (y vaya cosas) suceden muy, muy a menudo. Luego está el fondo: el suelo sombrío e implacable de la región Skane, en esta zona que hace frontera con Dinamarca. “Las áreas fronterizas tienen un dinamismo propio”, dice Mankell.
  2. Otros policías luchan contra sus demonios, pero Wallander a menudo parece que está poseído por ellos. Sus ojos enrojecidos, su expresión devastada y su comportamiento derrotado apuntan a un hombre que nunca consigue un respiro de la frustración y la angustia que se acumulan dentro de él. Es  un hombre permanentemente al límite, “una especie de herida abierta”. Un hombre que está aparentemente a un paso de tener un colapso total. Pero los malos días siguen sucediéndose, y Walander todavía sigue dando guerra. Cada crimen que resuelve o no (resuelve), todavía piensas que lo siguiente que va a hacer es simplemente…morir.
  3. La agonía mental de Wallander se debe en parte a su sensibilidad hiper-sensible por las víctimas de los crímenes, y a su inclinación por la introspección existencial mientras contempla su entorno.
  4. Hay un desequilibrio hacia detectives varones, pero cuidado eso no significa que no haya escritoras que escriben sobre detectives (sobre detectives mujeres o varones). Como en el caso de otros muchos otros detectives, el hogar de Wallander no es un ejemplo de armonía (para otro día dejaré el analizar este asunto, muy relacionado con el trabajo de investigación o evaluación y el equilibrio familiar). Walander es desordenado tanto en sus hábitos de sueño (duerme poco), como en sus hábitos alimenticios: toma café continuamente, come a deshoras y cualquier cosa (es adicto a la comida rápida). Su esposa lo dejó por otro hombre, tiene una relación difícil (lamentable) tanto con su hija Linda, como con su padre envejecido, cuyas capacidades mentales están fallando rápidamente. Entonces, ¿cuál es la atracción? Quizás es su autodestrucción intransigente, sus lamentables relaciones personales, su  incapacidad para mantener cualquier relación femenina lo que tanto fascina. Wallander es absolutamente insalvable. .
  5. Kurt Wallander tiene pocos verdaderos amigos y aunque tiene trazas de humor, no es exactamente la alegría de la huerta. Sin embargo, hay destellos de optimismo en la oscuridad de su alma, y ​​es capaz de ocasionalmente intentar la apariencia de una vida “normal”. Su hija logra convencerlo de tener algunas citas y, en efecto, aunque dado lo absorbente de su labor policial parece que el amor no va con él, Wallander siente y tiene expectativas profundas hacia sus eventuales citas…y aunque se dé cuenta de que no presta suficiente atención al lado sentimental, paradójicamente se pregunta por qué fracasa continuamente.
  6. El teléfono de Wallander tiene un tono de llamada único. Es apropiado que su tono de llamada sea diferente a cualquier otro, porque enfatiza lo importante que es su teléfono para él. Es una conexión permanente con el lado oscuro, un recordatorio permanente de que un nuevo caso, una nueva pista, un nuevo giro diabólico pueden ocurrir en cualquier momento, sin importar dónde se encuentre. Lo más saludable sería que Wallander cambie su forma de ser, pero ser “saludable” no es lo que va con este obstinado detective bueno. Resolver casos y luchar sin cesar con su pasado… eso es lo que le va.
  7. Wallander es sistemático en la documentación de sus informes. Cuando descubre que su hija escribe poesía su reflexión es que él mismo escribe mucho y de forma metódica, pero solo informes de policía. En su enfoque de investigación es intuitivo, sensible (a veces incluso quiere sentir lo que pasó cuando visita escenas del crimen), persistente y  busca sistemáticamente un modus operandi. Su forma de liderar equipos es peculiar ya que pone al límite a su grupo (reuniones de trabajo durante los fines de semana hasta la madrugada), pero sabe ser generoso y distribuye el trabajo según el valor añadido de cada cual. Podríamos decir que como tantos otros detectives, es un evaluador con un método ( “Profundizar normalmente nos lleva hacia adelante” (La Pirámide)), pero también con duende (sus hallazgos son una mezcla de azar, casualidad, obsesión y perseverancia): como decía Picasso “cuando llegue la inspiración que me encuentre trabajando”. Wallander sigue las pistas (los patrones de comportamiento) hasta la extenuación, hasta que no dan más de sí, bien porque llevan a una vía muerta…o bien porque nos dan las conclusiones correctas (o porque estamos cerca del final del libro que no queremos que termine (i)

¿Cómo no encontrar paralelismos de algunos de los puntos anteriores con la evaluación?. El oficio de evaluación conjuga también trabajo en equipo con períodos de trabajo en solitario. Es a veces  difícil dejar de pensar en el caso (de estudio) que se tiene entre manos, ya que todo el tiempo es poco y siempre hay nuevas perspectivas o matices que añadir. Con la actual tendencia a trabajar a través de asociaciones de evaluación o grupos de colegas, tenemos nuestra propia red, es nuestra conexión permanente con el “lado oscuro”, con nuevas pistas para nuevos casos.  Y para finalizar, en este oficio de la evaluación a veces también intentamos la apariencia de una vida “normal” (cuando raro es el evaluador(a) que no es un freaky consumado).

Bueno pues quizás algun@ podáis ver también alguna similitud más…y comentarnos 🙂

Todos tenemos un poco de Mankell/Wallander dentro de nosotros. Larga vida a Mankell, larga vida a ese personaje tan real y ya no tan de ficción: Kurt Wallander. Prueba de ello es que ya ha sido encarnado en las pantallas por tres actores diferentes:

Kurt Wallander (Rolf Lassgard, Kenneth Branagh y Krister Henriksson), de Henning Mankell

Mankell murió en 2015 a los 67 años, dejándonos un poco solos, con un Wallander en decadencia y con la misma enfermedad que tuvo su padre…A Wallander  se le diagnostica diabetes y hacia el fin de su carrera sufre de pérdidas de memoria debidas al Alzheimer.

Mankell con refugiados congoleses en Uganda

…y para los que piensen que las novelas policíacas no son suficientemente intelectuales, porque no hablan de Scriven, Greene, Weiss, House, Stake, Stufflebeam o de Patton…pues ahí  va esta Cumbiera intelectual:

La gestión del conocimiento de las evaluaciones


Ya discutimos en el post Evaluación y Gestión del conocimiento, ¿moda o necesidad? la diferencia entre gestión del conocimiento y evaluación. Vamos a dar una vuelta de tuerca para hablar de la gestión del conocimiento de las evaluaciones. Este tema es la introducción de mi publicación “La gestión del conocimiento de las evaluaciones: Teoría, retórica y práctica” (Rodríguez-Ariza, 2014)

La aplicación sistemática de marcos de gestión del conocimiento podría añadir más valor al uso de las evaluaciones. Podemos considerar que un proceso evaluativo es de calidad cuando cumple principios como el rigor, la credibilidad, la utilidad, el uso, y la integración o participación de las partes interesadas. Por tanto, la calidad de los procesos evaluativos viene determinada por varios factores, uno de los cuales es el uso. Aunque en la práctica la línea divisoria entre dichos principios es muy sinuosa, también es cierto que podemos encontrar evaluaciones creíbles y rigurosas que no han sido utilizadas e, inversamente, encontramos que se han utilizado recomendaciones basadas en procesos poco rigurosos, pero de alta credibilidad. Incluso el hecho de que una evaluación sea “útil”, no significa que se utilice. Este post se centra específicamente en la gestión del conocimiento de las evaluaciones que permite la utilidad y uso de dichas evaluaciones.

¿Tiene sentido tratar la “gestión del conocimiento” de las evaluaciones más allá del mero ”uso”? Aunque gestión del conocimiento y uso son términos que se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones”, añade matices que no incorpora el concepto de “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones, porque el conocimiento surgido del proceso evaluativo debería ser recopilado, almacenado, ordenado, sistematizado, accedido, compartido, comunicado y difundido para poder ser utilizado de forma óptima y desde los primeros pasos del diseño evaluativo. Y entonces estamos hablando de una estrategia de gestión del conocimiento de las evaluaciones que para ser operacionalizada ha de contar con agentes de cambio, esto es, de gestores de la evaluación o brokers/gestores del conocimiento surgido de la evaluación. Aun así el concepto de “gestión del conocimiento” tiene tantos registros que también es un campo a acotar: (1) qué entendemos por conocimiento, usos y usuarios del conocimiento, (2) quién y para qué se construye el conocimiento.

La gestión del conocimiento optimiza los usos, las formas de usar, los usuarios y los momentos de uso de las evaluaciones. Las evaluaciones se pueden utilizar (a) de muchas maneras diferentes (ya vimos en otro de mis post los tipos de usos evaluativos), (b) por actores diferentes (directos o indirectos), (c) en momentos diferentes (corto, medio o largo plazo). Las recomendaciones pueden no ser seguidas inmediatamente, pudiendo existir usos difusos en el más largo plazo.

La institucionalización de la gestión del conocimiento de las evaluaciones en la estructura y cultura de la organización es un factor clave para mejorar su uso. El conocimiento de las evaluaciones está subutilizado por lo que la gestión del conocimiento tiene amplio margen para mejorar la utilización hacia la mejora y el cambio.

El trazar el aprendizaje y utilidad con respecto a las evaluaciones es complejo, no es una tarea sencilla y directa:

(1) el conocimiento que se utiliza para la toma de decisiones proviene de muchas fuentes, no sólo de las evaluaciones;

(2) con una correcta gestión del conocimiento de las evaluaciones, el conocimiento generado en cualquier contexto de la intervención evaluada puede ser aplicado un tiempo después en un contexto totalmente diferente al de la intervención;

(3) además si una evaluación fue importante para la toma de decisiones en el pasado, esa evaluación puede carecer de importancia o ser olvidada un tiempo después;

(4) la acumulación de evaluaciones útiles pero no utilizadas es frustrante sí, parecer inútil, pero una sistematización posterior puede dar lugar finalmente a importantes toma de decisiones.

La siguiente lista nos da pistas sobre elementos a asegurar para poder realizar la gestión del conocimiento de las evaluaciones. Elementos a sistematizar para la gestión del conocimiento de las evaluaciones (Adaptado a partir de Baguna en Visser et al, 2014:27):

1.Saber cómo: procesos, procedimientos, técnicas y herramientas que podemos utilizar para desarrollar e implementar calidad en el sistema de Evaluación con potencial para la alta utilidad

2.Saber por qué: visiones estratégicas para comprender el contexto de los roles de los actores implicados y el valor de sus acciones. Se necesita hacer un análisis de situación, acordando el propósito del sistema de Evaluación, e internalizando el por qué una evaluación se va a realizar (y no otro tipo de actividad similar)

3.Saber qué: son los hechos, datos, conocimientos, aprendizajes o prácticas que se quieren compartir y utilizar de las evaluaciones

4.Saber quién: incluye el conocimiento sobre relaciones, contactos, intermediarios, campeones, intermediarios y redes para mejorar el uso de las evaluaciones

5.Saber dónde: es la habilidad para navegar y encontrar la información correcta en las evaluaciones para la acción o toma de decisión efectiva.

6.Saber cuándo: es el sentido del tiempo, de la ventana temporal, para la correcta utilización de las evaluaciones, para tomar una decisión, o para parar algo.

Un marco de la gestión del conocimiento de las evaluaciones sería un sistema completo de personas, tecnología y procesos/gestión, que asegure que la gestión del conocimiento de las evaluaciones se aplica de forma sistemática y eficaz para aplicar y utilizar las evaluaciones (su diseño, proceso, sus resultados en su contexto y estructura evaluativa). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Marco de gestión del conocimiento

Marco de gestión del conocimiento

 

Marco de la gestión del conocimiento (Basado en Milton, 2010):

1.Las personas y los gestores del conocimiento: Tienen que establecerse en la organización (1) las personas responsables , (2) las funciones de gestión del conocimiento, siendo necesarias comunidades de prácticas para compartir y reutilizar el conocimiento tácito, comportamientos tales como la búsqueda y el intercambio de conocimientos necesitan ser incentivados, y para convertirse en “ la forma de trabajar.

2.Los procesos de gestión del conocimiento: tiene que haber un proceso validado y probado para la captura, destilación, análisis, almacenamiento, aplicación y reutilización el conocimiento, y también para innovar.

3.Las tecnologías de gestión del conocimiento: las personas y el proceso deben ser apoyadas por la tecnología, que permita que el conocimiento que sea encontrado y accesible (en bases de datos, en la Intranet, en determinadas personas). Desempeña un papel importante en la gestión del conocimiento, al proporcionar la tecnología para permitir que la gente se comunique.

4.El gobierno de la gestión del conocimiento sin un sistema de gobernanza que promueva y reconozca el intercambio y la reutilización del conocimiento, todo intento de introducir la gestión del conocimiento será más difícil.

A continuación presentamos como ejemplo de marco de gestión del conocimiento de evaluaciones a nivel internacional la plataforma web DEREC (DAC Evaluation Resource Center), la base de datos de evaluaciones de la Red de Evaluación del CAD/OCDE (Evalnet) (CAD-Comité de Ayuda al Desarrollo):

1.DEREC es un almacén de evaluaciones, en el que de forma amigable se pueden hacer búsquedas empleando filtros (por país, sector, organismo comanditario).

ŸŸ2.El gobierno de DEREC lo tiene la Red Eval Net

ŸŸ3.Los gestores de DEREC son parte de la Secretaría de Evalnet (funcionarios del CAD). También realizan su mantenimiento.

ŸŸ4.Los procesos de gestión del conocimiento: en Evalnet se hace un seguimiento del funcionamiento de DEREC, se anima a (1) introducir nuevas evaluaciones a los miembros de Evalnet, (2) a obtener información sobre las actividades de evaluación de otros miembros, de cara a realizar planificaciones conjuntas de evaluaciones entre los miembros de Evalnet.

ŸŸ5.La tecnología: DEREC es una base de datos robusta a la que se van subiendo las evaluaciones de organismos bilaterales y multilaterales.

Pues hasta aquí llegamos esta semana…y que de entre toda esta teoría, retórica y práctica recordemos al menos allí donde solíamos gritar…

 

REFERENCIAS CITADAS

Milton, N. (2010). Knoco stories. From the knowledge management front-line. Retrieved Enero 2014

Rodríguez Ariza, C.  (2014). La gestión del conocimiento y el uso de las evaluaciones. Teoría, Retórica y Práctica. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo

Visser, I; Kusters, C.S.L; Guijt, I; Roefs, M; Buizer, N. (2014). Improving the Use of Monitoring & evaluation processes and findings

 

 

Las islas del conocimiento y el proceso de aprendizaje


En ocasiones nos pasa que tenemos muchas ideas que contar pero nunca encontramos el momento o la manera de hacerlo. Incluso puede que las anotemos en diferentes formatos (desde una servilleta de papel, el cuaderno de toda la vida o hasta el OneNote). Pero paradójicamente también nos sucede que nos sentimos paralizados llegado ese momento de la creación en el que uno ha de encontrar el estado de ánimo, el tiempo y el espacio para contar algo especial, diferente, único, algo digno que decir y ser contado.

Quiero que este post sea mi reentrée, después de un tiempito, y siendo especial no contaré nada de especial, sino más de lo mismo.

Empiezo con una referencia a un post de ese enorme blog que es Brain Pickings…titulado “The islands of Knowledge: How to live with mystery in a culture obsessed with certainty and definitive answers” (Las islas del conocimiento: Cómo vivir con misterio en una cultura obsesionada con la certeza y las respuestas definitivas):

Para ir más allá de lo conocido, tanto Newton y Einstein tuvieron que tomar riesgos intelectuales, haciendo suposiciones basadas en la intuición y juicios de valor personales. Y el que así lo hicieran, a sabiendas de que sus especulaciones teóricas eran necesariamente defectuosas y limitadas, ilustra el poder de la fe en el proceso creativo de dos de los más grandes científicos de todos los tiempos. En mayor o menor medida, todas las personas empeñadas en el avance del conocimiento hacen lo mismo. Marcelo Gleiser The Island of Knowledge: The Limits of Science and the Search for Meaning

Me quedo con eso de que en mayor o menor medida, todas las personas empeñadas en el avance del conocimiento hacen lo mismo. Pienso en la relación con la evaluación, donde parece que todo tiende a estar estandarizado, pero donde por ahora no se han podido crear evaluaciones estándares, porque cada evaluando, cada evaluador y cada evaluación son únicos…porque depende tanto del factor humano, organizacional y psicosocial que envuelve a cada evaluando, cada evaluador y cada evaluación.

Además a pesar de los estándares, durante el proceso evaluativo también se tienen que tomar riesgos intelectuales, lanzando hipótesis basadas en la intuición, con aproximaciones sucesivas, a sabiendas de que nuestras especulaciones teóricas son necesariamente defectuosas y limitadas.

Hace poco una colega evaluadora me decía que no estaba contenta con su nivel de desempeño: Supongo que rodeados de tantos estándares pocas veces podemos estar satisfechos, y aunque vayamos mejorando en nuestra adopción de estándares, intuyo que nunca dejaremos de seguir tomando riesgos.

Y sin más postureo me despido espero que hasta pronto, no sin antes recordar algo de cine y música: ii 80 cumpleaños de Robert Redford ii (no somos nada) y el 61 cumpleaños de Manolo García (a muchos no les dirá nada, pero es ya una leyenda…el último de la Fila)

Y quiero pensar que si continuamos el proceso de aprendizaje nunca el tiempo es perdido

Y tras casi acabar este post, por qué no decirlo, me siento de nuevo como un halcón llamado a la filas e la insurrección ii …y es que ya os decía que era algo especial

 

 

A veces nos pasa evaluando. Contradicciones de un soldado de fortuna…digo, de un evaluador independiente


Uno empieza a tener historias que contar como el abuelo cebolleta, contar cuentos y aventuras de esta profesión de evaluación que pocos fuera entienden. Me han ofrecido la oportunidad de intercambiar sobre experiencias en evaluación en la próxima conferencia de la RELAC, cuando justamente ya tenía esbozado este post, sirva pues como adelanto…

A veces olvido que la empatía es un prerrequisito, una condición necesaria para el oficio de evaluación…demasiados prejuicios, ideas preconcebidas…antes la pregunta, la discusión, el conocimiento, luego juzgar, como en la vida misma.

A veces llaman a tu puerta y te dan una evaluación llave en mano – ¡¡¡¡ – A veces preparas propuestas muy buenas durante días y ni siquiera te dan las gracias…

A veces haces conclusiones y recomendaciones, y unos contentos y otros se rasgan las vestiduras, en fin nunca llueve a gusto de todos…una vez aprendí de un gran profesional que no estamos en esto de la evaluación para hacer amigos –al menos como primer objetivo claro, amigos se pueden hacer y muchos…

Cuánto cuesta tener suficiente autoconfianza y dejar de pensar que no eres sólo tu último trabajo de evaluación, que no pasa nada por pifiarla una vez, que somos algo más, un camino, no un momento ni un lugar. A veces como evaluadores nos pegan palos hasta en el carnet de identidad y donde menos te lo esperas…pero no pasa nada…nada  ¡¡¡¡

Uno ha de estar enfocado a la utilización y al servicio al cliente, esto incluye a veces el servicio post venta…A veces cuando crees que el proceso evaluativo ha terminado no paran de llamarte para que respondas a los comentarios de este actor que -lo siento- no respondió a tiempo, o para que hagas una nueva presentación o un nuevo informe de evaluación en formato página, díptico o tríptico…y otras he tenido que indicar reiteradamente –y sin éxito- a la organización evaluada, que debemos hacer una presentación como parte del proceso de validación…

A veces me he encontrado con que el gestor de la evaluación era el gestor del proyecto…y, mira por dónde, te cuestionaban las conclusiones cuando se referían a retos, pero no cuando se referían a fortalezas… y no ha sido nada, nada fácil…

A veces me he encontrado con gestores de evaluación encantadores, con los que se establecía una relación de confianza y colaboración…y de aprendizaje…y a veces con otros con los que no había tanta confianza, ni colaboración…y el aprendizaje era menor…empezando por aquella vez cuando en la primera reunión nos dejaron bien claro que éramos el menos malo de los equipos evaluadores…pues vaya…

A veces el gestor me ha dejado libertad de actuación y otras me han tenido hablando durante horas y horas hasta el amanecer…debido a la diferencia horaria entre las dos orillas del gran charco

A veces he encontrado evaluaciones bien pagadas, otras muy mal pagadas, es increíble este desfase…es un error táctico meterse en una evaluación mal pagada, ya es un indicador de que todo puede funcionar mal, además no significa que luego te vayan a exigir menos, aunque la otra parte, el pagador, no haya cumplido su parte de valorar correctamente tu trabajo…

A veces he encontrado en los proyectos que he evaluado rastros de algo parecido al enfoque de género…pero en muchos el género se ha evaporado en el camino…

Yo prefiero el adjetivo independiente, que el sustantivo consultor. A veces ser independiente te da la oportunidad de comunicarte y tener voz, tu voz, tanto de forma oficial como oficiosa, a través de las asociaciones de evaluación –VOPES-, por ejemplo…y a veces ser independiente te introduce en una caverna de aislamiento, en la soledad del corredor de fondo – no estoy solo, me tengo a mí y a mis circunstancias..a todo -todas y todos- lo que llevo a mis espaldas y en mis pies y en mis manos…aunque no está mal a veces llamar por teléfono a los colegas claro

A veces las compañías aéreas engañan…cualquiera un poco viajado lo sabe…Quatar Airways o Emirates..son MUUUUUUUUUUUCHO mejores que IBERIA o American Airlines…otro día hablaremos de la tortura que supone pasar por ciertos países o aeropuertos…donde a uno le hacen sentir como a un delincuente…

SIEMPRE. SIEMPRE he conocido nuevos horizontes y gentes, he aprendido algo nuevo en cada evaluación o proceso evaluativo, algo que cambiar, algo que mejorar…

A veces eres lo que comes, otras eres lo que lees o lo que escuchas. Bueno pues os dejo con este A veces de hace un tiempo, de todos los tiempos…os dejo con la senda del tiempo.

Asociacionismo en evaluación –capítulo primero


He vuelto de la conferencia de la Sociedad Europea de Evaluación en Dublín con sentimientos algo contradictorios.
Ésta es la quinta conferencia de la EES a la que acudo. Sevilla 2002 siendo doctorando, Berlín 2004 doctorando, Lisboa 2008 siendo gestor de evaluaciones para la DGPOLDE, Praga 2010 siendo gestor de evaluaciones y…Dublín siendo evaluador independiente…
Hay gente que he seguido viendo desde hace doce años y otras caras nuevas. Lo que no ha dejado de cambiar es la comida y el precio…
-La comida…ya ha ganado el estilo anglosajón del MAL-comer en el que si no eres nórdico o anglosajón, ni comes ni haces networking…
-El precio…desde alrededor de 300 hasta más de 500 euros…y eso lo indiqué en la asamblea de miembros, que una conferencia que se centraba en la equidad no puede tener esos precios claramente injustos, 1. Porque cobra igual a un miembro del Banco Mundial al que financia su institución, que a un consultor independiente con familia numerosa, que no tiene asegurado sus ingresos para el próximo mes. 2. Porque da becas a personas de lo que denominan países en desarrollo sin incluir criterios de renta para ello…iguales pero diferentes…
Pero el precio de la conferencia es la punta del iceberg del problema del número de socios…Me queda claro que el tema del asociacionismo en evaluación no se ha resuelto ni en España ni en Europa. La EES necesita más socios dinámicos y proactivos y menos precio en sus cuotas…
Podríamos correr el riesgo de pensar que el asociacionismo no sirve…pero aplicando el esquema del cooperativismo agrario en el que se decía lo mismo, la misma respuesta puede servir…solo nos acordamos del asociacionismo cuando las cosas van mal…y cuando las cosas van mal, nada funciona…
El tema del asociacionismo en evaluación está de moda…en España tenemos la Sociedad Española de Evaluación y dos asociaciones o redes nuevas de dos másteres o magísteres de evaluación, la red internacional de evaluación y la asociación de profesionales de evaluación. Ello en ciernes del 2015, año internacional de la evaluación y el proceso Evalpartners…
Y ese es otro tema, como conseguir que las asociaciones cumplan su importante función social…cuando es una necesidad clara en nuestro gremio que como tantos otros en España no tiene carrera profesional y está fragmentado, dividido, desconfiado…que vive más del oportunismo que del desarrollo de oportunidades…
Más que nunca necesitamos del asociacionismo para aumentar nuestro capital social, humano y técnico, aumentando la capacidad de análisis, escucha, respuesta y servicio. Pero no debe ser fácil cuando hasta ahora no se ha llegado a las bases con una propuesta de verdadero trabajo en red y mutuamente beneficiosa, en la que se den soluciones de forma proactiva a problemas comunes o colectivos, en el que las bases se involucren de forma también proactiva y los boards o élites dirigentes, actúen para el pueblo y con el pueblo, y en representación de y con sus miembros…para ello haría falta –entre otras cosas – un ejercicio importante de mutua rendición de cuentas y aprendizaje- una dosis de nuestra propia medicina, vamos, de EVALUACION- Una evaluación de lo que este tipo de asociaciones o redes de evaluación han querido y venido haciendo, de su público objetivo deseado y real…pero esa es otra historia que tendrá que ser contada en otro momento…

Usos y abusos de las evaluaciones: Teoría, Retórica y Práctica


Con la misma editorial que publicó parte de mi tesis sobre la gestión de la información en las organizaciones de desarrollo, estoy en estos momentos completando otra publicación sobre “la gestión del conocimiento y el uso de las evaluaciones”.

Aunque aparece en repetidas ocasiones en el lV plan Director y en el Plan de Evaluaciones de la Cooperación Española, no hay mucha literatura que hable explícitamente sobre la “gestión del conocimiento de las evaluaciones”(os animo a sentir lo frústrante que es googlear “knowledge management of evaluations”). Sin embargo al contactar con algunos colegas a nivel internacional, la mayoría me refieren al concepto de “uso de las evaluaciones”.

La discusión en torno al “uso de las evaluaciones” es un tema que ha sido y sigue siendo importante en el mundillo de los locos de la evaluación. Así está reciente la publicación que recoge una buena sistematización en castellano:“Determinación de los principios básicos para lograr una mayor calidad y utilización de las evaluaciones” de mi colega Rafael Monterde (mundialmente conocido por su blog Evaluateca). Recientemente (2013) ha sido publicado el libro “Enhancing Evaluation Use” con Marlène Läubli Loud y John Mayne como editores.

Finalmente el próximo mes, los días 20 y 21 de marzo tendrá lugar la conferencia CDI Conference: Improving the use of M&E processes and findings, organizada en Wageningen por el equipo de Cecile Custer.

Pero volviendo a la “gestión del conocimiento” de las evaluaciones: ¿tiene sentido tratarlo más allá del mero”uso”? Creo que sí porque, aunque se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones” añade matices que no tiene el “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones. Porque el conocimiento surgido del proceso evaluativo·”debería” ser recopilado, sistematizado, almacenado y difundido…para poder ser utilizado de forma óptima. Y entonces estamos hablando de una estrategia de gestión del conocimiento y de agentes de cambio, esto es de gestores (de la evaluación o del conocimiento surgido de la misma). Aun así el concepto de  “gestión del conocimiento” tiene tantos registros que también es un campo a acotar (qué entendemos por conocimiento, usos y usuarios del conocimiento, quién y para qué se construye el conocimiento, el conocimiento tiene claras implicaciones de género)

Retos de la gestión del conocimiento

¿Cuáles son los mayores obstáculos para la gestión del conocimiento de las evaluaciones? De nuevo Nick Milton nos indica algunos: (1) El conocimiento se concibe como poder individual o no colectivo. (2) El sub-óptimo rol de lo colectivo y las nuevas relaciones, del trabajo en equipo y la colaboración. (4) El enfoque local no se percibe como oportunidad para el desarrollo de comunidades de práctica. (5) Respeto y relación de confianza como principios de los intercambios. (6) Las personas, a menudo con mucha razón, tienen miedo de que los fallos o errores se penalizarán, y por lo tanto no están dispuestos a compartir lo que pueden ver como un fracaso. (7) Los trabajadores sienten que no se les paga para compartir. (8) Las personas que sienten que no tienen tiempo para compartir. Esta es una barrera muy real, ya que la mayoría de la gente está ” a tope ” en todo momento. Así que tenemos que hacer que el intercambio de conocimientos tan rápido y eficiente como sea posible, porque realmente no tenemos tiempo para no compartir.

También según Milton un marco de la gestión del conocimiento es un sistema completo de personas, procesos, tecnología y gestión, que asegura que la gestión del conocimiento se aplica de forma sistemática y eficaz para aplicar y utilizar la evaluación (su proceso y sus resultados). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Usos y abusos de las evaluaciones

Como se indica en el libro de Lübli y Mayne, la deficiente utilización de las evaluaciones en las organizaciones es un tema recurrente en la literatura sobre evaluaciones. Y los artículos sobre evaluaciones de éxito en las organizaciones son más difíciles de encontrar; quizás debido a los desincentivos para hacerlo o porque cuando se hace, por muy bien que se haga, parece ser “documentación gris”, propaganda o panfletos institucionales vamos. Pero en esa dirección, en la de evaluaciones exitosas, en este momento se están desarrollando interesantes procesos como el de las evaluaciones que marcan la diferencia.

Volviendo a la deficiencia del uso, por un lado la literatura da pistas sobre cómo solventar esos retos, algunos pasan por: (1) producir mejores evaluaciones, (2) acercarse a los decisores políticos, (3) construir una cultura de evaluación, (4) comunicar mejor. Hay además otro cuerpo de publicaciones sobre aprendizaje organizacional que se centra en (1) cómo aprenden las organizaciones, (2) cómo la evaluación se relaciona con el aprendizaje organizacional. Mi experiencia es que a problemas complejos, soluciones complejas (cualquier estudiante de álgebra o cálculo lo sabe). Los retos de la vida real son una mezcla de los anteriores más unos cuantos más…empezando por la existencia o no de verdadera voluntad de cambio en los dirigentes, líderes o mandamases que centralizan poder y decisiones…aunque en menor medida centralicen rendición de cuentas…

Usos y usuarios, Racionalidad y Motivación de las evaluaciones

El uso de las evaluaciones está directamente relacionado con quién, qué, por qué, para qué se usan y se implican en las evaluaciones.

¿Quiénes usan las evaluaciones? ¿Qué usos? Los usuarios y los usos están relacionados. Podemos encontrar (a) usuarios de evaluación esperados o intencionales o intencionados (implicados o no), (b) usuarios no esperados, lo que también se llama “otras audiencias”. En este segundo apartado es en el que se diferencia la “Evaluación Enfocada a la Utilidad” (recordemos aquí a Ricardo Ramírez y Dal Brodhead  por no citar siempre al omnipresente Patton) y la “Gestión del Conocimiento de las Evaluaciones” en sentido más amplio. Y éste es uno de los grandes retos: ¿Por qué desde hace años las evaluaciones en todo el mundo vienen repitiendo las mismas conclusiones y recomendaciones?¿Por qué no se aprende ni del mal ajeno ni del propio? ¿Cómo lograr que utilicen la evaluación grupos o individuos que no se han implicado directamente en el proceso evaluativo?

Relacionado con el tipo de uso, hay muchas clasificaciones en base al uso de las evaluaciones (es especialmente interesante la “Investigación sobre el uso de las evaluaciones” de Johnson et al (2009)). También hay instituciones como el CAD (The DAC Network on Development Evaluation – 30 years of strengthening learning in development), UNEG (Report of the UNEG Evaluation Practice Exchange (EPE) 2013 Seminar), ECG (Knowledge Generation and Sharing by Multilateral Development Banks) o el propio DFID (ODI: Strengthening learning from research and evaluation: going with the grain ) que han profundizado en esa dirección. Mi ambición ha sido tener una visión sistémica, tratando de comprender la teoría del cambio de la evaluación y el rol del conocimiento que va surgiendo en cada una de sus fases. Esto puede dar cabida a todos ellos, y de alguna forma contiende tanto los postulados de los más recientes y completos marcos teóricos sobre el uso de evaluaciones (como los de Kirkhart (2000) y Henry & Mark (2003). Por ello enfoco la gestión del conocimiento de la evaluación situada en un marco que divide el contexto, diseño, proceso, estructura y resultados de la evaluación. El propio manual de gestión de evaluaciones de la Cooperación Española tiene un marcado enfoque de “proceso” evaluativo. En este proceso podemos distinguir la fase de (1) diseño evaluativo (que culmina con la realización de los TdR y la selección del equipo evaluador y su propuesta), (2) la ejecución de la evaluación y (3) la difusión y comunicación de resultados. Aunque cuando la gente piensa en una evaluación tiene en mente la parte de la ejecución, cuando se piensa en “el uso”, nos solemos centrar en la parte de difusión y comunicación. Sin embargo la gestión del conocimiento de la evaluación comienza en su fase de diseño. Claro está que esta gestión del conocimiento puede ser emergente o planificada. El conocimiento que surge en cada fase, puede ser gestionado o no y puede ser utilizado o no. Hay muchos usos o utilidades normalmente olvidados, basados en conocimiento tácito, por citar dos ejemplos: (1) los evaluadores externos independientes de recopilar y aprender las ofertas ganadoras en las licitaciones, (2) los gestores de la evaluación de sistematizar fortalezas y debilidades de los a veces poco participativos comités de seguimiento de las evaluaciones.

En cada una de estas tres fases a su vez, adaptando a partir de Verdung (1997), el uso de la evaluación puede ser: (1) Uso directo e interno, para la toma de decisiones inmediata de los usuarios esperados (uso instrumental), (2) Uso indirecto interno o externo, para usuarios no esperados u otras audiencias más amplias (uso conceptual), (3) Uso de proceso y (4) Uso retórico, ya que se evalúa porque hay que evaluar, de cara a la galería, pero sin pretender en realidad un propósito más allá de la autojustificación o autolegitimación (uso justificativo, legitimitativo, ritual, simbólico…). Este cuarto uso es considerado como ilegítimo, es decir como un “abuso” evaluativo, aunque por desgracia predomine mucho. Sin embargo hemos de señalar que en determinados “contextos y estructuras” en las que se da el proceso evaluativo no se da la más mínima opción a los otros tres tipos de uso. Contandriopoulos & Brousselle (2012) en su “Evaluation models and evaluation use”,  describen algunas de las barreras impuestas  por el “contexto del uso”: ideología y actores polarizados, que da lugar a la inexistencia de arena política para discutir y presentar de forma honesta fracasos y logros .

La capacidad de influencia por la gestión del conocimiento de las evaluaciones

En un mundo ideal desde el diseño de la evaluación se establecería una estrategia de gestión del conocimiento, con el fin de (1) establecer usos por fases y de (2) establecer los diferentes niveles de influencia, a “nivel individual, relacional o colectivo”

Dada la importancia de que sea un proceso planificado y no emergente, 3ie y ODI señalan lo ventajoso de que se presente un plan de Influencia política, que identifique: (1) qué cambios (incluyendo la Teoría del Cambio) en la actitud, el discurso, los procedimientos, el contenido de la política o la legislación , o los comportamientos , y (2) a qué partes interesadas o campeones del cambio (los responsables políticos, los medios de comunicación, organizaciones de la sociedad civil, asociaciones profesionales y comerciales clave de política sindicatos, grupos religiosos , etc) se dirigen.

El gran reto es comprender en profundidad la Teoría del Cambio de nuestra evaluación y en especial visualizar antes de tiempo y abrir la caja negra del proceso final de utilización o uso- ¿Podemos tener claro cómo son los procesos de influencia de las evaluaciones?¿En nuestros propias organizaciones, contextos y procesos evaluativos cómo identificar los mecanismos que favorecen los usos que nos proponemos? Tenemos una interesante profundización en el concepto de “mecanismos” de cambio en evaluación basada en teoría de programas en este artículo de Astbury y Leeuw (2010)

Algunas recetas para los inquietos

Aunque lo más importante es resolver los cuellos de botella estructurales, también se pueden dar algunos mecanismos para mejorar el uso de las evaluaciones. Y estos mecanismos son muy variados: Hay muchas maneras de comunicar, compartir o difundir información de las evaluaciones a las audiencias más amplias más allá de los usuarios esperados. Es esencial determinar los mecanismos del cambio que permitan o desatasquen dichos procesos de influencia. Para que la información de las evaluaciones sea fácil de usar ha de ser gestionada de forma que se transforme en un conocimiento de fácil acceso y atractivo para el público. A continuación se presentan algunos productos o procesos de la fase de difusión y comunicación, típicas acciones de gestión del conocimiento, muchas de los cuales pueden ser requisitos para los evaluadores en los TdR: (1) Elaborar diferentes formatos, con resúmenes concisos adaptados a audiencias diversas, en un lenguaje sencillo que permita circular ampliamente (2) Situar en los sitios web públicos de la organización los informes de evaluación y otros productos basados en las evaluaciones, siempre muy claros y a poder ser en las lenguas locales. (3) Organizar reuniones con las partes interesadas para discutir las lecciones de la evaluación. (4) Incorporar hallazgos de la evaluación y las lecciones aprendidas en las publicaciones existentes en la organización, tales como informes anuales, boletines de noticias o boletines. (5) Difundir las conclusiones y lecciones en las asambleas y reuniones anuales y foros con los medios de comunicación. (6) Desarrollar formatos adaptados sobre las actividades, los logros y retos de la organización. (5) Elaborar resúmenes concisos  en un lenguaje sencillo y circular ampliamente. (6) Publicar un artículo para una revista académica con base en los hallazgos de la evaluación. (7) Presentar una ponencia en una conferencia relacionada con el área objeto de evaluación. (8) Invitar a los evaluadores, investigadores y académicos locales a discutir los datos recogidos por la evaluación o para discutir la metodología y los métodos aplicados en la evaluación de la evaluación. (9) Compartir los hallazgos, recomendaciones y lecciones aprendidas en las sesiones y talleres de capacitación del personal, las contrapartes gubernamentales y otros socios. (10)  Compartir las lecciones a través de redes de conocimiento, notas sobre prácticas dentro y fuera de la organización. (11) Elaborar una respuesta de gestión a la evaluación por parte de la organización. Hacer su seguimiento y exponerlo públicamente.

La ficción del desarrollo


“Contar es casi siempre un regalo, incluso cuando lleva e inyecta veneno el cuento, también es un vínculo y otorga confianza” (Javier Marías)

En esta ocasión traigo juntas algunas de mis pasiones: literatura, desarrollo y evaluación. La evaluación tiene de arte y de ciencia. Este post está dedicado a una de las personas que más me han influido tanto por su arte, como por su ciencia: mi padre. De él aprendí por qué subimos las montañas…“porque están ahí”….

La evaluación es una ciencia inabarcable y es un arte que se va perfeccionando y tomando nuevos matices con su práctica (y teoría). Ciencia y arte requieren de altas dosis de suerte y razonamiento. Forma parte de ello el arte y la ciencia de contar historias. Un evaluador ha de saber contar historias. Y es que esto del desarrollo da para muchas historias. El reto es escucharlas, construirlas y contarlas bien…y que te escuchen, que ése es otro cantar. A veces el problema no es la historia o el/la relator/a, sino una audiencia sorda, aunque un buen enfoque evaluativo ha de estar preparado ante tal eventualidad.

Contar historias o relatos nos ayuda a compartir nuestro conocimiento poniéndolo en contexto y dotándolo de emoción. Podemos compartir así conocimiento tácito y explícito. Las historias o relatos por otro lado llaman nuestra atención aumentando la posibilidad de escuchar y aprender. Pero a veces la potencia de contar y escuchar historias deja atrás…hasta los mismísimos RCTs. Y es que una buena narrativa o historia es mejor que muchos documentos, incluidas evaluaciones, especialmente cuando están basados en anécdotas…

Podemos encontrar muchos enfoques en base a contar historias en la evaluación de programas. Y por ejemplo la técnica de los “Cambios más significativos” (Most Significant Changes) se basa en seleccionar historias. La misma evaluación basada en la teoría de programa ha de ser capaz de reproducir la historia de “lo que ha pasado y por qué ha pasado” entremezclando a sus protagonistas: el diseño, el contexto, la estructura, el proceso y los resultados del programa.

Numerosas organizaciones recurren a ello, contando historias “de personas, de gente”, que es lo que más llega “a las personas, a la gente”. Ahora por ejemplo Oxfam Intermon demuestra el poder del arte para contar historias que lleguen a la gente en su proyecto “Un arte que agita conciencias”, en el que reivindica las bondades y necesidad de la cooperación para el desarrollo. A pesar de que no son buenos tiempos para la lírica.

Recientemente en base a una conferencia en el IDS que se emitió en la BBC (Popular Representations of Development: Insights from Novels, Films, Television and Social Media) ha habido un debate en la red KM4Dev sobre la ficción en el desarrollo. Supongo que muchos profesionales del desarrollo tendrán el gusanillo de escribir, aunque serán menos los que se dediquen a ello de forma más o menos sistemática (ya no digo profesional).

Por otro derrotero, pero dentro de la familia Oxfam, en uno de sus recientes posts, “Cautionary-tales-for-development-folk”, Duncan Green habla del libro escrito por un viejo conocido mío, Neil McDonald. Conocí a Neil en una misión en Ecuador para el proyecto Futuros Humanitarios. Este proyecto, Futuros Humanitarios, y la técnica que utilizaba, los “escenarios de futuro“, me recordaba a la técnica de la psicohistoria en esa saga de novelas de Asimov, la Fundación, que leí cuando era más joven (y vuelta a la ficción, los libros, la literatura y al desarrollo…y es que como decía Rilke “nuestra verdadera patria es la infancia”). Entonces, hace casi 7 años, Neil me pareció un escocés sabio y experimentado en temas de desarrollo, del que se podía aprender mucho…(y algo cascarrabias 😉 ). De él escuché el comentario:“Si no fuera por la cantidad de gente incompetente dentro de las instituciones, no habría trabajo para consultores independientes como nosotros”. Claro que en se dan casos como el de España en el que los consultores o asesores a menudo son más incompetentes que los funcionarios.

Otro de los comentarios que recuerdo de Neil fue: “En el mundo anglosajón, todo trabajador humanitario o del desarrollo acaba publicando un libro”.  No se refería a un libro sobre el desarrollo, sino a ficción, cuentos, novelas…Pues parece que Neil ya ha hecho realidad la publicación de sus sueños. “Cautionary-tales-for-development-folk” es su libro de ficción.

Pero hay muchas formas de contar la misma historia, de ahí el actual auge en evaluación de tendencias como la visualización de datos, infografías y comics. Pero esa es otra historia y tendrá que ser contada en otro momento.