Asimetrías en la rendición de cuentas


Cerramos aquí el ciclo iniciado en dos posts anteriores:  “La rendición de cuentas: ese palabro…” y el post “La mutua rendición de cuentas: ilusión o realidad años después, analizando las asimetrías en la rendición de cuentas.

Un tipo de rendición de cuentas olvidada es la “interna y de arriba a abajo”. La forma de gestionar la cooperación es diferente si se prima la rendición de cuentas sobre el aprendizaje. Intentar satisfacer la rendición de cuentas y el aprendizaje al mismo tiempo es difícil. Para observar las características diferenciales de la evaluación como aprendizaje o rendición de cuentas se recomienda Cracknell (2000:57).

Siendo la rendición de cuentas necesaria, no es lo mismo un enfoque de seguimiento y evaluación centrado en satisfacer a otros agentes de los que dependes y a los que rindes cuentas, que centrarse en primar más el aprendizaje de las lecciones para mejorar el desempeño (Cassen, 1985 en Cracknell, 2000). La primera, la rendición de cuentas, tiende a mirar hacia el pasado y a buscar errores, mientras que el segundo, el aprendizaje, tiende a basarse más en la crítica constructiva hacia el futuro. Sin embargo aunque la información resultante en cada una de estas orientaciones puede no ser utilizable en la otra (Binnendijk, 1999), se puede llegar a un equilibrio o compromiso en el que la exigencia de rendición de cuentas puede implicar aprendizajes y el aprendizaje puede llevar asociado la rendición de cuentas. De esta forma aprendizaje y rendición de cuentas son dos caras de una misma moneda que, bien utilizada, sirve para mejorar la organización.

La Declaración de París indica que “una de las mayores prioridades para países socios y donantes es ampliar la rendición de cuentas y la transparencia en la utilización de los recursos para el desarrollo” (2005). Para ello, señala que “los donantes se deberían comprometer a proporcionar información transparente y completa en tiempo oportuno sobre los flujos de la ayuda con el objetivo de que las autoridades de países socios puedan presentar informes presupuestarios completos a sus parlamentos y ciudadanos. Asimismo tanto donantes como socios se deberían comprometer a evaluar conjuntamente los avances de la implementación de los compromisos acordados sobre la eficacia de la ayuda al desarrollo, incluidos los compromisos de cooperación.

O´Donelll (1999 en Toledano et al., 2008:17) distingue entre rendición de cuentas horizontal (RCH) y vertical (RCV). La rendición de cuentas horizontal es la relación entre iguales de control entre agencias del estado, y la rendición de cuentas vertical es la relación entre desiguales (superior-subordinado o principal-agente) y de control de la sociedad hacia el estado. Los mecanismos de rendición de cuentas vertical se refieren a

(1) la rendición de cuentas electoral o

(2) la rendición de cuentas social o capacidad de los subordinados y de la sociedad para vigilar, interpelar y sancionar a los superiores si no cumplen con las normas.

El mecanismo más común de rendición de cuentas hacia los donantes, por medio de informes de seguimiento o finalización y evaluaciones ex-post, sirve sobre todo para propósitos funcionales porque se centran en la rendición de cuentas de los fondos y en medir impactos de corto plazo. Sin embargo la rendición de cuentas de las ONGD hacia los donantes debería ser más flexible e innovadora, y se podría realizar, en la práctica, no sólo a través de informes, evaluaciones y valoraciones del desempeño, sino también a través de la puesta en valor de la participación (como un fin y medio de desarrollo), por medio de la auditoría social (que se basa en la rendición de cuentas entre organizaciones y gentes) y la autorregulación (a nivel de sector). Cada uno de estos últimos mecanismos se distingue por sus herramientas, sus procesos, el tipo de rendición de cuentas (hacia arriba, hacia abajo, interna, externa, funcional y estratégica).

Como indica Ebrahim (2003) la rendición de cuentas en la práctica ha priorizado los aspectos “externos y de abajo a arriba”, mientras que los mecanismos “internos y de arriba abajo” no se han desarrollado al mismo nivel. Por tanto, los donantes y ONGD se han basado más en rendición de cuentas a corto plazo y funcionales, y no tanto en procesos estratégicos de largo plazo necesarios para el cambio político y social.

Aunque en principio los agentes de la cooperación utilizan los recursos de los donantes para alcanzar los objetivos tanto propios, como los de los donantes; los intereses de agentes (ONGD incluidas) y donantes pueden no coincidir, debido a:

(1)  que cada uno pone mayor énfasis en determinados aspectos (por ejemplo unos en crecimiento, otros en pobreza…), o

(2) a diferentes horizontes temporales o

(3) a aspectos organizacionales (por ejemplo mientras que los donantes están preocupados por un alto desempeño al mínimo coste posible, otros agentes pueden interesarse más por una financiación continuada, por la minimización de esfuerzos o la diversificación de recursos).

Como no es realista ni racional que los donantes controlen de forma continua el desempeño de los agentes (como las ONGD), el resultado final es el de la asimetría de poder y de información: las agencias y departamentos donantes tienen el poder que les otorga la decisión sobre la financiación, pero las ONGD tienen más información de un contexto en el que resultados, objetivos específicos y generales son difíciles de observar y medir.

Conscientes de las limitaciones del seguimiento de gabinete, algunas agencias han tratado de desarrollar métodos o herramientas de control para hacerlo más realista. Sin embargo el aumentar los recursos para conseguir que las agencias tengan un seguimiento o control directo más estrecho de los agentes, puede ser adecuado desde la consideración de intervenciones muy grandes; pero no es eficiente en el caso de las intervenciones múltiples y pequeñas de las ONGD.

En cualquier caso la dicotomía rendición de cuentas / aprendizaje no está resuelta en la cooperación al desarrollo, siendo un problema estructural de difícil solución. Hay autores que indican que optar por ambos objetivos (rendición de cuentas y aprendizaje) no es posible (Smith, 1998 en Cracknell, 2000); otros indican que sí es posible tal combinación, y que el problema es la concepción simplista y unilateralista de la rendición de cuentas. Cada vez hay más voces que critican que entre los actores del Norte (sean estos ONGD o agencias/departamentos financiadores), en la práctica, predomina la rendición de cuentas de abajo a arriba. Así, para los donantes la principal preocupación es ejecutar según el marco normativo o como mucho medir “si mi ayuda ha tenido éxito” y en menos medida valorar “por qué sí/no obtuvimos resultados” o si el socio está creado las condiciones para el desarrollo. Hay que indicar la importancia de conseguir un equilibrio entre rendición de cuentas y aprendizaje en cada organización para optar por las bondades de cada uno de los enfoques: un desequilibrio hacia la rendición de cuentas cierra las posibilidades de abrirse al aprendizaje, pero un desequilibrio hacia el aprendizaje puede implicar una dramática flexibilidad en el caso de no conseguir ningún resultado.

Mientras que desde la Declaración de París y la Agenda de Acción de Accra cobra cada vez más fuerza la necesidad de agregar, a

(1) la tradicional percepción de la rendición de cuentas (hacia los donantes),

(2) la rendición de cuentas de los donantes hacia la sociedad civil (del Norte y del Sur) y hacia las ONGD y

(3) de las ONGD hacia los beneficiarios; otros autores indican que estas sugerencias no son realistas dada la asimetría de recursos y poder, por un lado entre donantes y ONGD, y por otro, entre beneficiarios y ONGD.

El hecho de que los mecanismos de rendición de cuentas de los donantes hacia los demás (acerca de aspectos como su democracia interna, legitimidad y capacidad) no se han desarrollado lo suficiente en ambos sentidos (de abajo arriba y de arriba abajo) contribuye a deslegitimar la validez del sistema de control de calidad de las actuaciones.

En otras palabras: ¿cómo pueden sentirse legitimados algunos actores para demandar aspectos como eficiencia, participación, transparencia o fortaleza institucional, cuando a nivel interno las decisiones de esos actores no son ni eficientes, ni democráticas, ni transparentes? Este contexto imperfecto contribuye a que las ONGD y agentes involucrados se esfuercen menos en conseguir legitimidad externa e interna, que en protegerse de las interferencias y del abusivo potencial de exigencia de cuentas emanado desde los donantes, o bien en sobrevivir en un entorno cada vez más competitivo y de transparencia selectiva, pero en el que, además, la competencia es imperfecta, al no basarse sólo en el impacto en el desarrollo de las ONGD, sino en otras cosas (como el éxito de la relación y financiación con donantes o del fundraising). Y es que, la cantidad no es sinónimo de calidad de la ayuda.

Aunque poco frecuentes, sin embargo, hay experiencias en las que las ONGD han reducido con éxito estas asimetrías para aumentar su influencia en los donantes, en la opinión pública e incluso para incentivar a su propio personal. Algunos mecanismos son, en primer lugar, la reducción de la dependencia extrema de unos pocos financiadores; y en segundo lugar, a través del uso estratégico de algunos de los recursos propios no necesariamente escasos, y con posibilidad de ser controlados por las ONGD (como información, aprendizaje, legitimidad, ética, profesionalidad, democracia y participación interna, reputación…). Claro está que esto conlleva un esfuerzo y una apuesta por dotarse de una legitimidad interna, una ética, un valor e incentivos no monetarios, una gestión organizacional, por desgracia no tan frecuentes en el entorno de la Cooperación al Desarrollo.

Referencias

Cracknell, B. E. 2000, Evaluating Development Aid. Issues, problems and solutions, Sage edn, Sage.

Ebrahim, A. 2005, NGOs and organisational change. Discourse, reporting and learning Cambridge University Press, New York.

Rodríguez-Ariza, C. (2009). La gestión de la información en organizaciones de desarrollo. Serie CECOD. Número 11

Toledano, J. M., Guimaraes, J., Illán, C., & Farber, V. 2008, Buenas prácticas en la cooperación para el desarrollo. Rendición de cuentas y transparencia, La Catarata, Madrid.

Cuando la pregunta correcta es la respuesta


En aquellos tiempos, cuando hacía mi (“la”) tesis doctoral sobre seguimiento, evaluación, aprendizaje  y gestión de la información y del conocimiento en el sector de la ayuda al desarrollo, (espacio para respirar), me di cuenta de que en el mundo académico y de la investigación sobran las repuestas y faltan las buenas preguntas: llenas hojas y hojas y luego al cabo te preguntas, ¿y qué demonios puedo hacer con todo esto? ¿cuál es la mejor pregunta para acabar de una vez?. Sin embargo en el mundo de la gestión y de la ejecución de programas sobran las buenas preguntas, pero faltan las respuestas porque no hay tiempo para pararse a pensar o a leer o ni siquiera para preguntarse. Es parte de la distancia entre la investigación y la práctica. Y quizás pude acabar la tesis porque me centré en las necesidades específicas de un grupo de personas específicas de una institución concreta.

Y esta introducción viene para recordar el segundo principio del post anterior sobre “Los principios de la gestión del conocimiento desde el lado de la demanda“. Ese segundo principio decía que “Las personas valoran el conocimiento que solicitan/requieren/piden, más que el conocimiento que no se solicita ni se pide ni se requiere”

En evaluación lo  más difícil no es siempre responder las preguntas, sino encontrar las buenas preguntas a responder. Sin buenas preguntas no hay buenas respuestas. Las buenas preguntas son las que reflejan las necesidades de la gente (aquí unimos con el principio anterior: “El conocimiento por necesidad“)

Como dice Nick Milton,  la mejor manera de conseguir transferir el conocimiento a las personas parece estar respondiendo a sus preguntas. El antiguo “mostrar y contar” es mucho menos efectivo que el “preguntar y responder”, y así el blog es menos efectivo que el foro de discusión. La organización donde se hacen más preguntas, es a menudo la organización que aprende más rápido. Este principio está detrás del diseño de los procesos de gestión del conocimiento más eficaces, la mayoría de los cuales se basan en el diálogo. El enfoque principal de las comunidades de práctica debería ser el de responder preguntas, en lugar de publicar ideas.

Esto tiene su aplicación para la función de evaluación: en un mundo donde hay tantas preguntas sin responder, encontramos…tantos informes de evaluación que no interesan o que no se leen porque no han sabido aglutinar las pocas, sencillas y centradas preguntas que se necesitan responder, aunque han llenado páginas y páginas con respuestas huérfanas de dueño, de respuestas sin la dirección de las buenas preguntas.

Si queremos buenas respuestas, consigamos primero las buenas preguntas, como decía Séneca: “no hay viento favorable para el que no sabe a dónde va”.

No hay profesionalización sin evaluación


 

Por casualidad, como suelen ser las cosas en un sector sin profesionalización, me comuniqué con mi colega eternamente al borde del caos, Pablo Rodríguez Bilella, y le comenté de la posibilidad de, en la próxima conferencia de la RELAC, hacer “algo conjunto” en relación a profesionalización de la evaluación. También recientemente hablé con María José Soler Fraile, presidenta de APROEVAL, sobre la necesidad de trabajar conjuntamente todas las asociaciones de evaluación de habla hispana, y mencionamos el tema de trabajar conjuntamente sobre el tema de la profesionalización.

Fruto de ese azar supe que el caótico y siempre complejo Pablo estaba escribiendo un artículo sobre el tema de la profesionalización en evaluación y, como buenos latinos, nos retamos a un intercambio “e-post-olar” con la posibilidad de atraer a otros desgraciados de este sector no profesionalizado…Como es habitual él se adelantó, él que es una metralleta de las redes sociales: Evaluación y profesionalización: ¿extraña pareja? (parte 1)…bueno pues ahora toca el momento de la remontada…

En este primer post para no perder el rumbo voy a filosofar…aunque  en muchos aspectos coincidimos Pablo y yo  (o, más humilde, coincido yo con él)

Y es que la evaluación es política, es técnica y…es filosofía (cómo entiendo yo aquí filosofía: dígase de lo que el vulgo evaluativo (yo incluido) piensa de las teorías evaluativas…aunque algunos quijotes y sancho panzas no dejen de decir aquello de que no hay mejor práctica que una buena teoría)

Pues en esta introducción doy tres ideas y hago un ejercicio de gestión del conocimiento, rescatando tres fragmentos de tres posts pasados:

 

1.Veo dos retos para la profesionalización de la evaluación: (1) centrarse demasiado en la cuestión técnica (tecnocrática) cuando la evaluación también es (o sobre todo es) política; y, si se consigue el progreso de la profesionalización, (2) centrarse sólo en el binomio  político y tecnocrático, con cuerpos de élite corporativos que se olvidan de su origen y de su fin social. Las asociaciones de evaluación deben cumplir su rol, sin caer en la trampa (1) de la tecnocracia y, cuando se relacionan con el tan peligroso y atractivo mundo del poder, (2) de venderse, sin escuchar a las bases y a la sociedad…ya lo sé, un circo de tres pistas, pero es lo que tiene la evaluación que, recordemos, es política, técnica y filosofía…y ojo ya hay hasta un congreso próximo sobre el rol de la evaluación en la era de la post verdad: Measuring What Matters in a Post-Truth Society

2.No es solo necesaria la profesionalización de la evaluación, sino que no olvidemos el rol transversal de la evaluación para el resto de profesiones: sin evaluación no hay profesionalización. Algunos de los campos más profesionalizados (funcionariado, medicina…) lo consiguieron a través de la incorporación de sistemas de control de calidad (integrando la doble vertiente de rendición de cuentas y aprendizaje que implica la evaluación)

3.No hay evaluación sin rendición de cuentas…y el mayor garante de la rendición de cuentas es el parlamento. Las Asociaciones de Evaluación (VOPEs) son importantes, pero debido a ese binomio técnico y político, hay que hacer lo posible para incorporar a los agentes de cambio político (como el parlamento) y social (otras asociaciones, academia y los medios de comunicación). EvalPartners tiene iniciativas muy interesantes para involucrar a los Parlamentos Nacionales en los procesos de desarrollo de capacidades en evaluación.

Por tanto, no podemos perder de vista que el camino hacia la profesionalización no es sólo técnico (tecnocrático), sino también político. Y ahí a veces nos pillan a los evaluadores, tan acostumbrados a nuestro trabajo solitario y sistemático con tantos nexos con la investigación (más centrados en el rigor, en la independencia y en la objetividad) y tan poco acostumbrados a la gestión y a la política (más sucia, menos independiente y más dada al regateo, al mercadeo y a los compromisos -a veces a cualquier precio-…de cara a la utilidad…o al pragmatismo)…cuánto cuesta en evaluación ese equilibrio tan inestable entre rigor, independencia y utilidad…

Tomo del post de Pablo un párrafo clave que marca el titánico camino que hay por delante para profesionalizar la evaluación. La fuente es de ese gran evaluador que fue primero técnico, después político y ahora una referencia (filosófica):

 

 

Bob Picciotto, desde el marco de la sociología de las profesiones, sintetiza algunas de las características que debe construir una agenda para la profesionalización de evaluación:

(1) el reconocimiento público que la ocupación promueve el interés general; 

(2) procesos reconocidos de desarrollo disciplinar (educación especializada, exposición continua a la práctica de expertos);

(3) autonomía profesional (la propia profesión controla la contratación, la calidad de la formación, la aprobación de directrices profesionales, la aplicación de normas éticas, etc.);

(4) el acceso a la práctica (la institucionalización de la experiencia profesional mediante la educación terciaria de alta calidad y una amplia gama de posibles restricciones sobre el acceso a la práctica profesional: designación, acreditación, certificación, licencias).”

En mi próximo post centraré un poco más el tema y trataré de hablar del proceso que está realizando el grupo de profesionalización del Sociedad Europea de Evaluación del que soy miembro.

Tres ideas  ya contadas y tres antiguos posts sobre evaluación, carreras profesional y asociacionismo: Y como prometido, dejo aquí  los tres posts del pasado, terminando aquí esta primera e-post-ola.

 

Asociacionismo en evaluación –capítulo primero

(Octubre de 2014)

Más que nunca necesitamos del asociacionismo para aumentar nuestro capital social, humano y técnico, aumentando la capacidad de análisis, escucha, respuesta y servicio. Pero no debe ser fácil cuando hasta ahora no se ha llegado a las bases con una propuesta de verdadero trabajo en red y mutuamente beneficiosa, en la que se den soluciones de forma proactiva a problemas comunes o colectivos, en el que las bases se involucren de forma también proactiva y los boards o élites dirigentes, actúen para el pueblo y con el pueblo, y en representación de y con sus miembros

Acade: ¿por qué la sociedad española no se ha movilizado ante la reducción de la ayuda?

(28 Octubre del 2013)

“La sociedad civil organizada ha cambiado su papel y ya no habla en nombre de otros”. Aquí se mencionaron movimientos como el 15 M o las redes sociales. “No se necesitaba a la ciudadanía y la cooperación se ha dedicado a otras cosas…y se han perdido a las bases”. No se tuvo la suficiente visión de que la “sociedad civil organizada es capaz de crear opinión y estar sintonía con la sociedad. Luchar contra las desigualdades no implica sólo luchar contra la pobreza”. “La sociedad civil (organizada) ha tenido un problema de comunicación, aunque también ha habido problemas con el papel del liderazgo público”. A este punto durante el turno de palabra indiqué que no sólo era un problema de comunicación en el sentido de enviar el mensaje (de convencer), sino en el de escuchar. Pero hubo más sobre este punto:

-“El sector de ONGD está fragmentado. Pero el problema del apoyo social no es sólo de España. No se ha sido capaz de demostrar que la ayuda sirve para algo, de que la ayuda funciona”. Por otra parte hay muchos“peligros buscando atajos del norte al sur”.

– La base no se necesitaba porque estaban los profesionales. Se buscó “la profesionalización pero no un liderazgo asociativo” con el apoyo de las bases.

-“Ha habido un problema de mala gestión del accountability, ya que se ha entendido un accountability hacia el financiador. En España no tenemos conciencia de que lo público es de todos. Se debería haber hablado con la sociedad sobre los avances. No ha existido una política de transparencia”.”No ha habido suficiente diálogo y después el dinero público se ha retirado.”.

En este punto también señalé algunas ideas durante el turno de palabra de la jornada: Las afirmaciones anteriores, de ser ciertas, “iban en contra elementos básicos de la democracia participativa”. En un colectivo y sector para el que el concepto de participación parece tan importante, esto aumenta la carga de retórica de su discurso (o sus discursos). Repitamos: ¿No se necesitaba a la ciudadanía? ¿No había una política pública de estado?. También señalé que al binomio política vs tecnocracia había que añadir las dinámicas personalistas (o grupales) de poder. Éstas implican que el único deseo de cambio que se desea es “quítate tú para ponerme yo”, para mandar, mandar porque puedo. También es de señalar la magnitud de la retórica de una política ilustrada debido a la distancia con la sociedad civil, y que a su vez ha dado lugar a más distancia entre la sociedad y la política.

¿Carrera profesional en la cooperación española? La soledad de la carrera de fondo

(22 Mayo 2013)

…es un sector de profesionales poco valorado, desestructurado, sin sentimiento de cuerpo y, en consecuencia, en el que prima más el “qué hay de lo mío” y el “sálvese quien pueda”, que una visión colectiva sobre cómo debería ser un sector profesional en coherencia con la agenda de eficacia, en la que “de verdad” primaran los intereses de los más pobres (destinatarios por la vía de la apropiación y alineamiento de la ayuda) y de la sociedad española (demandantes de reducción de la pobreza con la máxima eficacia, eficiencia, pertinencia e impacto posible). En este marco la Cooperación Española continuamente se está descapitalizando de sus profesionales, ya que no existen ni mecanismos, ni contextos, ni incentivos para dar la oportunidad o contar con los mejores profesionales en los puestos de responsabilidad y decisión.

Como resultado de los desincentivos anteriores las Agencias, Departamentos públicos y las ONGD españolas tienen una gran rotación de personal tanto de personal directivo, como técnico. Estos cambios hacen más necesarias las estrategias de Gestión del Conocimiento y tienen el peligro de tender a una visión cortoplacista y no estratégica. Asimismo en dichos Departamentos Públicos no suele haber objetivos ni indicadores claros a nivel organizacional, ni mecanismos eficaces de rendición de cuentas de forma bidireccional a los más altos niveles jerárquicos.” (Rodríguez Ariza, Carlos, 2009, página 32) La gestión de la información en las organizaciones de desarrollo (vol. II)

Eval Central Game Over: Being Chris Lysy


As I explained in my post evaluation and data visualisation, Chris Lysy is a huge and passionate artist and evaluator

Results logic chain by Chris Lysy

Results logic chain by Chris Lysy

Self description by Chris Lysy

Self description by Chris Lysy

Chris Lysy gave us EvalCentral and at one point he decided to take it away. He has his reasons, which can be read in his post turning off of the EvalCentral auto pilot. My admiration for Chris implies that I wonder what is being Chris Lysy…

But my point is that EvalCentral had become a kind of “public good” and had its own life, so I missed a period of reflection on the different alternatives for EvalCentral (including a the hand over to another person / institution that could manage the EvalCentral platform)

Maybe there is something I do not understand about it, so I asked my colleague Sara Vaca, Spanish evaluator, dataviz nerd and friend, to talk on my behalf to Chris during the coming Congress of the American Evaluation Association and to discuss on it…

Even if I am not convinced, Chris says the following in his post turning off of the EvalCentral auto pilot :

I launched Eval Central just about 6 years ago. At that time there were only so many evaluators actively engaged in writing for the web.

For those interested in evaluation, it was hard to find evaluation bloggers. And then when you found one it was possible they had already quit blogging.

For new evaluation bloggers, it was hard to connect and build an audience.

I created Eval Central as a sort of automated matchmaker. It gave an audience to new bloggers, and gave those interested in evaluation an automated discovery tool that delivered relevant evaluation stories right to their inbox each day.

But times have changed.

Now it’s even easier to add your voice to the world. You can still do it with your own WordPress blog, but you could also write a post directly on LinkedIN, Medium, or any number of other publications. In just a couple of clicks from an account you already possess.

Subsequently, the original design of Eval Central just isn’t working the way I would like it to work. So, after a lot of thought, I decided to break it.

Starting soon, Eval Central will be a Medium Publication. And instead of bringing together blogs, I’ll be bringing together evaluators interested in writing and curating evaluating content.

There will be no more auto-pilot. Every post that appears on this site will be the result of a writer or curator deciding it should be here. I will need help.

If you’re interested in writing or curating for Eval Central, send me an email > chris@freshspectrum.com.

 

Dear Chris, many thanks for all your creativity and associative work, I wonder what means “after a lot of thought“…does it imply evaluative thinking or evaluative tools?…as a (former) member of the deceased EvalCentral I can say that nobody consulted me anything…

I am a romantic developmental evaluator, I would have liked a bit of contact and discussion between the Evalcentral participants…because in my perception EvalCentral was a living being that existed beyond Chris Lysy…

Could we think in reviving something similar to Evalcentral? Could it make sense and be still relevant something like Evalcentral? I think so…I do not know if other evaluation colleagues think like me…

I use to end my posts with a song, I selected this one. From the other side of the Atlantic I want to invite to start a period of reflection (to my American evaluation colleagues -including ALL the Americans not only these of the northern part),  (as I said I am a romantic): is it worth EvalCentral as we knew it?…

…long life to Eval Central…

 

Evaluación y Análisis Organizacional


La organización

Esta vez retomo uno de los enfoques que más he utilizado en mis evaluaciones: el análisis organizacional. Y es que en el enfoque de evaluación basado en la teoría de programa (Ligero, 2011) es esencial analizar los elementos organizacionales para comprender cómo se ejecutan los procesos que dan lugar a las actividades.

El análisis organizacional ayuda a comprender la ejecución (o no) de procesos

El análisis organizacional ayuda a comprender la ejecución (o no) de procesos

Retomo este texto de mi publicación La gestión de la información en organizaciones de desarrollo:

En la práctica, frecuentemente no se tiene en cuenta el factor humano y las características de los recursos humanos que desarrollan y ejecutan las herramientas y técnicas en las acciones de desarrollo. Un gran reto de la gestión de la cooperación al desarrollo es conseguir unir al comportamiento individual, la cultura organizacional y la nueva agenda del desarrollo. Hay herramientas que pueden complementarse con las existentes para analizar e integrar la cultura, la diversidad y la complejidad organizacional y el comportamiento individual durante los procesos de planificación e implementación (Biggs, 2003). Entre estas herramientas destacan las que estudian la diversidad y complejidad organizacional17, señalamos aquellas que desarrollan instrumentos que unen la cultura organizacional de los agentes que implementan y la de los donantes (White, 1996), en lo que se llama “enfoques orientados a los actores”, como análisis de redes y matrices de relaciones entre actores (Davies, 2002). Como ejemplo del tipo de enfoque de estos análisis Hood (1998 en Biggs, 2003) establece cuatro tipos de cultura organizacional en función del grado de cohesión de la institución y de las reglas pre establecidas: fatalista, individualista, jerárquica e igualitarista; y explica por qué cada una de estas instituciones utiliza de forma diferente la gestión del ciclo del proyecto, advirtiendo que cada tipo de organización está expuesta a diferentes peligros o debilidades desde el punto de vista organizacional.

Además hay que destacar el trabajo que están realizando las Coordinadoras de ONGD (por citar ejemplos: española / CONGDE, inglesa / BOND o europeas / CONCORD) por medio de sus grupos de trabajo relacionados. Para finalizar señalemos otros sistemas innovadores en su momento, (como el OUTCOME MAPPING, Building Learning and Reflection into Development Programs (Earl, Carden & Smutylo, 2001) o el The Most Significant Change (MSC) Technique, A guide to its use. (Davies & Dart, 2005), que todavía no llegan a utilizarse en la Cooperación Española, a pesar de ser citados en numerosas ocasiones en la bibliografía en castellano. Un interesante estado del arte y últimas innovaciones y alternativas se puede encontrar en Managing Performance in NGOs: A 10 Point Agenda o en este otro sobre marcos lógicos.

El concepto de desempeño organizacional y la teoría de la administración y de la organización han evolucionado mucho durante el siglo XX. El centro de esa evolución estaba en el hecho de que las organizaciones necesitaban una manera de identificar sus objetivos y evaluar cuándo y cómo están trabajando bien. Sin embargo, en las organizaciones gubernamentales y sin fines de lucro, la idea de lo que constituye un buen desempeño no es tan claro de determinar como en el caso del valor prioritario de las ganancias monetarias en las organizaciones con fines de lucro. Además, para todo tipo de organización, se dan similares conceptos y contenidos, como eficacia en la consecución de metas, eficiencia de recursos, métodos y procesos de trabajo, la estructura de la organización, la moral, las personas, el tratamiento de los recursos humanos.

Mientras que para analizar el desempeño financiero se desarrolló la planificación de sistemas de presupuestos por programas y los presupuestos de base cero; para comprender el capital social y el factor humano se profundizó en torno a la resolución de conflictos, el trabajo en equipo, la moral, la comunicación, la innovación y la adaptación.

Hoy en día, como indican Lusthaus et al., (1999 y 2002), el marco del análisis organizacional es más integral, pasando de analizar los proyectos y programación de las organizaciones, a analizar su desempeño como organización dentro del entorno institucional. La valoración del concepto de desempeño organizacional (1) abarca conceptos clásicos en el marco de la evaluación como la eficacia, eficiencia, pertinencia, viabilidad financiera y económica; (2) sin embargo señala la importancia de prestar atención también a determinados aspectos a veces intangibles que se encuentran en la capacidad, la motivación y el entorno de las organizaciones; (3) señala también la importancia e influencia mutua del entorno administrativo, político, socio-cultural, económico, agentes en las organizaciones (muy estudiado por North (1990); (4) incluye la necesidad de tratar de estudiar aspectos que afectan a la motivación organizacional como son la historia, misión, cultura, incentivos/recompensas; (5) finalmente el desarrollo de capacidad organizacional (liderazgo estratégico, estructura, recursos humanos, gestión financiera, infraestructura, gestión de programa, gestión de procesos, relaciones inter-organizacionales).

Elementos a analizar en el análisis organizacional (Adaptado de Luthaus et al, 1999 y 2002)

Evaluación Organizacional

Evaluación Organizacional

A continuación se describen varios aspectos que se analizan en el desarrollo de una evaluación organizacional: La mayoría de las organizaciones sin fines de lucro consideran su desempeño organizacional en términos del cumplimiento de los mandatos asociados a su misión, sus objetivos o sus metas. Una organización tiene un buen desempeño cuando equilibra efectividad, eficiencia y relevancia a la vez que mantiene su viabilidad financiera.

La capacidad organizacional es la habilidad de una organización para utilizar sus recursos en la realización de sus actividades: los recursos humanos, financieros y de infraestructura, sistemas y procesos que las organizaciones despliegan, además de los sistemas y prácticas de gestión relacionados con esos recursos. El liderazgo estratégico conlleva las estrategias y la gestión por parte de los dirigentes que fijan el rumbo de la organización. La gestión de los programas considera la capacidad de la organización para llevar a cabo su función institucional, mientras que la gestión de procesos examina la manera en que la organización maneja sus relaciones humanas y sus interacciones relacionadas con el trabajo. La estructura identifica los vínculos entre la forma en que se rige una organización y su misión, así como las funciones que desempeñan los recursos humanos y las finanzas en las actividades cotidianas de la organización. Las relaciones interinstitucionales son la capacidad de la organización para manejar sus relaciones externas.

La motivación organizacional constituye la personalidad subyacente de la organización: es lo que impulsa a sus miembros a actuar. En primer lugar la evolución y la historia de la organización; es decir, cómo y por qué se inició la organización, cuáles son sus hitos, etc. De forma análoga, el marco de evaluación explora la misión, los valores y la visión de la organización con el fin de comprender las fuerzas motrices que la impulsan. La cultura que opera dentro de una organización y los incentivos que ofrece contribuyen a la motivación organizacional. Considerados en conjunto, estos factores dan a la organización su personalidad e intervienen en su desempeño y en la calidad del trabajo.

El entorno externo institucional es el factor clave que determina el nivel de recursos disponibles y la facilidad con la cual una organización puede llevar a cabo sus actividades. Debido a que las organizaciones son sistemas abiertos, el entorno externo en el que operan es esencial. Las organizaciones necesitan el apoyo de su entorno para sobrevivir y tener un buen desempeño. Las características y la calidad del entorno (como infraestructura deficiente en caminos, electricidad y líneas telefónicas) también pueden obstaculizar el desempeño. Por lo tanto, al evaluar una organización, debe prestarse atención a las condiciones económicas, políticas, socioculturales, ambientales, demográficas y tecnológicas.

Marco de análisis organizacional

Marco de análisis organizacional (Lusthaus et al.)

 

 

 

REFERENCIAS CITADAS

Biggs, S. & Smith, S. 2003, A Paradox of learning in Project Cycle Management and the role of Organizational Culture, World Development, vol. 31, no. 10, pp. 1743-1757.

Davies, R. 2002, Improved representations of change processes: improved theories of change. EES. Sevilla Oct. 2002. Disponible en

Davies, R, Dart, J, 2005, The Most Significant Change (MSC) Technique, A guide to its use.

Earl, S, Carden, F, & Smutylo, T, 2001, OUTCOME MAPPING, Building Learning and Reflection into Development Programs, IDRC

Jacobs, A, 2008, Practical alternatives for managing and reporting the performance of NGOs: an agenda for change.

NGOperformance, 2011, Managing Performance in NGOs: A 10 Point Agenda

Ligero, J.A. 2011. Dos métodos de evaluación: criterios y teoría del programa. CECOD. Nº 15/ 2011

Lusthaus, C., Adrien, M.-H., Anderson, G., Carden, F. 1999, Enhancing Organisational performance. A toolbox for self assessment, IDRC.

Lusthaus, C., Adrien, M.-H., Anderson, G., Carden, F & Plinio, G. 2002, Organizational assessment: a framework for improving performance., BID-IDRC.

North, D. 1990, Institutions, institutional change and economic performance. Cambridge University Press. Cambridge.

Rodríguez-Ariza,C. La gestión de la información en organizaciones de desarrollo (vol. I y II). CECOD. Nº 11 / 2010

White, H. 1996, Evaluating Programme Aid. Introduction and Synthesis, IDS Bulletin, vol. 27 (4), no. 4, pp. 1-13. IDS. Brighton.

 

Espero que algo de lo contado pueda llevarnos a ser un couple normal con el desempeño organizacional

 

 

 

La gestión del conocimiento de las evaluaciones


Ya discutimos en el post Evaluación y Gestión del conocimiento, ¿moda o necesidad? la diferencia entre gestión del conocimiento y evaluación. Vamos a dar una vuelta de tuerca para hablar de la gestión del conocimiento de las evaluaciones. Este tema es la introducción de mi publicación “La gestión del conocimiento de las evaluaciones: Teoría, retórica y práctica” (Rodríguez-Ariza, 2014)

La aplicación sistemática de marcos de gestión del conocimiento podría añadir más valor al uso de las evaluaciones. Podemos considerar que un proceso evaluativo es de calidad cuando cumple principios como el rigor, la credibilidad, la utilidad, el uso, y la integración o participación de las partes interesadas. Por tanto, la calidad de los procesos evaluativos viene determinada por varios factores, uno de los cuales es el uso. Aunque en la práctica la línea divisoria entre dichos principios es muy sinuosa, también es cierto que podemos encontrar evaluaciones creíbles y rigurosas que no han sido utilizadas e, inversamente, encontramos que se han utilizado recomendaciones basadas en procesos poco rigurosos, pero de alta credibilidad. Incluso el hecho de que una evaluación sea “útil”, no significa que se utilice. Este post se centra específicamente en la gestión del conocimiento de las evaluaciones que permite la utilidad y uso de dichas evaluaciones.

¿Tiene sentido tratar la “gestión del conocimiento” de las evaluaciones más allá del mero ”uso”? Aunque gestión del conocimiento y uso son términos que se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones”, añade matices que no incorpora el concepto de “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones, porque el conocimiento surgido del proceso evaluativo debería ser recopilado, almacenado, ordenado, sistematizado, accedido, compartido, comunicado y difundido para poder ser utilizado de forma óptima y desde los primeros pasos del diseño evaluativo. Y entonces estamos hablando de una estrategia de gestión del conocimiento de las evaluaciones que para ser operacionalizada ha de contar con agentes de cambio, esto es, de gestores de la evaluación o brokers/gestores del conocimiento surgido de la evaluación. Aun así el concepto de “gestión del conocimiento” tiene tantos registros que también es un campo a acotar: (1) qué entendemos por conocimiento, usos y usuarios del conocimiento, (2) quién y para qué se construye el conocimiento.

La gestión del conocimiento optimiza los usos, las formas de usar, los usuarios y los momentos de uso de las evaluaciones. Las evaluaciones se pueden utilizar (a) de muchas maneras diferentes (ya vimos en otro de mis post los tipos de usos evaluativos), (b) por actores diferentes (directos o indirectos), (c) en momentos diferentes (corto, medio o largo plazo). Las recomendaciones pueden no ser seguidas inmediatamente, pudiendo existir usos difusos en el más largo plazo.

La institucionalización de la gestión del conocimiento de las evaluaciones en la estructura y cultura de la organización es un factor clave para mejorar su uso. El conocimiento de las evaluaciones está subutilizado por lo que la gestión del conocimiento tiene amplio margen para mejorar la utilización hacia la mejora y el cambio.

El trazar el aprendizaje y utilidad con respecto a las evaluaciones es complejo, no es una tarea sencilla y directa:

(1) el conocimiento que se utiliza para la toma de decisiones proviene de muchas fuentes, no sólo de las evaluaciones;

(2) con una correcta gestión del conocimiento de las evaluaciones, el conocimiento generado en cualquier contexto de la intervención evaluada puede ser aplicado un tiempo después en un contexto totalmente diferente al de la intervención;

(3) además si una evaluación fue importante para la toma de decisiones en el pasado, esa evaluación puede carecer de importancia o ser olvidada un tiempo después;

(4) la acumulación de evaluaciones útiles pero no utilizadas es frustrante sí, parecer inútil, pero una sistematización posterior puede dar lugar finalmente a importantes toma de decisiones.

La siguiente lista nos da pistas sobre elementos a asegurar para poder realizar la gestión del conocimiento de las evaluaciones. Elementos a sistematizar para la gestión del conocimiento de las evaluaciones (Adaptado a partir de Baguna en Visser et al, 2014:27):

1.Saber cómo: procesos, procedimientos, técnicas y herramientas que podemos utilizar para desarrollar e implementar calidad en el sistema de Evaluación con potencial para la alta utilidad

2.Saber por qué: visiones estratégicas para comprender el contexto de los roles de los actores implicados y el valor de sus acciones. Se necesita hacer un análisis de situación, acordando el propósito del sistema de Evaluación, e internalizando el por qué una evaluación se va a realizar (y no otro tipo de actividad similar)

3.Saber qué: son los hechos, datos, conocimientos, aprendizajes o prácticas que se quieren compartir y utilizar de las evaluaciones

4.Saber quién: incluye el conocimiento sobre relaciones, contactos, intermediarios, campeones, intermediarios y redes para mejorar el uso de las evaluaciones

5.Saber dónde: es la habilidad para navegar y encontrar la información correcta en las evaluaciones para la acción o toma de decisión efectiva.

6.Saber cuándo: es el sentido del tiempo, de la ventana temporal, para la correcta utilización de las evaluaciones, para tomar una decisión, o para parar algo.

Un marco de la gestión del conocimiento de las evaluaciones sería un sistema completo de personas, tecnología y procesos/gestión, que asegure que la gestión del conocimiento de las evaluaciones se aplica de forma sistemática y eficaz para aplicar y utilizar las evaluaciones (su diseño, proceso, sus resultados en su contexto y estructura evaluativa). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Marco de gestión del conocimiento

Marco de gestión del conocimiento

 

Marco de la gestión del conocimiento (Basado en Milton, 2010):

1.Las personas y los gestores del conocimiento: Tienen que establecerse en la organización (1) las personas responsables , (2) las funciones de gestión del conocimiento, siendo necesarias comunidades de prácticas para compartir y reutilizar el conocimiento tácito, comportamientos tales como la búsqueda y el intercambio de conocimientos necesitan ser incentivados, y para convertirse en “ la forma de trabajar.

2.Los procesos de gestión del conocimiento: tiene que haber un proceso validado y probado para la captura, destilación, análisis, almacenamiento, aplicación y reutilización el conocimiento, y también para innovar.

3.Las tecnologías de gestión del conocimiento: las personas y el proceso deben ser apoyadas por la tecnología, que permita que el conocimiento que sea encontrado y accesible (en bases de datos, en la Intranet, en determinadas personas). Desempeña un papel importante en la gestión del conocimiento, al proporcionar la tecnología para permitir que la gente se comunique.

4.El gobierno de la gestión del conocimiento sin un sistema de gobernanza que promueva y reconozca el intercambio y la reutilización del conocimiento, todo intento de introducir la gestión del conocimiento será más difícil.

A continuación presentamos como ejemplo de marco de gestión del conocimiento de evaluaciones a nivel internacional la plataforma web DEREC (DAC Evaluation Resource Center), la base de datos de evaluaciones de la Red de Evaluación del CAD/OCDE (Evalnet) (CAD-Comité de Ayuda al Desarrollo):

1.DEREC es un almacén de evaluaciones, en el que de forma amigable se pueden hacer búsquedas empleando filtros (por país, sector, organismo comanditario).

ŸŸ2.El gobierno de DEREC lo tiene la Red Eval Net

ŸŸ3.Los gestores de DEREC son parte de la Secretaría de Evalnet (funcionarios del CAD). También realizan su mantenimiento.

ŸŸ4.Los procesos de gestión del conocimiento: en Evalnet se hace un seguimiento del funcionamiento de DEREC, se anima a (1) introducir nuevas evaluaciones a los miembros de Evalnet, (2) a obtener información sobre las actividades de evaluación de otros miembros, de cara a realizar planificaciones conjuntas de evaluaciones entre los miembros de Evalnet.

ŸŸ5.La tecnología: DEREC es una base de datos robusta a la que se van subiendo las evaluaciones de organismos bilaterales y multilaterales.

Pues hasta aquí llegamos esta semana…y que de entre toda esta teoría, retórica y práctica recordemos al menos allí donde solíamos gritar…

 

REFERENCIAS CITADAS

Milton, N. (2010). Knoco stories. From the knowledge management front-line. Retrieved Enero 2014

Rodríguez Ariza, C.  (2014). La gestión del conocimiento y el uso de las evaluaciones. Teoría, Retórica y Práctica. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo

Visser, I; Kusters, C.S.L; Guijt, I; Roefs, M; Buizer, N. (2014). Improving the Use of Monitoring & evaluation processes and findings

 

 

Las islas del conocimiento y el proceso de aprendizaje


En ocasiones nos pasa que tenemos muchas ideas que contar pero nunca encontramos el momento o la manera de hacerlo. Incluso puede que las anotemos en diferentes formatos (desde una servilleta de papel, el cuaderno de toda la vida o hasta el OneNote). Pero paradójicamente también nos sucede que nos sentimos paralizados llegado ese momento de la creación en el que uno ha de encontrar el estado de ánimo, el tiempo y el espacio para contar algo especial, diferente, único, algo digno que decir y ser contado.

Quiero que este post sea mi reentrée, después de un tiempito, y siendo especial no contaré nada de especial, sino más de lo mismo.

Empiezo con una referencia a un post de ese enorme blog que es Brain Pickings…titulado “The islands of Knowledge: How to live with mystery in a culture obsessed with certainty and definitive answers” (Las islas del conocimiento: Cómo vivir con misterio en una cultura obsesionada con la certeza y las respuestas definitivas):

Para ir más allá de lo conocido, tanto Newton y Einstein tuvieron que tomar riesgos intelectuales, haciendo suposiciones basadas en la intuición y juicios de valor personales. Y el que así lo hicieran, a sabiendas de que sus especulaciones teóricas eran necesariamente defectuosas y limitadas, ilustra el poder de la fe en el proceso creativo de dos de los más grandes científicos de todos los tiempos. En mayor o menor medida, todas las personas empeñadas en el avance del conocimiento hacen lo mismo. Marcelo Gleiser The Island of Knowledge: The Limits of Science and the Search for Meaning

Me quedo con eso de que en mayor o menor medida, todas las personas empeñadas en el avance del conocimiento hacen lo mismo. Pienso en la relación con la evaluación, donde parece que todo tiende a estar estandarizado, pero donde por ahora no se han podido crear evaluaciones estándares, porque cada evaluando, cada evaluador y cada evaluación son únicos…porque depende tanto del factor humano, organizacional y psicosocial que envuelve a cada evaluando, cada evaluador y cada evaluación.

Además a pesar de los estándares, durante el proceso evaluativo también se tienen que tomar riesgos intelectuales, lanzando hipótesis basadas en la intuición, con aproximaciones sucesivas, a sabiendas de que nuestras especulaciones teóricas son necesariamente defectuosas y limitadas.

Hace poco una colega evaluadora me decía que no estaba contenta con su nivel de desempeño: Supongo que rodeados de tantos estándares pocas veces podemos estar satisfechos, y aunque vayamos mejorando en nuestra adopción de estándares, intuyo que nunca dejaremos de seguir tomando riesgos.

Y sin más postureo me despido espero que hasta pronto, no sin antes recordar algo de cine y música: ii 80 cumpleaños de Robert Redford ii (no somos nada) y el 61 cumpleaños de Manolo García (a muchos no les dirá nada, pero es ya una leyenda…el último de la Fila)

Y quiero pensar que si continuamos el proceso de aprendizaje nunca el tiempo es perdido

Y tras casi acabar este post, por qué no decirlo, me siento de nuevo como un halcón llamado a la filas e la insurrección ii …y es que ya os decía que era algo especial