Me gusta su blog 3500 ideas irreverentes contra la pobreza. En esta ocasión siendo yo un profesional de la Evaluación, espero que le oiga alguien con el anillo del poder a Gonzalo -esto de los blogs a veces me parece como predicar en el desierto, y si por alguna razón hablan de uno te puedes temer lo peor-. Pues bien Gonzalo decía:”lo más prudente es tomar cualquier decisión (recortes u otros) después de haber hecho una valoración objetiva y transparente de la eficacia de cada organismo de acuerdo a las prioridades que establezca el nuevo gobierno”. No podemos quedarnos en la percepción, en valoraciones sesgadas o basadas en el antes y el después…hay que mejorar nuestro sistema de aprendizaje

Sobre esas chequeras por los pasillos de Naciones Unidas de las que habla Gonzalo Fanjul…lo malo es si esas chequeras son utilizadas como si las cuentas de origen fueran personales y no dinero público. Degradamos nuestro sistema si esos cheques sirven para realizar ideas o fines más personales que colectivos, en una Cooperación ya fragmentada…en cualquier caso incluso tras el paso de las chequeras nuestras instituciones siguen dependiendo en demasía de personalismos, esas chequeras no se han acordado en demasía de la necesidad de una estructura de organización y capacidades acorde con el tamaño de la AOD en la Cooperación Española. Esas chequeras – a pesar de varios Planes directotes, contratos de gestión y programaciones operativas- siguen convertido el 0,7 en un objetivo y no en un medio, y han mantenido una distancia entre el discurso y la realidad…la retórica.

Lo malo es que tras un comienzo ilusionante una parte del sector ha acabado desilusionada o indignada, aunque claro esto va por barrios en un sector tan fragmentado como el nuestro, con tantos reinos de taifas dentro de reinos de taifas -y por qué no decirlo, a algunos no les ha ido tan mal, ya sabemos por Durban, Copenague y Kioto que beneficio global no implica beneficio local y viceversa. Ha sobrado algo de partidismo, clientelismo, corporativismo…el resulado ha sido una pátina de oportunismo (pero oportunidad para el que pasaba por ahí al cabo o al que se cruzaba con las chequeras en algún pasillo ¡). Estos “istmos” han debilitado nuestra profesión, transparencia, accountability…nuestras capacidades, procesos y los resultados a los que debiéramos contribuir.

Y digo yo, en esa forma tan castiza con que seguimos haciendo cooperación: ¿por qué normalmente lo cortés no puede ir acompañado de lo valiente? ¿por qué en paralelo a esas subidas y bajadas de nuestras contribuciones (a organizaciones o naciones unidas o desunidas) tan débiles en cuanto a evaluación ex ante y expost, no se podría haber logrado una coherencia entre el nivel político, su liderazgo real y las capacidades para llevar a cabo acciones que fueran apoyadas por nuestra sociedad civil (incluso o sobre todo en períodos de crisis)?. Han sobrado algunos cheques y mucha retórica y ha faltado coherencia interna, ha faltado energía bien direccionada para hacer realidad esa necesidad de coordinación y racionalidad interna…demasiada jerarquía y ausencia de autocrítica, demasiadas buenas ideas dispersas y pocas manos para llevarlas a cabo (aunque las había no se han podido o sabido organizar, no se han podido o sabido utilizar)…No se ha concentrado suficiente energía en la estructura, que ha demostrado ser “el” cuello de botella, algo tan difícil de cambiar (de nuevo el Gatopardo: “ Algo debe cambiar para que nada cambie”) que parece que se dejó a la deriva por imposible. Y en fin, ha faltado la visión y determinación para el despliegue efectivo de una sólida política de educación para el desarrollo como base de la sostenibilidad y legitimidad de la política de desarrollo. Sin una sociedad suficientemente concienciada y reivindicativa no se han oído suficiente las voces para exigir el cumplimiento del sueño de una cooperación de calidad (o con una calidad acorde con nuestra situación de “nuevos y nuevas ricos”). ¿Por qué la Sociedad Civil Española no conoce las Declaraciones de París, Accra o Busán?¿Por que no saben lo que es la agenda de desarrollo? ¿Por qué piensan que la AECID es una ONGD? En fin un ciclo en el que se ha avanzado…pero que podría haber dejado más huella…

En fin, no sé si la culpa de todo la tiene la crisis, pero en muchos casos la única salida nuestros profesionales ha sido salir del sistema, ya fuera a ONGD internacionales o a Organismos Multilaterales…En un sector tan endogámico y en algún caso ya en medio de una reestructuración las posibilidades de retorno de esos activos se van reduciendo. Y es que nuestro sistema de cooperación dista mucho de ser un medio ideal para los buenos profesionales…y algunos de los buenos y buenas profesionales que se han quedado han acabado desmotivados, quemados, tomando bajas por depresión…o convirtiéndose en no tan buenos profesionales. No estaría mal hacer una terapia de grupo para curarse ciertas heridas antes de pasar a lo que nos espera ahora…Ojalá alguno de sus protagonistas escribiesen sus vivencias como cura y pudiésemos compartir lo que ha sido este periodo…

Y volviendo al principio: no es una cuestión de cortarle el grifo a Naciones Unidas, sino de plantearnos qué hacemos con el agua (y cómo lo hacemos claro)…o qué hace la Cooperación Española y Naciones Unidas y nuestros socios con él…Y otra cosa es el funcionamiento interno de Naciones Unidas…claro que hay de todo como en las buenas familias… para los que les gusten las buenas novelas recomendaría la lectura del libro Belle du Seigneur, un libro que novela la Sociedad de Naciones en Ginebra en los años treinta. Creo que algo de actualidad sigue teniendo, por desgracia, después de tantos años pasados…Por cierto se estrena su versión cinematográfica en 2012

¿Y por qué estas reflexiones? No, ya sé que no son buenos tiempos para la lírica (no lo han sido para la crítica), pero tal vez el futuro nos depare sorpresas positivas, hay que seguir siendo optimista en este oficio (digo yo, si no a otra cosa mariposa)

Algo que compruebo día a día: no dejes para leer mañana lo que no quieras dejar de leer.

Ayer tuve que pedir a mi hermano un libro electrónico porque yo no lo encontraba entre mis varios discos duros, bueno la verdad es que me daba una pereza enorme buscar entre tantos discos duros.

Hoy más que nunca es necesaria la gestión del conocimiento: para hacer accesible lo que pensamos accesible, pero realmente no lo es…

Y luego está el tema del uso del poder al interno de las organizaciones y de la diferencia entre la misión, el presupuesto a ejecutar y las capacidades reales de gestión de muchas de ellas. Claro que algunas tienen un “overhead” desmesurado, que de todo hay.

Y es que creo también que en muchas organizaciones de desarrollo no predicamos con el ejemplo. Vendemos la participación desde estructuras jerárquicas y centralizadas…tan viejo como el mundo.

Voy a desarrollar una hoja de ruta de algunos de los elementos que me gustaría tratar en el futuro sobre evaluación. No están todos los que son ni son todos los que están, incluso habrá cambios pero para eso van cambiando las rutas según pasa el tiempo y el temporal.

Estará bajo la categoría aprendiendo a aprender en cooperación.

Hoja de ruta sobre evalaución en la cooperación al desarrollo

1.La historia de la evaluación

El caso de la cooperación al desarrollo

2.Teoría de la evaluación: teorías de prácticas

Papel de la teoría en la práctica de la evalaución

Evaluación de programas sociales

Fundamentos de la Evaluación de programas (Shadish):

- Fase I:Dotando de evidencias a la resolución de problemas sociales

-Fase II:Generación de alternativas enfatizando la utilidad y el pragmatismo

-Fase III:Tratando de integrar el pasado

-Evaluando para mejorar los programas

La ciencia de valorar (Scriven)

Evaluación repondente y métodos cualitativos (Stake)

Diseños de evaluación funcionalespara mundo de acomodación política

Evaluaciones conducidas por la teoría, a medida y comprensivas

El caso de la cooperación al desarrollo

3. El futuro de la evaluación

Visiones de la evaluación en el nuevo milenio

La visión interdisciplinar (Scriven)

Respondiendo a retos emergentes de gestión

Evaluación que empodera (Fetterman)

Cuarta generación de evalauciones en el nuevo milenio (Lincoln)

La visión inclusiva de la evaluación (Metens)

El caso de la cooperación al desarrollo

ENGLISH

Roadmap for evaluation and evaluation in development cooperation

I develop a roadmap of some of the elements related to evaluation that I will develop in this blog in the future. Probably they will change as our routes are changing over time.

It will be under the category “Learning to learn”

Roadmap of EVALUATION in development cooperation

1.The history of the evaluation

2.Theory of evaluation: theories of practice

Role of theory in the practice of EVALUATION
Evaluation of social programs

Foundations of program evaluation (Shadish):

- Phase I: Providing evidence to solving social problems

-Phase II: Generation of alternatives emphasizing the usefulness and practicality

Phase-III: Trying to integrate the past

-Evaluations to improve programs

The science of valuing (Scriven)
Qualitative evaluation methods (Stake)

Designs of functional evaluation in a world of political accommodation

Driven theory Evaluations, tailored and comprehensive  

3. The future of evaluation

Visions of the evaluation in the new millennium

Interdisciplinary vision (Scriven)

Responding to emerging management challenges  

Empowerment Evaluation (Fetterman)

Fourth generation evalautions in the New Millennium (Lincoln)

The inclusive vision of the evaluation (Metens)

The case of the development cooperation

(Française)

Feuille de route pour l´evaluation et l´evaluation de la coopération au développement

Je vais élaborer une feuille de route de certains des éléments autour de l´evalution que je voudrais developper à l’avenir. Il y aura des changements, mais nos routes sont en train de changer au fil du temps

Sera dans la catégorie “Apprendre à apprendre”

Feuille de route de l´ÉVALUATION dans la coopération au développement

1.L ‘histoire de l’évaluation

Le cas de la coopération au développement

2.Théorie de l’évaluation: les théories de la pratique

Rôle de la théorie à la pratique de l’évaluation

Evaluation des programmes sociaux

Fondements de l’évaluation de programmes (Shadish):

- Phase I: Fournir des evidences pour résoudre les problèmes sociaux

-Phase II: Production de alternatives en mettant l’accent sur l’utilité et la

praticabilité Phase III: Essayer d’intégrer le passé

-Évaluations pour améliorer les programmes

La science de la valoration(Scriven)

Méthodes d’évaluation qualitatives (Stake)

Modèles d’évaluation functionales 

Les évaluations conduites par la théorie

Le cas de la coopération au développement

3. L’avenir de l’évaluation

Visions de l’évaluation dans le nouveau millénaire

Vision interdisciplinaire (Scriven)

Répondre aux nouveaux défis de la gestion

Empowerment Evaluation (Fetterman)

Quatrième génération evalautiones dans le nouveau millénaire (Lincoln)

La vision inclusive de l’évaluation (Metens)

Le cas de la coopération au développement

Esto es un comienzo que hace tiempo tenía previsto, aunque llega más tarde de lo que pensé. Este blog quiero dedicarlo a los menesteres que se relacionan más con aquello con lo que me ayuda a pagar la hipoteca cada mes: mi profesión.

Y ¿a qué me dedico durante las horas de labor?…sería difícil explicarlo así que trataré de hacerlo en los próximos posts, poco a poco.

En este primer post quería también decir que ha terminado una etapa y que por eso ahora es el momento de comenzar aquí. El 24 de febrero de 2009 (POR FIN) defendí mi tesis doctoral.

No sé si puede interesar a mucha más gente que a mi familia y a los pobres miembros del tribunal pero trato de resumir en unos párrafos algunas de las conclusiones de la tesis:

La investigación giraba en torno a la utilización y la utilidad de la información manejada por una agencia de cooperación para el desarrollo (de países pobres) descentralizada española en base a sus intervenciones en los países socios. Se basaba en tres ejes: Primero, análisis de las intervenciones en su fase de formulación, seguimiento y evaluación, así como de las valoraciones de los técnicos de la agencia donante. Segundo, análisis de percepciones de diversos actores implicados. Tercero, análisis organizacional de la motivación, la capacidad y el entorno institucional de la agencia donante.

…no quiero incitar a anti marcologistas a una enmienda a la totalidad, en fin, me considero un pragmático…mientras no haya nada mejor tendremos que tratar de hacerlo lo mejor posible…y dejo a otros más sesudos resolver el mundo.

Las conclusiones reflejan (cómo no, una vez más) el salto entre la teoría (¿el discurso, la retórica?) y la práctica:

1. La lógica de intervención en general permanece inalterada durante el ciclo de las intervenciones, de forma que lo previsto en la identificación y formulación se convierte en realidad. Como reflexión señalo que la falta de modificación del modelo lógico puede, a veces, estar asociado a cierta falta de utilidad o flexibilidad.

2. Hay un claro desequilibrio hacia la rendición de cuentas (sobre el aprendizaje) en el uso de todo el proceso. Reconociendo que ambos paradigmas, rendición de cuentas y aprendizaje, son inseparables, se aprecian pocos indicios de toma de decisiones al máximo nivel estratégico en base a aprendizajes del ciclo de las intervenciones: Los indicadores son poco útiles; el seguimiento desde la agencia donante no es analítico y no alimenta resultados organizacionales; en las administraciones públicas españolas prima la planificación en base a presupuesto (a pesar de los deseos “de algunos” de hacerlo con otros enfoques)

3. Las demandas de información de la agencia donante no responden a una estrategia de gestión de la información que aclare qué información, para qué y cómo ha de tratarse. Las demandas no son funcionales al no tener una utilidad estratégica.  

Algunas recomendaciones que se dieron en su momento a la agencia donante:

1. Los sistemas de información en base a la gestión de intervenciones  no tienen una regla universal, sino que cada organización, en función de su motivación, su capacidad y su entorno específico ha de adaptarse. Puede parecer una perogrullada, pero la realidad te demuestra que no lo es. En fin de otra manera no existiría la palabra gestión…pero es que en este sector a cualquier cosas se le llama cualquier cosa  (participación, gestión, ciclo…) sin ningún tipo de pudor o problema…

2. Las organizaciones deberían

ü      Tratar la información como un recurso cuya cantidad y calidad hay que planificar, presupuestar y ¡ evaluar ¡

ü      Tratar de fijarse metas organizacionales en las que se pueda atribuir qué departamentos cumplen sus funciones correctamente y cuáles han de mejorar (e incentivar según los casos)

ü      Dotarse de liderazgos fuertes que persigan una gestión interna coherente de la información

Como última reflexión, antes de esta primera despedida, la investigación concluye que lo que merece la pena merece la pena hacerlo bien. Y para ello, las organizaciones, los profesionales de este sector deberían reflexionar acerca de la necesidad de estrategias planificadas (no emergentes) de gestión de la información, de la necesidad de considerar la motivación, la capacidad y el entorno específico de cada organización, y de la necesidad de aprender del pasada para evitar la huida (activista) hacia adelante. En fin también concluye que, a falta de que al máximo nivel de decisión se incentive de forma más rápida en esta dirección, la sociedad civil debería pedir resultados de desarrollo a los que nuestra cooperación contribuye y productos atribuibles al buen desempeño organizacional de los actores de desarrollo: (0,7% ¿para qué?)

Hasta la próxima

PD: Si a alguien le interesa la investigación que me lo indique

An end and a beginning

This is a beginning that was long expected, but arrived later than I thought. I have another blog more personal and related to literary topics, but otherwise I dedicate this to other duties, related to what these little things that help me to live every months.

And what I do during these working hours? … it would be difficult to explain so I will try to do so in the next few posts, little by little.

In this first post I wanted also to say that it has been completed one important stage and that is why now it is the time to start here: On February 24, 2009, I got my PhD.

I do not know if it can attract far more people than my family and the members of the Phd. tribunal but I will try to summarize in a few paragraphs some of the conclusions of my Phd.:

The research was about the use and usefulness of the information managed by a decentralized Spanish donor agency, based on its interventions in partner countries. It was based on three pillars: First, analysis of interventions in their stage of development, monitoring and evaluation, as well as technical assessments of the donor agency. Second, analysis of perceptions of various stakeholders. Third, organizational analysis of the motivation, capacity and institutional environment of the donor agency.

… I do not want to incite anti frameworkers to an amendment to the full, in order, I consider myself a pragmatist … as far as there is nothing better “in practice” on the field, we will try to do our best … and I let other more clever brains solve the world

The findings show (yes, again) the gap between theory (the rhetoric?) and practice:

1. The intervention logic in general remains unchanged during the course of interventions, so that the provisions in the identification and development becomes a reality. Noted, as a reflection, that the lack of change of the logic model can sometimes be associated with a lack of utility or flexibility.

2. There is a clear imbalance toward accountability (on learning) in the use of the entire process. Recognizing that both paradigms, accountability and learning are inseparable, there are few signs of making strategic decisions at the highest level based on learning cycle interventions: Indicators are useless, Monitoring from donor agency is not analytical and they do not feed organizational information needs; in Spanish Public governments mangement is on planning based budget (despite the wishes of some to do it with other approaches)

3. The demands for information from the donor agencies do not respond to an information management to clarify what information for what and how it is treated. The information demands are not functional due to not having strategic utility.

Some recommendations were made to the donor agency:

1. Information systems based on management interventions have not a universal rule, but each organization has to adapt depending on its motivation, its capacity and its specific environment

2. Organizations should
 Treat the information as a resource whose quantity and quality need to be planned, budgeted and evaluated (¡¡)
 Try to set the organizational goals that can be assigned to specific departments performance, so as to incentive them.
 Providing strong leadership to pursue a coherent internal information management

As a final thought the investigation concludes that what is worth is worth doing well. To do this, organizations and professionals in this sector, should consider the necessity of planned strategies (non-emergent) information management, the need to consider the motivation, capabilities and environment of each organization, and the need to learn from the past to prevent the escape (activism) forward. Finally, in the absence of decisions at the highest level related to getting faster incentives to a better information management in the development dector, the (Sapnish and partner countries) civil society should ask to decision makers and politics for development results to which Spanish development cooperation contributes in one side, and in the other which kind of performance have our development (public and NGDO) organizations (0.7% for what?)

Until next time

PS: If anyone is interested in this research, please ask me

And thanks for correcting my English if neccesary…

Une fin et un début

Ceci est un début qui a été longtemps attendu, mais est arrivé plus tard que je pensais. J’ai un autre blog, c’est-personnelle et des thèmes littéraires, mais sinon je vais consacrer ce blog à d’autres fonctions, c’est-à-dire à se que me permet de payer l’hypothèque chaque mois : ma profession.ü ressource dont la quantité et la qualité nécessaire à la planification, de budget et d’évaluer ¡¡
 Essayer de fixer des objectifs de l’organisationü qui peuvent être attribuées ministères exécutent leurs tâches correctement et ce afin d’améliorer (et à encourager, selon le cas)
 Assurer un leadershipü fort à poursuivre une stratégie cohérente de gestion interne de l’information

Et ce que je suis pendant les heures de travail … il serait difficile à expliquer, je vais essayer de le faire dans les prochains postes, peu à peu.

Dans ce premier message, ce que je voulais dire aussi est qu’il a terminé une étape pour mois et c’est pourquoi le moment est venu de commencer ici. Le 24 Février, 2009, j´ai soutenu ma thèse de doctorat.

Je ne sais pas si elle peut attirer beaucoup plus de personnes que ma famille et les pauvres membres du tribunal, mais je vais essayer de résumer en quelques points certaines des conclusions de la thèse:

La recherche a porté sur l’utilisation et l’utilité de l’information gérée par une agence donatrice décentralisé, sur la base de leurs interventions dans les pays partenaires. Il est fondé sur trois piliers: Tout d’abord, l’analyse des interventions dans leur stade de développement, de suivi et d’évaluation, ainsi que de l’analysis organisationnel de l’organisme donateur. Deuxièmement, l’analyse des perceptions des différentes parties prenantes. Troisièmement, l’analyse organisationnelle de la motivation, la capacité et de l’environnement institutionnel de l’organisme donateur.

… Je ne veux pas d’inciter à la lutte aux contre-cadrelogistes, à son amendement à l’application intégrale, dans l’ordre, je me considère comme un pragmatique … jusqu’à ce que il n’ya rien de mieux sur le terrain, nous essayerons de faire de notre mieux … et je laisse d´autres à résoudre le monde.

Les résultats montrent (oui, encore) de saut entre la théorie (la rhétorique?) et de la pratique:

1. La logique de l’intervention en général demeure inchangé au cours des interventions, de sorte que les dispositions de l’identification et le développement devienne une réalité. A noter comme le reflet de l’absence de changement du modèle logique peut parfois être associée à un manque d’utilité ou de flexibilité.

2. Il y a un net déséquilibre en direction de la reddition de comptes (sur l’apprentissage) dans l’utilisation de l’ensemble du processus. Reconnaissant que les deux paradigmes, la responsabilisation et l’apprentissage sont indissociables, il ya peu de signes de prendre des décisions stratégiques au plus haut niveau, basée sur l’apprentissage du cycle d’interventions: les indicateurs peu utiles, le suivi depuis le bailleur de fonds n´est pas analytique et la performance de l’organisation n’est pas alimenté de ce montant d´information; et les administrations publiques espagnoles font une planification axée sur le budget (en dépit de la volonté de certains de le faire avec d’autres approches)

3. Les demandes de information émanant d’organismes donateurs ne répondent pas à une gestion de l’information pour clarifier quelle information, pour quoi et comment elle est traitée. Les exigences ne sont pas fonctionnels parce qu´il n´y a pas une utilité stratégique.

Certaines recommandations ont été faites au organisme donateur:

1. Les systèmes d’information fondée sur la gestion des interventions ne sont pas une règle universelle, mais chaque organisation, en fonction de leur motivation, leur capacité et leur environnement spécifique doit s’adapter. (Dans l’ordre ou pas, là … mais le mot est que la gestion de ce secteur est appelé rien rien du tout (la participation, la gestion, le cycle …), sans honte ou de problème …

2. Les organisations doivent
 

Traiter l’information comme une ressource dont la quantité et la qualité nécessaire à la planification, de budget et d’évaluer ¡¡

Essayer de fixer des objectifs de l’organisation qui peuvent être attribuées aux département qui exécutent leurs tâches correctement, afin d’améliorer (et à encourager, selon le cas)

Assurer un leadership fort pour poursuivre une stratégie cohérente de gestion interne de l’information

Comme une dernière pensée, avant le premier renvoi, l’enquête conclut que ce qui vaut la peine vaut bien d´être fait. Pour ce faire, les organisations, les professionnels de ce secteur devraient envisager la nécessité de stratégies planifiées (non émergentes) pour la gestion de l’information ; la nécessité de considérer la motivation, les capacités et l’environnement de chaque organisation ; et la nécessité de tirer les leçons du passé pour empêcher l’évasion (activiste) vers l’avant. Dans le but également de constater que, en l’absence de cette décision au plus haut niveau de l’incitation plus rapide dans cette direction, la société civile espagnole et de pays partenaire devraient demander des résultats du développement à laquelle la coopération (pour le développement), et comme est-ce que c´est la performance des acteurs développement (0,7% pour quoi?)

Jusqu’à la prochaine fois

PS: Si quelqu’un est intéressé dans ce dossier, merci de me demander

Et merci de corriger mon française en case ou…