Resumen metodológico

Think Tank Initiative (TTI) had four primary objectives: (i) to evaluate the programme concept and design, (ii) to assess the implementation of the programme, (iii) to determine the intermediate outcomes and impact, and (iv) to provide suggestions for improving the design of Phase 2. Desk-based research included a review of key project documentation, interviews with stakeholders, a literature review of comparable programmes, an analysis of the TTI monitoring and evaluation (M&E) database, and collection of 65 Stories of Change from project stakeholders. The Stories of Change, and results of the other desk-based research were triangulated through meetings, interviews, and workshops with 17 TTI grantees and a range of other stakeholders during visits to eight countries in Latin America, East and West Africa, and South Asia. The emerging findings were then validated via an online follow-up survey of informants and at meetings with the TTI Executive Committee (EC) and International Advisory Group (IAG).

Principales hallazgos y recomendaciones

The evaluation team found the TTI theory of change to be robust and well rooted in scientific and practical knowledge about the role of think tanks and initiatives designed to strengthen their capacity. TTI’s overall aim and programme design are clear and well understood by stakeholders. Furthermore, the combination of core funding and technical assistance to funded think tanks, alongside the programme’s Matching Funds mechanism to support collaborative initiatives, is widely regarded as an effective formula.
(…) It is difficult to attribute changes in think tank performance during the course of the programme solely to TTI’s contributions. Nonetheless, there is satisfactory evidence that improvements such as those documented above have started to influence wider changes in policy and practice.

Resumen metodológico

La estrategia metodológica utilizada comprendió la triangulación entre métodos cuantitativos y cualitativos, así como la combinación de diferentes fuentes de información. Para ello se realizaron entrevistas a informantes clave, grupos focales con titulares de derechos, observación mediante visitas a campo y análisis documental relevante.
Cada componente recibió una valoración analítica de acuerdo a los siguientes criterios evaluativos:
Relevancia: La relevancia de los resultados de desarrollo se examina considerando en qué medida las acciones realizadas coinciden con las prioridades y políticas de la entidad donante, el gobierno provincial y los titulares de derecho.
Efectividad: La efectividad de los resultados de desarrollo se mide a través de comparación de valores de tendencia de los indicadores planeados en el marco lógico desde la línea base hasta el valor del último informe de monitoreo (PCR).
Eficiencia: La eficiencia en la implementación del programase mide a través de la comparación del tiempo y recursos económicos utilizados para implementarlas respecto a los previstos, la gestión de las finanzas, los riegos y los problemas.
Eficacia: La eficacia en la implementación del programa se revisa a partir de la función de producción y los hallazgos encontrados.
Sostenibilidad: La sostenibilidad de los resultados de los distintos componentes se analiza a través de la evaluación de la capacidad institucional del gobierno para garantizar la continuidad en la prestación de los servicios mejorados y en la utilización de los sistemas implementados.

Principales recomendaciones y hallazgos

B. Lecciones Aprendidas

B.1. Operativas
1. Prever durante la formulación del proyecto la celebración de convenios entre actores.
2. Contemplar la inserción de los equipos técnicos de los ministerios en las UTES.
3. Prever procesos de procurement adecuados.
4. Evaluar la modalidad constructiva a detalle.
5. Prever procesos de acompañamiento y mantenimiento post-obras.
6. Articular y coordinar los procesos de presupuesto y planificación.
7. Fortalecer el uso del sistema.

B.2. Técnicas/temáticas
1. Incorporar información de diagnóstico sobre la situación de la calidad constructiva de las escuelas, previo a la intervención del programa.
2. Realizar relevamientos intermedios en la infraestructura para detectar problemas recurrentes. Se hubiera podido minimizar problemas de acústica, goteras y filtraciones, deficiencias en aislaciones y protecciones solares, etc.
3. Dificultad de modificar los indicadores de eficiencia interna escolar por medio de acciones aisladas.
4. Existió mayor aprovechamiento de las capacitaciones en escuelas nuevas, con equipos docentes en formación. Asimismo, hubo una falta de interés docente en participar en capacitaciones a contra turno o días sábado, fuera de servicio.
5. Se puso de manifiesto las limitaciones de la capacitación en formato “curso” para involucrar a docentes y modificar prácticas.
6. Al poner al docente en un lugar central en los proyectos de articulación, se incentivó la autonomía y fortaleció su rol como investigador y generador de conocimiento. Hubo un alto grado de apropiación e involucramiento de los docentes.
7. Hubo efectos negativos en la ejecución de los programas al no considerar la variable inflacionaria en los programas que contempla el pago de recursos humanos. Se generó un proceso de selección involuntaria a partir de trabas administrativas aplicadas a los docentes. Hubo efectos negativos a partir de la existencia de trabas administrativas en la contratación de docentes (exigencia de ser monotributista).
8. Incorporar la participación del personal de dirección de los establecimientos desde el inicio del proyecto, permite lograr una mejor planificación y evitar grandes desvíos de fondos.
9. Al cerrar el cerco perimetral de las escuelas se mantienen en mejores condiciones.
10. La gestión territorial “in situ”, como modelo de intervención, parece tener menos costos sociales y producir sinergias que operan en la sustentabilidad de los proyectos. La consolidación y mejoramiento del hábitat antes que la relocalización a nuevos barrios, muestra mayores posibilidades de fortalecimiento comunitario y apropiación del entorno
11. En cuanto al diseño de las viviendas se debió adecuar la tipología en función del tamaño y características de los hogares. Un aspecto a contemplar es el factor hacinamiento. Si bien las soluciones habitacionales que provee el Préstamo permiten mejorar las condiciones de vida de la población, numerosas familias al ser relocalizadas, lidian con la problemática del hacinamiento. La composición de las familias beneficiarias no suele ser menor a 6 miembros. De este modo, una vez alojadas en la nueva vivienda, la situación de hacinamiento se agudiza, cuando vecinos “emprendedores” deciden poner un negocio y utilizar parte de la vivienda para usos comerciales o productivos.
12. El proceso de construcción en los Hospitales Córdoba y Misericordia evidencia la existencia de modalidades distintas para remodelar y construir un hospital. De ello se desprende que procesos de construcción y de adquisición de equipamiento de naturalezas diferentes, requieren estrategias de procurement y ejecución separadas.
13. Influencia del contexto político en la gestión.
14. Valorar adecuadamente el tiempo que conllevan los cambios en la gestión para que sean sostenibles en el tiempo y se arraiguen en la cultura organizacional. Estos implican modificaciones en el trabajo cotidiano que requieren de tiempo e inversiones significativas.
15. La importancia de disponer de datos y estadísticas fiables para evaluar el impacto de las intervenciones.

Resumen metodológico

Cualitativa: entrevistas y focus groups

Principales hallazgos y recomendaciones

A lo largo de este trabajo planteamos que los contextos nacionales de evaluación y, en especial, el grado de institucionalización de los sistemas de seguimiento y evaluación impactan en la capacidad de incidencia efectiva de los resultados de las investigaciones en la toma de decisión de las políticas públicas.

Del mismo modo, asumimos que los equipos o centros de investigación dedicados a realizar evaluaciones de impacto, compuestos de manera diversa y con capacidades diferentes, pueden tomar decisiones relativas a la planificación e implementación de estrategias de incidencia que afectan el punto de llegada de los hallazgos y recomendaciones que producen las evaluaciones de impacto.

En este sentido podríamos decir que en aquellos contextos con mayor institucionalización de la evaluación, una incidencia estratégica y activa por parte de los equipo suele redundar en cambios, de distinto alcance y grado, en las políticas públicas. Mientras que en similares contextos, si no se implementa a conciencia una estratégica de incidencia las chances de llegar a la política o a la toma de decisiones disminuyen. Con todo, en aquellos escenarios donde la institucionalización es baja o nula, una estrategia pensada de incidencia puede resultar efectiva sólo si se combinan algunos factores disparadores muy fuertes de contexto (un “champion” de evaluación, una ventana de oportunidad política única, un tema de agenda candente). Por el contrario, contextos poco permeables a la evaluación de manera sistemática y orgánica combinados con equipos u organizaciones que no ejerzan ninguna acción de incidencia no lograrán atravesar las decisiones para influir con sus resultados.

Resumen metodológico

Así, en este estudio partimos de analizar los insumos y actividades que están en la esfera de control y actuación de la PPN y cómo se manifiestan en términos de productos para entender el desempeño institucional del organismo. En un segundo momento, abordamos los alcances de la influencia externa de la organización con especial foco en los resultados de corto y mediano plazo que se han ido obteniendo durante el período en examen (2009- 2011) tanto a nivel de su propio desempeño como en la incidencia que ha tenido en diferentes actores del sistema de justicia.
(…) Para cumplir con el objetivo general se utilizó una estrategia de evaluación basada en dos niveles: 1) el análisis de los efectos agregados amplios generados por las acciones de la PPN, entendidos como cambios y/o avances promovidos, inducidos o producidos por la agencia en las áreas temáticas en las que ha trabajado (y no en la sumatoria de las intervenciones totales); y 2) el análisis de la contribución de la PPN a las políticas sectoriales más amplias que son de su competencia.
(…) Los métodos que se utilizaron para la recolección de datos incluyeron:
a) revisión y estudio de la documentación disponible producida por la PPN;
b) diseño y realización de entrevistas a actores clave;
c) realización de un grupo focal con diferentes actores relacionados con las actuaciones de la PPN;
d) selección y análisis de una muestra ilustrativa de intervenciones que reflejen el trabajo de la PPN durante el período analizado; y
e) análisis de medios.

Principales hallazgos y recomendaciones

En primer lugar las acciones llevadas adelantes y analizadas en este informe se verifican relevantes y concordantes con la apuesta estratégica planteada en 2008-2009 de obtener respuesta por parte de los órganos responsables. Además, son pertinentes para posicionar a la PPN como un actor clave en los diversos escenarios políticos, aportando su conocimiento y su experiencia.

En segundo lugar, los distintos tipos de intervenciones adoptados por la PPN – a saber, mesas de diálogo, debates, recomendaciones, acciones judiciales- han demostrado ser eficaces y pertinentes en relación a los objetivos tácticos de la PPN en y al posicionamiento como actor, en la definición del problema y el desarrollo de alianzas estratégicas con otros actores, pero también aportan a la definición de una estrategia de solución y tratamiento del problema.

En tercer lugar y específicamente, la intervención en sede judicial por parte de la PPN es eficaz par la lograr la protección de un derecho o el cese de una medida violatoria de derechos.

En cuarto lugar, observamos cambios efectivos en la legislación nacional (por ejemplo le mecanismo nacional contra la tortura), en la normativa interna adoptada por otros organismos intervinientes (resoluciones del SPF), en la forma de tramitación de los casos de tortura, en la creación de nuevos mecanismos de prevención de tortura, en la adopción de protocolos de actuación comunes, en la creación de grupos de trabajo específicos, en el aumento de colaboración entre organismos y en el sostenido reconocimiento de situaciones de vulneración de derechos que antes no eran reconocidas.

En quinto lugar y dentro del marco de las limitaciones de actuación de la PPN, podemos decir que ha sido un actor muy relevante para la puesta en el ojo público de la problemática de la tortura en establecimientos federales.

Finalmente, el aumento de la visibilidad y legitimidad de la PPN le permite posicionarse como un actor relevante y con capacidad de colaborar en los procesos de definición de problemas.

Recomendaciones

1. “Crear conciencia/consenso en la opinión pública acerca de los derechos humanos de los presos”: Recomendaciones orientadas a fortalecer la incidencia.
2. “Obtención de respuesta por parte de los responsables”: Recomendaciones para mejorar el desempeño institucional.