Resumen metodológico

Evaluación de procesos. La evaluación toma como marco de referencia los estudios realizados por CONEVAL, efectuando una mirada sobre los procesos centrales de una política social: planificación, difusión, solicitud de apoyos (aplicación al programa), selección de usuarios, producción de bienes y servicios, distribución de bienes y servicios, entrega de apoyos, seguimiento a usuarios y monitoreo de apoyos. Para ello realizó 8 entrevistas en profundidad con funcionarios nacionales responsables del programa y con coordinadores provinciales. En las provincias de Catamarca, Misiones y Tucumán también se hicieron entrevistas grupales con los equipos técnicos provinciales. Además, se implementaron 10 grupos focales de coordinadores y talleristas. Para recolectar la mirada de los usuarios, se realizó una encuesta.

Evaluación de impacto. Se utilizó la metodología de Propensity Score Matching (PSM), método cuasi-experimental que suele ser muy utilizado cuando hay solamente datos sobre los participantes en el momento posterior a la intervención que es evaluada (sin línea de base) . El grupo de tratamiento está conformado por los jóvenes que participan de los CAJ, mientras que el grupo de comparación está conformado por jóvenes con similares características que no participan del programa.

La idea básica fue encontrar, en una muestra de no participantes, a aquellas personas que tienen la mayor similitud posible a los participantes en tanto comparten ciertas características observables en la instancia previa al tratamiento o comparten ciertas características que no se ven afectadas por el tratamiento. Usando esas características observables, se calcula la probabilidad de participación (propensity score) en el programa de cada uno de los individuos de la muestra y se realiza el pareo (match) entre una persona del grupo de control y una (o varias) del grupo de tratamiento. Aquellas unidades que no fueron posible “matchear” o parear serán eliminadas debido a que no pueden ser comparadas por resultar ser muy diferentes en relación a las características observables.

Luego se observan las variables de resultado (variables dependientes) para uno y otro individuo (por ejemplo, el ausentismo escolar en este caso) y se asume que la diferencia en los resultados de estas dos personas puede atribuirse al programa, dado que el método mantiene constantes una gran cantidad de variables potencialmente relevantes (Caliendo & Kopeining, 2005).

Principales hallazgos y recomendaciones

En lo que respecta a los procesos, la evaluación encontró una serie de fortalezas de la intervención. Entre ellas se puede mencionar las vinculadas con: la identidad construida entre los jóvenes participantes y entre ellos y los talleristas y coordinadores; la gran penetración territorial del programa; la articulación con otros programas, con entidades educativas y con la comunidad donde se inserta la escuela CAJ; la alta calidad y compromiso de los profesionales y su formación constante; la existencia de un sistema de monitoreo provincial que funciona de manera regular; y la articulación con PEI y/o PML (al menos en algunas escuelas).

Además, se identificaron numerosas oportunidades para el programa, como la alta motivación y disposición a aprender cosas nuevas del equipo técnico; la motivación de los coordinadores y talleristas; el interés entre los talleristas por llevar a los jóvenes a hacer más actividades fuera de la escuela y la posibilidad de reorganizar los datos de M&E para poder producir indicadores que estén más alineados con los resultados e impactos esperados.

En términos de debilidades, el principal problema radica en que el programa no cuenta con una teoría de cambio explícita. Si asumimos que la versión estilizada de teoría de cambio que reconstruimos para la realización de esta evaluación es correcta, entonces el éxito o fracaso del programa radicaría en la calidad de los talleres. En este sentido, la mínima falla en la implementación de los mismos o la diferencia en calidad entre talleres puede tener efectos muy grandes en alcanzar o no los objetivos propuestos.

En términos de amenazas, se observaron las malas condiciones laborales de los talleristas a través de la ausencia de contrato de trabajo; el presupuesto operativo escaso para las actividades; la preocupación por la poca claridad sobre la continuidad del programa identificada tanto entre los profesionales involucrados en la implementación del programa como entre los jóvenes participantes y el surgimiento de programas que pueden superponerse con los objetivos y modalidades de funcionamiento de los CAJ.

En lo que respecta a los impactos, los resultados son muy alentadores en tanto se observan efectos positivos y significativos en todas las variables testeadas. En particular, se observa una modesta reducción en el ausentismo de los jóvenes (casi 3 días más de escolaridad), un aumento en la probabilidad de estar satisfecho con la escuela (cercano a los 8 puntos porcentuales), una mejora en la satisfacción con su propio cuerpo (incremento de 0.3 sobre una escala de 5 puntos), un aumento en la probabilidad de tener satisfacción con su vida (7 puntos porcentuales) y una pequeña mejora en la probabilidad de seguir estudiando en el futuro (5 puntos porcentuales).

Resumen metodológico

Think Tank Initiative (TTI) had four primary objectives: (i) to evaluate the programme concept and design, (ii) to assess the implementation of the programme, (iii) to determine the intermediate outcomes and impact, and (iv) to provide suggestions for improving the design of Phase 2. Desk-based research included a review of key project documentation, interviews with stakeholders, a literature review of comparable programmes, an analysis of the TTI monitoring and evaluation (M&E) database, and collection of 65 Stories of Change from project stakeholders. The Stories of Change, and results of the other desk-based research were triangulated through meetings, interviews, and workshops with 17 TTI grantees and a range of other stakeholders during visits to eight countries in Latin America, East and West Africa, and South Asia. The emerging findings were then validated via an online follow-up survey of informants and at meetings with the TTI Executive Committee (EC) and International Advisory Group (IAG).

Principales hallazgos y recomendaciones

The evaluation team found the TTI theory of change to be robust and well rooted in scientific and practical knowledge about the role of think tanks and initiatives designed to strengthen their capacity. TTI’s overall aim and programme design are clear and well understood by stakeholders. Furthermore, the combination of core funding and technical assistance to funded think tanks, alongside the programme’s Matching Funds mechanism to support collaborative initiatives, is widely regarded as an effective formula.
(…) It is difficult to attribute changes in think tank performance during the course of the programme solely to TTI’s contributions. Nonetheless, there is satisfactory evidence that improvements such as those documented above have started to influence wider changes in policy and practice.

Resumen metodológico

La estrategia metodológica utilizada comprendió la triangulación entre métodos cuantitativos y cualitativos, así como la combinación de diferentes fuentes de información. Para ello se realizaron entrevistas a informantes clave, grupos focales con titulares de derechos, observación mediante visitas a campo y análisis documental relevante.
Cada componente recibió una valoración analítica de acuerdo a los siguientes criterios evaluativos:
Relevancia: La relevancia de los resultados de desarrollo se examina considerando en qué medida las acciones realizadas coinciden con las prioridades y políticas de la entidad donante, el gobierno provincial y los titulares de derecho.
Efectividad: La efectividad de los resultados de desarrollo se mide a través de comparación de valores de tendencia de los indicadores planeados en el marco lógico desde la línea base hasta el valor del último informe de monitoreo (PCR).
Eficiencia: La eficiencia en la implementación del programase mide a través de la comparación del tiempo y recursos económicos utilizados para implementarlas respecto a los previstos, la gestión de las finanzas, los riegos y los problemas.
Eficacia: La eficacia en la implementación del programa se revisa a partir de la función de producción y los hallazgos encontrados.
Sostenibilidad: La sostenibilidad de los resultados de los distintos componentes se analiza a través de la evaluación de la capacidad institucional del gobierno para garantizar la continuidad en la prestación de los servicios mejorados y en la utilización de los sistemas implementados.

Principales recomendaciones y hallazgos

B. Lecciones Aprendidas

B.1. Operativas
1. Prever durante la formulación del proyecto la celebración de convenios entre actores.
2. Contemplar la inserción de los equipos técnicos de los ministerios en las UTES.
3. Prever procesos de procurement adecuados.
4. Evaluar la modalidad constructiva a detalle.
5. Prever procesos de acompañamiento y mantenimiento post-obras.
6. Articular y coordinar los procesos de presupuesto y planificación.
7. Fortalecer el uso del sistema.

B.2. Técnicas/temáticas
1. Incorporar información de diagnóstico sobre la situación de la calidad constructiva de las escuelas, previo a la intervención del programa.
2. Realizar relevamientos intermedios en la infraestructura para detectar problemas recurrentes. Se hubiera podido minimizar problemas de acústica, goteras y filtraciones, deficiencias en aislaciones y protecciones solares, etc.
3. Dificultad de modificar los indicadores de eficiencia interna escolar por medio de acciones aisladas.
4. Existió mayor aprovechamiento de las capacitaciones en escuelas nuevas, con equipos docentes en formación. Asimismo, hubo una falta de interés docente en participar en capacitaciones a contra turno o días sábado, fuera de servicio.
5. Se puso de manifiesto las limitaciones de la capacitación en formato “curso” para involucrar a docentes y modificar prácticas.
6. Al poner al docente en un lugar central en los proyectos de articulación, se incentivó la autonomía y fortaleció su rol como investigador y generador de conocimiento. Hubo un alto grado de apropiación e involucramiento de los docentes.
7. Hubo efectos negativos en la ejecución de los programas al no considerar la variable inflacionaria en los programas que contempla el pago de recursos humanos. Se generó un proceso de selección involuntaria a partir de trabas administrativas aplicadas a los docentes. Hubo efectos negativos a partir de la existencia de trabas administrativas en la contratación de docentes (exigencia de ser monotributista).
8. Incorporar la participación del personal de dirección de los establecimientos desde el inicio del proyecto, permite lograr una mejor planificación y evitar grandes desvíos de fondos.
9. Al cerrar el cerco perimetral de las escuelas se mantienen en mejores condiciones.
10. La gestión territorial “in situ”, como modelo de intervención, parece tener menos costos sociales y producir sinergias que operan en la sustentabilidad de los proyectos. La consolidación y mejoramiento del hábitat antes que la relocalización a nuevos barrios, muestra mayores posibilidades de fortalecimiento comunitario y apropiación del entorno
11. En cuanto al diseño de las viviendas se debió adecuar la tipología en función del tamaño y características de los hogares. Un aspecto a contemplar es el factor hacinamiento. Si bien las soluciones habitacionales que provee el Préstamo permiten mejorar las condiciones de vida de la población, numerosas familias al ser relocalizadas, lidian con la problemática del hacinamiento. La composición de las familias beneficiarias no suele ser menor a 6 miembros. De este modo, una vez alojadas en la nueva vivienda, la situación de hacinamiento se agudiza, cuando vecinos “emprendedores” deciden poner un negocio y utilizar parte de la vivienda para usos comerciales o productivos.
12. El proceso de construcción en los Hospitales Córdoba y Misericordia evidencia la existencia de modalidades distintas para remodelar y construir un hospital. De ello se desprende que procesos de construcción y de adquisición de equipamiento de naturalezas diferentes, requieren estrategias de procurement y ejecución separadas.
13. Influencia del contexto político en la gestión.
14. Valorar adecuadamente el tiempo que conllevan los cambios en la gestión para que sean sostenibles en el tiempo y se arraiguen en la cultura organizacional. Estos implican modificaciones en el trabajo cotidiano que requieren de tiempo e inversiones significativas.
15. La importancia de disponer de datos y estadísticas fiables para evaluar el impacto de las intervenciones.

Resumen metodológico

Cualitativa: entrevistas y focus groups

Principales hallazgos y recomendaciones

A lo largo de este trabajo planteamos que los contextos nacionales de evaluación y, en especial, el grado de institucionalización de los sistemas de seguimiento y evaluación impactan en la capacidad de incidencia efectiva de los resultados de las investigaciones en la toma de decisión de las políticas públicas.

Del mismo modo, asumimos que los equipos o centros de investigación dedicados a realizar evaluaciones de impacto, compuestos de manera diversa y con capacidades diferentes, pueden tomar decisiones relativas a la planificación e implementación de estrategias de incidencia que afectan el punto de llegada de los hallazgos y recomendaciones que producen las evaluaciones de impacto.

En este sentido podríamos decir que en aquellos contextos con mayor institucionalización de la evaluación, una incidencia estratégica y activa por parte de los equipo suele redundar en cambios, de distinto alcance y grado, en las políticas públicas. Mientras que en similares contextos, si no se implementa a conciencia una estratégica de incidencia las chances de llegar a la política o a la toma de decisiones disminuyen. Con todo, en aquellos escenarios donde la institucionalización es baja o nula, una estrategia pensada de incidencia puede resultar efectiva sólo si se combinan algunos factores disparadores muy fuertes de contexto (un “champion” de evaluación, una ventana de oportunidad política única, un tema de agenda candente). Por el contrario, contextos poco permeables a la evaluación de manera sistemática y orgánica combinados con equipos u organizaciones que no ejerzan ninguna acción de incidencia no lograrán atravesar las decisiones para influir con sus resultados.