Resumen metodológico
Evaluación de procesos. La evaluación toma como marco de referencia los estudios realizados por CONEVAL, efectuando una mirada sobre los procesos centrales de una política social: planificación, difusión, solicitud de apoyos (aplicación al programa), selección de usuarios, producción de bienes y servicios, distribución de bienes y servicios, entrega de apoyos, seguimiento a usuarios y monitoreo de apoyos. Para ello realizó 8 entrevistas en profundidad con funcionarios nacionales responsables del programa y con coordinadores provinciales. En las provincias de Catamarca, Misiones y Tucumán también se hicieron entrevistas grupales con los equipos técnicos provinciales. Además, se implementaron 10 grupos focales de coordinadores y talleristas. Para recolectar la mirada de los usuarios, se realizó una encuesta.
Evaluación de impacto. Se utilizó la metodología de Propensity Score Matching (PSM), método cuasi-experimental que suele ser muy utilizado cuando hay solamente datos sobre los participantes en el momento posterior a la intervención que es evaluada (sin línea de base) . El grupo de tratamiento está conformado por los jóvenes que participan de los CAJ, mientras que el grupo de comparación está conformado por jóvenes con similares características que no participan del programa.
La idea básica fue encontrar, en una muestra de no participantes, a aquellas personas que tienen la mayor similitud posible a los participantes en tanto comparten ciertas características observables en la instancia previa al tratamiento o comparten ciertas características que no se ven afectadas por el tratamiento. Usando esas características observables, se calcula la probabilidad de participación (propensity score) en el programa de cada uno de los individuos de la muestra y se realiza el pareo (match) entre una persona del grupo de control y una (o varias) del grupo de tratamiento. Aquellas unidades que no fueron posible “matchear” o parear serán eliminadas debido a que no pueden ser comparadas por resultar ser muy diferentes en relación a las características observables.
Luego se observan las variables de resultado (variables dependientes) para uno y otro individuo (por ejemplo, el ausentismo escolar en este caso) y se asume que la diferencia en los resultados de estas dos personas puede atribuirse al programa, dado que el método mantiene constantes una gran cantidad de variables potencialmente relevantes (Caliendo & Kopeining, 2005).
Principales hallazgos y recomendaciones
En lo que respecta a los procesos, la evaluación encontró una serie de fortalezas de la intervención. Entre ellas se puede mencionar las vinculadas con: la identidad construida entre los jóvenes participantes y entre ellos y los talleristas y coordinadores; la gran penetración territorial del programa; la articulación con otros programas, con entidades educativas y con la comunidad donde se inserta la escuela CAJ; la alta calidad y compromiso de los profesionales y su formación constante; la existencia de un sistema de monitoreo provincial que funciona de manera regular; y la articulación con PEI y/o PML (al menos en algunas escuelas).
Además, se identificaron numerosas oportunidades para el programa, como la alta motivación y disposición a aprender cosas nuevas del equipo técnico; la motivación de los coordinadores y talleristas; el interés entre los talleristas por llevar a los jóvenes a hacer más actividades fuera de la escuela y la posibilidad de reorganizar los datos de M&E para poder producir indicadores que estén más alineados con los resultados e impactos esperados.
En términos de debilidades, el principal problema radica en que el programa no cuenta con una teoría de cambio explícita. Si asumimos que la versión estilizada de teoría de cambio que reconstruimos para la realización de esta evaluación es correcta, entonces el éxito o fracaso del programa radicaría en la calidad de los talleres. En este sentido, la mínima falla en la implementación de los mismos o la diferencia en calidad entre talleres puede tener efectos muy grandes en alcanzar o no los objetivos propuestos.
En términos de amenazas, se observaron las malas condiciones laborales de los talleristas a través de la ausencia de contrato de trabajo; el presupuesto operativo escaso para las actividades; la preocupación por la poca claridad sobre la continuidad del programa identificada tanto entre los profesionales involucrados en la implementación del programa como entre los jóvenes participantes y el surgimiento de programas que pueden superponerse con los objetivos y modalidades de funcionamiento de los CAJ.
En lo que respecta a los impactos, los resultados son muy alentadores en tanto se observan efectos positivos y significativos en todas las variables testeadas. En particular, se observa una modesta reducción en el ausentismo de los jóvenes (casi 3 días más de escolaridad), un aumento en la probabilidad de estar satisfecho con la escuela (cercano a los 8 puntos porcentuales), una mejora en la satisfacción con su propio cuerpo (incremento de 0.3 sobre una escala de 5 puntos), un aumento en la probabilidad de tener satisfacción con su vida (7 puntos porcentuales) y una pequeña mejora en la probabilidad de seguir estudiando en el futuro (5 puntos porcentuales).