Resumen metodológico

Se desarrolló un protocolo que permite observar y medir, a través de indicadores cuantitativos y cualitativos, el grado de evaluabilidad de las políticas públicas. Dicho protocolo se desagrega en cinco dimensiones que contienen indicadores y preguntas-guía pensadas con el propósito de lograr una aproximación holística a nuestro objeto de estudio para, de esta manera, minimizar la probabilidad de omitir variables relevantes en nuestro análisis.
Con el fin de reforzar la legitimidad del instrumento, se realizaron una serie de actividades con funcionarios relacionados con los distintos planes y programas analizados para obtener sus visiones.

Principales hallazgos y recomendaciones

Hallazgos vinculados al análisis de evaluabilidad.

• El desempeño promedio de evaluabilidad de la muestra es de 36%. Es decir que del total de los aspectos considerados, en promedio solo en el 36% de los casos fue posible encontrar información que facilite la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas. El promedio de evaluabilidad de una muestra de planes nacionales analizada por CIPPEC fue de alrededor del 50%, frente al 36% de los programas aquí considerados.
• La dimensión con mejor desempeño en evaluabilidad de la muestra es la segunda: La “Calidad del sistema de información para el seguimiento”, en particular en aspectos vinculados a la definición de indicadores para la recolección de información.
• Aspectos a mejorar en cuanto a la “Calidad del sistema de información para el seguimiento” de la muestra es la definición de indicadores de resultado e impacto
• Otra dimensión con buen desempeño es “Calidad de la planificación y Diseño de la Intervención” con 59% de evaluabilidad. En este sentido, se destaca la definición de las dimensiones institucionales, temporales, sectoriales y geográficas de la intervención y el establecimiento de objetivos claros medibles y cuantificados.
• En cuanto a la “Calidad de la planificación y Diseño de la Intervención”, la mayoría de los programas no define una línea de base para la posterior medición de la evolución de la gestión.
• La dimensión 3 ” la estrategia de evaluación” muestra un 30% de evaluabilidad. En términos generales, los programas ponen de manifiesto la voluntad o el deseo de evaluar la intervención, pero no avanzan en definir un tipo de estrategia de evaluación, ni de especificar qué aspectos del programa quisieran evaluar.
• Con respecto a la “Estrategia de actores”, dimensión 4 del análisis de evaluabilidad, la muestra presenta un grado evaluabilidad del 25%. El 50% de los programas contempla que se facilitará la participación de los “actores implicados “en el desarrollo de la evaluación. Sin embargo, en ningún caso se ha realizado un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación.
• Los programas considerados no presentan información indicando que existe un presupuesto definido para evaluación.
• Del mismo modo, mayoría de la muestra carece de recursos humanos suficientes para realizar una evaluación interna.
• Incluir en el diseño del programa estrategias de monitoreo y evaluación aumenta la probabilidad de que ese programa tenga mejores niveles de evaluabilidad, este en mejores condiciones de producir una evaluación efectiva y facilite la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas.

Recomendaciones para aumentar la evaluabilidad de los programas provinciales.

• Incorporar en el diseño de los programa estrategias de monitoreo y evaluación. Esto permitirá que los programas tengan mejores niveles de evaluabilidad, estén en mejores condiciones de producir una evaluación efectiva y faciliten la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas.
• Realizar un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación,
• Especificar las preguntas a las que una evaluación de programa debería dar respuesta definiendo las dimensiones temporales, geográficas e institucionales de la intervención que serian consideradas en la evaluación,
• Contar con un presupuesto definido para evaluación,
• Destinar tiempo suficiente para realizar acciones de evaluación
• Destinar recursos humanos suficientes para realizar acciones de evaluación
• Enfocar el análisis en mayor medida hacia resultados finales al avanzar en la definición y el seguimiento de indicadores de impacto.
• Acotar las dimensiones (temporales, geográficas, institucionales, etc.) de la intervención que serían consideradas en la evaluación.

Resumen metodológico

Se desarrolló un protocolo que permite observar y medir, a través de indicadores cuantitativos y cualitativos, el grado de evaluabilidad de las políticas públicas. Dicho protocolo se desagrega en cinco dimensiones que contienen indicadores y preguntas-guía pensadas con el propósito de lograr una aproximación holística a nuestro objeto de estudio para, de esta manera, minimizar la probabilidad de omitir variables relevantes en nuestro análisis.
Con el fin de reforzar la legitimidad del instrumento, se realizaron una serie de actividades con funcionarios relacionados con los distintos planes y programas analizados para obtener sus visiones.

Principales hallazgos y recomendaciones

Se observa que hay niveles muy desiguales de desarrollo, el cluster análisis nos deja ver que hay dos grandes grupos de políticas: aquellas con un estado avanzado en material de evaluabilidad y las otras con una situación diametralmente opuesta. De todas las dimensiones, la dimensión 1 “calidad de la planificación y del diseño de la intervención para lograr los efectos deseados” es la que mayor nivel de desarrollo tiene. (…) En contraposición, la 5a dimensión “recursos efectivos destinados a la evaluación” es la que requiere mayor desarrollo.

Como ya se mencionó, los recursos específicos asignados a la evaluación son un elemento fundamental para garantizar la evaluabilidad. (…) La 2a dimensión, “calidad del sistema de información para el seguimiento, la producción y el archivo de la evidencia”, tiene en promedio una gran cantidad de programas con niveles altos de evaluabilidad. Sin embargo, vale destacar que encontramos que casi todos aquellos con bajos niveles generales de evaluabilidad presentan un magro desarrollo de sus sistemas de información. (…) Finalmente, las dimensiones 3 “calidad de la estrategia de evaluación prevista”, y 4 “estrategia de actores adoptada para incluir la participación durante las diferentes etapas de seguimiento y evaluación”, parecen comportarse siguiendo a las otras dimensiones.
Entonces, vale la pena preguntarnos ¿cómo puede fortalecerse la evaluabilidad de planes y programas de gobierno? Creemos que de nuestro análisis se desprenden por lo menos dos dimensiones de trabajo para avanzar en una agenda de mejora de la evaluabilidad de las intervenciones públicas: 1) fortalecimiento del contexto institucional, calidad del diseño de las políticas públicas y enforcement del enfoque de evaluación y 2) desarrollo de capacidades en los organismos implementadores.

Leé el documento completo haciendo click acá 

Resumen metodológico

Se desarrolló un protocolo que permite observar y medir, a través de indicadores cuantitativos y cualitativos, el grado de evaluabilidad de las políticas públicas. Dicho protocolo se desagrega en cinco dimensiones que contienen indicadores y preguntas-guía pensadas con el propósito de lograr una aproximación holística a nuestro objeto de estudio para, de esta manera, minimizar la probabilidad de omitir variables relevantes en nuestro análisis.
Con el fin de reforzar la legitimidad del instrumento, se realizaron una serie de actividades con funcionarios relacionados con los distintos planes y programas analizados para obtener sus visiones.

Principales hallazgos y recomendaciones

Si comparamos la muestra actual con la muestra de 33 programas nacionales (CIPPEC, 2015) en términos de evaluabilidad es posible afirmar que hay un desempeño parejo entre ambas muestras. Sin embargo, al analizar las distintas dimensiones surgen matices que establecen diferencias entre ambos casos. En cuanto a diseño y planificación de los programas, la muestra correntina presenta un porcentaje más elevado. En cuanto a las fortalezas comparativas la muestra correntina se destaca por tener mayor cantidad de diagnósticos de la situación en la que se insertan las intervenciones. En ambos casos los programas suelen definir claramente los objetivos perseguidos por la intervención. Del mismo modo, para ambas muestras, la definición del horizonte temporal para alcanzar los objetivos es un aspecto que presenta oportunidades de mejora y que suele constituir un aspecto pendiente para los programas.

En cuanto a los sistemas de información ambas muestras tienen el mismo porcentaje, 52%. Sin embargo, la distribución al interior de la muestra es diferente. En el 80% de los programas nacionales considerados se definen indicadores, mientras que en la muestra provincial el porcentaje es de 47%. En la muestra correntina solo un 25% de los programas identifica indicadores de impacto y en la muestra nacional lo hace un 48%. Por otro lado, un alto porcentaje de los programas correntinos (82%) identifica claramente la fuente de información del programa.
Los sistemas de monitoreo y evaluación de la muestra nacional presentan un mayor grado de evaluabilidad. Sin embargo, la muestra correntina define en un 38% las preguntas de evaluación, mientras que la nacional lo hace en un 36%. Por su parte, 70% de los programas nacionales considerados definen las preguntas a las que la evaluación debe dar respuesta, mientras que de los programas correntinos considerados lo hace el 47%.

La estrategia de actores es mayor en el caso de la muestra nacional. Así el 82% de los programas nacionales identifica a los actores implicados en la intervención, y el 73% de los programas correntinos hace lo propio.
Los recursos destinados a actividades de evaluación son escasos en ambos casos y constituyen el menor valor de ambas muestras pero es algo menor para el caso de la muestra de programas nacionales. Sin embargo, en un indicador clave, como es la definición de un presupuesto para evaluación, la proporción de programas correntinos que identifican un presupuesto para evaluación es mucho menor (11.7%) que en el caso de los programas nacionales examinados (30%).

Recomendaciones

1. Para el Plan Estratégico Provincial la evaluación participativa es un método adecuado.
2. En cuanto a los programas considerados, aquellos que presentan evaluabilidad alta (…) el foco puede orientarse a analizar sus resultados e impactos emergentes.
3. Los programas de evaluabilidad media, con alto desempeño en diseño y planificación y sistemas de información en estadios de avance intermedio pero con desafíos pendientes en seguimiento de información, monitoreo y evaluación, y recursos escasos podrían beneficiarse de realizar evaluación de procesos.
4. Para los programas con nivel de evaluabilidad baja, abordajes de evaluación como el caso de estudio les permitirían conocer en profundidad [algunos aspectos clave de la política pública]

Resumen metodológico

El diseño exige dividir al universo de contribuyentes en tres poblaciones: (i) cumplidores seriales; (contribuyentes medios; y (iii) morosos seriales. CIPPEC realizó por lo tanto una intervención distinta para cada tipo de contribuyente. En el primer período (t1), randomizó dentro de cada grupo para dividirlos aleatoriamente en un grupo de tratamiento y uno de control. De acuerdo al comportamiento de pago de cada grupo de tratamiento en t1, volvió a randomizar en el segundo período (t2) para asignar una nueva etapa de mensajes contingentes al cumplimiento.En t1, enviaremos un mensaje felicitando a los “cumplidores seriales” por su buen comportamiento. De acuerdo al comportamiento de este grupo en t1, enviaremos un mensaje reforzando su buen comportamiento o recordándole que puede ser multado si no cumple con sus obligaciones en t2.

Principales hallazgos y recomendaciones

Todavía se están analizando los resultados finales. En cuanto a los efectos temporales de los mensajes, se puede observar en la Tabla 12 que el porcentaje de contribuyentes, para los tres grupos, que en la primera fase recibieron el mensaje y pagaron, y que además continuaron pagando en el siguiente bimestre sin la necesidad de recibir mensajes es alto (36% Morosos Seriales, 91.9% Cumplidores Seriales y 63% Contribuyentes medios). Indicando que hay indicios de un efecto temporal de los mensajes.