Evaluación del Programa de Desarrollo Social de la Provincia de Córdoba

Resumen metodológico

La estrategia metodológica utilizada comprendió la triangulación entre métodos cuantitativos y cualitativos, así como la combinación de diferentes fuentes de información. Para ello se realizaron entrevistas a informantes clave, grupos focales con titulares de derechos, observación mediante visitas a campo y análisis documental relevante.
Cada componente recibió una valoración analítica de acuerdo a los siguientes criterios evaluativos:
Relevancia: La relevancia de los resultados de desarrollo se examina considerando en qué medida las acciones realizadas coinciden con las prioridades y políticas de la entidad donante, el gobierno provincial y los titulares de derecho.
Efectividad: La efectividad de los resultados de desarrollo se mide a través de comparación de valores de tendencia de los indicadores planeados en el marco lógico desde la línea base hasta el valor del último informe de monitoreo (PCR).
Eficiencia: La eficiencia en la implementación del programase mide a través de la comparación del tiempo y recursos económicos utilizados para implementarlas respecto a los previstos, la gestión de las finanzas, los riegos y los problemas.
Eficacia: La eficacia en la implementación del programa se revisa a partir de la función de producción y los hallazgos encontrados.
Sostenibilidad: La sostenibilidad de los resultados de los distintos componentes se analiza a través de la evaluación de la capacidad institucional del gobierno para garantizar la continuidad en la prestación de los servicios mejorados y en la utilización de los sistemas implementados.

Principales recomendaciones y hallazgos

B. Lecciones Aprendidas

B.1. Operativas
1. Prever durante la formulación del proyecto la celebración de convenios entre actores.
2. Contemplar la inserción de los equipos técnicos de los ministerios en las UTES.
3. Prever procesos de procurement adecuados.
4. Evaluar la modalidad constructiva a detalle.
5. Prever procesos de acompañamiento y mantenimiento post-obras.
6. Articular y coordinar los procesos de presupuesto y planificación.
7. Fortalecer el uso del sistema.

B.2. Técnicas/temáticas
1. Incorporar información de diagnóstico sobre la situación de la calidad constructiva de las escuelas, previo a la intervención del programa.
2. Realizar relevamientos intermedios en la infraestructura para detectar problemas recurrentes. Se hubiera podido minimizar problemas de acústica, goteras y filtraciones, deficiencias en aislaciones y protecciones solares, etc.
3. Dificultad de modificar los indicadores de eficiencia interna escolar por medio de acciones aisladas.
4. Existió mayor aprovechamiento de las capacitaciones en escuelas nuevas, con equipos docentes en formación. Asimismo, hubo una falta de interés docente en participar en capacitaciones a contra turno o días sábado, fuera de servicio.
5. Se puso de manifiesto las limitaciones de la capacitación en formato “curso” para involucrar a docentes y modificar prácticas.
6. Al poner al docente en un lugar central en los proyectos de articulación, se incentivó la autonomía y fortaleció su rol como investigador y generador de conocimiento. Hubo un alto grado de apropiación e involucramiento de los docentes.
7. Hubo efectos negativos en la ejecución de los programas al no considerar la variable inflacionaria en los programas que contempla el pago de recursos humanos. Se generó un proceso de selección involuntaria a partir de trabas administrativas aplicadas a los docentes. Hubo efectos negativos a partir de la existencia de trabas administrativas en la contratación de docentes (exigencia de ser monotributista).
8. Incorporar la participación del personal de dirección de los establecimientos desde el inicio del proyecto, permite lograr una mejor planificación y evitar grandes desvíos de fondos.
9. Al cerrar el cerco perimetral de las escuelas se mantienen en mejores condiciones.
10. La gestión territorial “in situ”, como modelo de intervención, parece tener menos costos sociales y producir sinergias que operan en la sustentabilidad de los proyectos. La consolidación y mejoramiento del hábitat antes que la relocalización a nuevos barrios, muestra mayores posibilidades de fortalecimiento comunitario y apropiación del entorno
11. En cuanto al diseño de las viviendas se debió adecuar la tipología en función del tamaño y características de los hogares. Un aspecto a contemplar es el factor hacinamiento. Si bien las soluciones habitacionales que provee el Préstamo permiten mejorar las condiciones de vida de la población, numerosas familias al ser relocalizadas, lidian con la problemática del hacinamiento. La composición de las familias beneficiarias no suele ser menor a 6 miembros. De este modo, una vez alojadas en la nueva vivienda, la situación de hacinamiento se agudiza, cuando vecinos “emprendedores” deciden poner un negocio y utilizar parte de la vivienda para usos comerciales o productivos.
12. El proceso de construcción en los Hospitales Córdoba y Misericordia evidencia la existencia de modalidades distintas para remodelar y construir un hospital. De ello se desprende que procesos de construcción y de adquisición de equipamiento de naturalezas diferentes, requieren estrategias de procurement y ejecución separadas.
13. Influencia del contexto político en la gestión.
14. Valorar adecuadamente el tiempo que conllevan los cambios en la gestión para que sean sostenibles en el tiempo y se arraiguen en la cultura organizacional. Estos implican modificaciones en el trabajo cotidiano que requieren de tiempo e inversiones significativas.
15. La importancia de disponer de datos y estadísticas fiables para evaluar el impacto de las intervenciones.

Lecciones aprendidas y desafíos sobre la incidencia en políticas públicas de las evaluaciones de impacto en América Latina

Resumen metodológico

Cualitativa: entrevistas y focus groups

Principales hallazgos y recomendaciones

A lo largo de este trabajo planteamos que los contextos nacionales de evaluación y, en especial, el grado de institucionalización de los sistemas de seguimiento y evaluación impactan en la capacidad de incidencia efectiva de los resultados de las investigaciones en la toma de decisión de las políticas públicas.

Del mismo modo, asumimos que los equipos o centros de investigación dedicados a realizar evaluaciones de impacto, compuestos de manera diversa y con capacidades diferentes, pueden tomar decisiones relativas a la planificación e implementación de estrategias de incidencia que afectan el punto de llegada de los hallazgos y recomendaciones que producen las evaluaciones de impacto.

En este sentido podríamos decir que en aquellos contextos con mayor institucionalización de la evaluación, una incidencia estratégica y activa por parte de los equipo suele redundar en cambios, de distinto alcance y grado, en las políticas públicas. Mientras que en similares contextos, si no se implementa a conciencia una estratégica de incidencia las chances de llegar a la política o a la toma de decisiones disminuyen. Con todo, en aquellos escenarios donde la institucionalización es baja o nula, una estrategia pensada de incidencia puede resultar efectiva sólo si se combinan algunos factores disparadores muy fuertes de contexto (un “champion” de evaluación, una ventana de oportunidad política única, un tema de agenda candente). Por el contrario, contextos poco permeables a la evaluación de manera sistemática y orgánica combinados con equipos u organizaciones que no ejerzan ninguna acción de incidencia no lograrán atravesar las decisiones para influir con sus resultados.

Evaluación del rol de la Procuración Penitenciaria de la Nación en la protección de derechos de las personas privadas de su libertad

Resumen metodológico

Así, en este estudio partimos de analizar los insumos y actividades que están en la esfera de control y actuación de la PPN y cómo se manifiestan en términos de productos para entender el desempeño institucional del organismo. En un segundo momento, abordamos los alcances de la influencia externa de la organización con especial foco en los resultados de corto y mediano plazo que se han ido obteniendo durante el período en examen (2009- 2011) tanto a nivel de su propio desempeño como en la incidencia que ha tenido en diferentes actores del sistema de justicia.
(…) Para cumplir con el objetivo general se utilizó una estrategia de evaluación basada en dos niveles: 1) el análisis de los efectos agregados amplios generados por las acciones de la PPN, entendidos como cambios y/o avances promovidos, inducidos o producidos por la agencia en las áreas temáticas en las que ha trabajado (y no en la sumatoria de las intervenciones totales); y 2) el análisis de la contribución de la PPN a las políticas sectoriales más amplias que son de su competencia.
(…) Los métodos que se utilizaron para la recolección de datos incluyeron:
a) revisión y estudio de la documentación disponible producida por la PPN;
b) diseño y realización de entrevistas a actores clave;
c) realización de un grupo focal con diferentes actores relacionados con las actuaciones de la PPN;
d) selección y análisis de una muestra ilustrativa de intervenciones que reflejen el trabajo de la PPN durante el período analizado; y
e) análisis de medios.

Principales hallazgos y recomendaciones

En primer lugar las acciones llevadas adelantes y analizadas en este informe se verifican relevantes y concordantes con la apuesta estratégica planteada en 2008-2009 de obtener respuesta por parte de los órganos responsables. Además, son pertinentes para posicionar a la PPN como un actor clave en los diversos escenarios políticos, aportando su conocimiento y su experiencia.

En segundo lugar, los distintos tipos de intervenciones adoptados por la PPN – a saber, mesas de diálogo, debates, recomendaciones, acciones judiciales- han demostrado ser eficaces y pertinentes en relación a los objetivos tácticos de la PPN en y al posicionamiento como actor, en la definición del problema y el desarrollo de alianzas estratégicas con otros actores, pero también aportan a la definición de una estrategia de solución y tratamiento del problema.

En tercer lugar y específicamente, la intervención en sede judicial por parte de la PPN es eficaz par la lograr la protección de un derecho o el cese de una medida violatoria de derechos.

En cuarto lugar, observamos cambios efectivos en la legislación nacional (por ejemplo le mecanismo nacional contra la tortura), en la normativa interna adoptada por otros organismos intervinientes (resoluciones del SPF), en la forma de tramitación de los casos de tortura, en la creación de nuevos mecanismos de prevención de tortura, en la adopción de protocolos de actuación comunes, en la creación de grupos de trabajo específicos, en el aumento de colaboración entre organismos y en el sostenido reconocimiento de situaciones de vulneración de derechos que antes no eran reconocidas.

En quinto lugar y dentro del marco de las limitaciones de actuación de la PPN, podemos decir que ha sido un actor muy relevante para la puesta en el ojo público de la problemática de la tortura en establecimientos federales.

Finalmente, el aumento de la visibilidad y legitimidad de la PPN le permite posicionarse como un actor relevante y con capacidad de colaborar en los procesos de definición de problemas.

Recomendaciones

1. “Crear conciencia/consenso en la opinión pública acerca de los derechos humanos de los presos”: Recomendaciones orientadas a fortalecer la incidencia.
2. “Obtención de respuesta por parte de los responsables”: Recomendaciones para mejorar el desempeño institucional.

Evaluación de la incidencia del Consejo Económico y Social de la Ciudad Autónoma de Buenos Aires

Resumen metodológico

La evaluación incluyó: a) reelevamiento y sistematización de datos sobre el desempeño organizacional (producción de informes y métricas de incidencia); b) entrevistas en profundidad con actores clave internos y externos y c) 3 grupos focales.

Principales hallazgos y recomendaciones

Incidencia:
a. Atender el calendario político
b. Establecer un proyecto “bandera”
c. Fortalecer el rol en redes de Consejos Económicos y Sociales a nivel nacional, regional e internacional.

Comunicación de la incidencia
a.Definir objetivos de comunicación por etapas, según las finalidades planteadas
b.Dividir funciones de comunicación
c. Evitar concentrarse únicamente en la comunicación de productos

Análisis de evaluabilidad de las políticas públicas en la Provincia de Córdoba

Resumen metodológico

Se desarrolló un protocolo que permite observar y medir, a través de indicadores cuantitativos y cualitativos, el grado de evaluabilidad de las políticas públicas. Dicho protocolo se desagrega en cinco dimensiones que contienen indicadores y preguntas-guía pensadas con el propósito de lograr una aproximación holística a nuestro objeto de estudio para, de esta manera, minimizar la probabilidad de omitir variables relevantes en nuestro análisis.
Con el fin de reforzar la legitimidad del instrumento, se realizaron una serie de actividades con funcionarios relacionados con los distintos planes y programas analizados para obtener sus visiones.

Principales hallazgos y recomendaciones

Hallazgos vinculados al análisis de evaluabilidad.

• El desempeño promedio de evaluabilidad de la muestra es de 36%. Es decir que del total de los aspectos considerados, en promedio solo en el 36% de los casos fue posible encontrar información que facilite la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas. El promedio de evaluabilidad de una muestra de planes nacionales analizada por CIPPEC fue de alrededor del 50%, frente al 36% de los programas aquí considerados.
• La dimensión con mejor desempeño en evaluabilidad de la muestra es la segunda: La “Calidad del sistema de información para el seguimiento”, en particular en aspectos vinculados a la definición de indicadores para la recolección de información.
• Aspectos a mejorar en cuanto a la “Calidad del sistema de información para el seguimiento” de la muestra es la definición de indicadores de resultado e impacto
• Otra dimensión con buen desempeño es “Calidad de la planificación y Diseño de la Intervención” con 59% de evaluabilidad. En este sentido, se destaca la definición de las dimensiones institucionales, temporales, sectoriales y geográficas de la intervención y el establecimiento de objetivos claros medibles y cuantificados.
• En cuanto a la “Calidad de la planificación y Diseño de la Intervención”, la mayoría de los programas no define una línea de base para la posterior medición de la evolución de la gestión.
• La dimensión 3 ” la estrategia de evaluación” muestra un 30% de evaluabilidad. En términos generales, los programas ponen de manifiesto la voluntad o el deseo de evaluar la intervención, pero no avanzan en definir un tipo de estrategia de evaluación, ni de especificar qué aspectos del programa quisieran evaluar.
• Con respecto a la “Estrategia de actores”, dimensión 4 del análisis de evaluabilidad, la muestra presenta un grado evaluabilidad del 25%. El 50% de los programas contempla que se facilitará la participación de los “actores implicados “en el desarrollo de la evaluación. Sin embargo, en ningún caso se ha realizado un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación.
• Los programas considerados no presentan información indicando que existe un presupuesto definido para evaluación.
• Del mismo modo, mayoría de la muestra carece de recursos humanos suficientes para realizar una evaluación interna.
• Incluir en el diseño del programa estrategias de monitoreo y evaluación aumenta la probabilidad de que ese programa tenga mejores niveles de evaluabilidad, este en mejores condiciones de producir una evaluación efectiva y facilite la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas.

Recomendaciones para aumentar la evaluabilidad de los programas provinciales.

• Incorporar en el diseño de los programa estrategias de monitoreo y evaluación. Esto permitirá que los programas tengan mejores niveles de evaluabilidad, estén en mejores condiciones de producir una evaluación efectiva y faciliten la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas.
• Realizar un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación,
• Especificar las preguntas a las que una evaluación de programa debería dar respuesta definiendo las dimensiones temporales, geográficas e institucionales de la intervención que serian consideradas en la evaluación,
• Contar con un presupuesto definido para evaluación,
• Destinar tiempo suficiente para realizar acciones de evaluación
• Destinar recursos humanos suficientes para realizar acciones de evaluación
• Enfocar el análisis en mayor medida hacia resultados finales al avanzar en la definición y el seguimiento de indicadores de impacto.
• Acotar las dimensiones (temporales, geográficas, institucionales, etc.) de la intervención que serían consideradas en la evaluación.