Resumen metodológico

Así, en este estudio partimos de analizar los insumos y actividades que están en la esfera de control y actuación de la PPN y cómo se manifiestan en términos de productos para entender el desempeño institucional del organismo. En un segundo momento, abordamos los alcances de la influencia externa de la organización con especial foco en los resultados de corto y mediano plazo que se han ido obteniendo durante el período en examen (2009- 2011) tanto a nivel de su propio desempeño como en la incidencia que ha tenido en diferentes actores del sistema de justicia.
(…) Para cumplir con el objetivo general se utilizó una estrategia de evaluación basada en dos niveles: 1) el análisis de los efectos agregados amplios generados por las acciones de la PPN, entendidos como cambios y/o avances promovidos, inducidos o producidos por la agencia en las áreas temáticas en las que ha trabajado (y no en la sumatoria de las intervenciones totales); y 2) el análisis de la contribución de la PPN a las políticas sectoriales más amplias que son de su competencia.
(…) Los métodos que se utilizaron para la recolección de datos incluyeron:
a) revisión y estudio de la documentación disponible producida por la PPN;
b) diseño y realización de entrevistas a actores clave;
c) realización de un grupo focal con diferentes actores relacionados con las actuaciones de la PPN;
d) selección y análisis de una muestra ilustrativa de intervenciones que reflejen el trabajo de la PPN durante el período analizado; y
e) análisis de medios.

Principales hallazgos y recomendaciones

En primer lugar las acciones llevadas adelantes y analizadas en este informe se verifican relevantes y concordantes con la apuesta estratégica planteada en 2008-2009 de obtener respuesta por parte de los órganos responsables. Además, son pertinentes para posicionar a la PPN como un actor clave en los diversos escenarios políticos, aportando su conocimiento y su experiencia.

En segundo lugar, los distintos tipos de intervenciones adoptados por la PPN – a saber, mesas de diálogo, debates, recomendaciones, acciones judiciales- han demostrado ser eficaces y pertinentes en relación a los objetivos tácticos de la PPN en y al posicionamiento como actor, en la definición del problema y el desarrollo de alianzas estratégicas con otros actores, pero también aportan a la definición de una estrategia de solución y tratamiento del problema.

En tercer lugar y específicamente, la intervención en sede judicial por parte de la PPN es eficaz par la lograr la protección de un derecho o el cese de una medida violatoria de derechos.

En cuarto lugar, observamos cambios efectivos en la legislación nacional (por ejemplo le mecanismo nacional contra la tortura), en la normativa interna adoptada por otros organismos intervinientes (resoluciones del SPF), en la forma de tramitación de los casos de tortura, en la creación de nuevos mecanismos de prevención de tortura, en la adopción de protocolos de actuación comunes, en la creación de grupos de trabajo específicos, en el aumento de colaboración entre organismos y en el sostenido reconocimiento de situaciones de vulneración de derechos que antes no eran reconocidas.

En quinto lugar y dentro del marco de las limitaciones de actuación de la PPN, podemos decir que ha sido un actor muy relevante para la puesta en el ojo público de la problemática de la tortura en establecimientos federales.

Finalmente, el aumento de la visibilidad y legitimidad de la PPN le permite posicionarse como un actor relevante y con capacidad de colaborar en los procesos de definición de problemas.

Recomendaciones

1. “Crear conciencia/consenso en la opinión pública acerca de los derechos humanos de los presos”: Recomendaciones orientadas a fortalecer la incidencia.
2. “Obtención de respuesta por parte de los responsables”: Recomendaciones para mejorar el desempeño institucional.

Resumen metodológico

La evaluación incluyó: a) reelevamiento y sistematización de datos sobre el desempeño organizacional (producción de informes y métricas de incidencia); b) entrevistas en profundidad con actores clave internos y externos y c) 3 grupos focales.

Principales hallazgos y recomendaciones

Incidencia:
a. Atender el calendario político
b. Establecer un proyecto “bandera”
c. Fortalecer el rol en redes de Consejos Económicos y Sociales a nivel nacional, regional e internacional.

Comunicación de la incidencia
a.Definir objetivos de comunicación por etapas, según las finalidades planteadas
b.Dividir funciones de comunicación
c. Evitar concentrarse únicamente en la comunicación de productos

Resumen metodológico

Se desarrolló un protocolo que permite observar y medir, a través de indicadores cuantitativos y cualitativos, el grado de evaluabilidad de las políticas públicas. Dicho protocolo se desagrega en cinco dimensiones que contienen indicadores y preguntas-guía pensadas con el propósito de lograr una aproximación holística a nuestro objeto de estudio para, de esta manera, minimizar la probabilidad de omitir variables relevantes en nuestro análisis.
Con el fin de reforzar la legitimidad del instrumento, se realizaron una serie de actividades con funcionarios relacionados con los distintos planes y programas analizados para obtener sus visiones.

Principales hallazgos y recomendaciones

Hallazgos vinculados al análisis de evaluabilidad.

• El desempeño promedio de evaluabilidad de la muestra es de 36%. Es decir que del total de los aspectos considerados, en promedio solo en el 36% de los casos fue posible encontrar información que facilite la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas. El promedio de evaluabilidad de una muestra de planes nacionales analizada por CIPPEC fue de alrededor del 50%, frente al 36% de los programas aquí considerados.
• La dimensión con mejor desempeño en evaluabilidad de la muestra es la segunda: La “Calidad del sistema de información para el seguimiento”, en particular en aspectos vinculados a la definición de indicadores para la recolección de información.
• Aspectos a mejorar en cuanto a la “Calidad del sistema de información para el seguimiento” de la muestra es la definición de indicadores de resultado e impacto
• Otra dimensión con buen desempeño es “Calidad de la planificación y Diseño de la Intervención” con 59% de evaluabilidad. En este sentido, se destaca la definición de las dimensiones institucionales, temporales, sectoriales y geográficas de la intervención y el establecimiento de objetivos claros medibles y cuantificados.
• En cuanto a la “Calidad de la planificación y Diseño de la Intervención”, la mayoría de los programas no define una línea de base para la posterior medición de la evolución de la gestión.
• La dimensión 3 ” la estrategia de evaluación” muestra un 30% de evaluabilidad. En términos generales, los programas ponen de manifiesto la voluntad o el deseo de evaluar la intervención, pero no avanzan en definir un tipo de estrategia de evaluación, ni de especificar qué aspectos del programa quisieran evaluar.
• Con respecto a la “Estrategia de actores”, dimensión 4 del análisis de evaluabilidad, la muestra presenta un grado evaluabilidad del 25%. El 50% de los programas contempla que se facilitará la participación de los “actores implicados “en el desarrollo de la evaluación. Sin embargo, en ningún caso se ha realizado un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación.
• Los programas considerados no presentan información indicando que existe un presupuesto definido para evaluación.
• Del mismo modo, mayoría de la muestra carece de recursos humanos suficientes para realizar una evaluación interna.
• Incluir en el diseño del programa estrategias de monitoreo y evaluación aumenta la probabilidad de que ese programa tenga mejores niveles de evaluabilidad, este en mejores condiciones de producir una evaluación efectiva y facilite la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas.

Recomendaciones para aumentar la evaluabilidad de los programas provinciales.

• Incorporar en el diseño de los programa estrategias de monitoreo y evaluación. Esto permitirá que los programas tengan mejores niveles de evaluabilidad, estén en mejores condiciones de producir una evaluación efectiva y faciliten la generación de datos e información valiosa y confiable sobre la marcha y avances de los planes y programas.
• Realizar un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación,
• Especificar las preguntas a las que una evaluación de programa debería dar respuesta definiendo las dimensiones temporales, geográficas e institucionales de la intervención que serian consideradas en la evaluación,
• Contar con un presupuesto definido para evaluación,
• Destinar tiempo suficiente para realizar acciones de evaluación
• Destinar recursos humanos suficientes para realizar acciones de evaluación
• Enfocar el análisis en mayor medida hacia resultados finales al avanzar en la definición y el seguimiento de indicadores de impacto.
• Acotar las dimensiones (temporales, geográficas, institucionales, etc.) de la intervención que serían consideradas en la evaluación.

Resumen metodológico

Se desarrolló un protocolo que permite observar y medir, a través de indicadores cuantitativos y cualitativos, el grado de evaluabilidad de las políticas públicas. Dicho protocolo se desagrega en cinco dimensiones que contienen indicadores y preguntas-guía pensadas con el propósito de lograr una aproximación holística a nuestro objeto de estudio para, de esta manera, minimizar la probabilidad de omitir variables relevantes en nuestro análisis.
Con el fin de reforzar la legitimidad del instrumento, se realizaron una serie de actividades con funcionarios relacionados con los distintos planes y programas analizados para obtener sus visiones.

Principales hallazgos y recomendaciones

Se observa que hay niveles muy desiguales de desarrollo, el cluster análisis nos deja ver que hay dos grandes grupos de políticas: aquellas con un estado avanzado en material de evaluabilidad y las otras con una situación diametralmente opuesta. De todas las dimensiones, la dimensión 1 “calidad de la planificación y del diseño de la intervención para lograr los efectos deseados” es la que mayor nivel de desarrollo tiene. (…) En contraposición, la 5a dimensión “recursos efectivos destinados a la evaluación” es la que requiere mayor desarrollo.

Como ya se mencionó, los recursos específicos asignados a la evaluación son un elemento fundamental para garantizar la evaluabilidad. (…) La 2a dimensión, “calidad del sistema de información para el seguimiento, la producción y el archivo de la evidencia”, tiene en promedio una gran cantidad de programas con niveles altos de evaluabilidad. Sin embargo, vale destacar que encontramos que casi todos aquellos con bajos niveles generales de evaluabilidad presentan un magro desarrollo de sus sistemas de información. (…) Finalmente, las dimensiones 3 “calidad de la estrategia de evaluación prevista”, y 4 “estrategia de actores adoptada para incluir la participación durante las diferentes etapas de seguimiento y evaluación”, parecen comportarse siguiendo a las otras dimensiones.
Entonces, vale la pena preguntarnos ¿cómo puede fortalecerse la evaluabilidad de planes y programas de gobierno? Creemos que de nuestro análisis se desprenden por lo menos dos dimensiones de trabajo para avanzar en una agenda de mejora de la evaluabilidad de las intervenciones públicas: 1) fortalecimiento del contexto institucional, calidad del diseño de las políticas públicas y enforcement del enfoque de evaluación y 2) desarrollo de capacidades en los organismos implementadores.

Leé el documento completo haciendo click acá