Análisis del Instrumento de Evaluabilidad. Revisión de la implementación de la prueba piloto en Argentina 2018

La oficina de Evaluación de la Organización Internacional del Trabajo (EVAL) ha desarrollado un Instrumento de Diagnóstico (ID) que permite conocer cuáles son los aportes de la Organización Internacional del Trabajo (OIT) a los Objetivos de Desarrollo Sostenible (ODS). A tal fin, se realizó en la Argentina una prueba piloto del ID en el Plan de Trabajo Decente País de OIT, proyecto en el que CIPPEC participó realizando recomendaciones que pudieran fortalecer tanto la evaluabilidad de las políticas públicas del sector trabajo como las capacidades del Consejo Nacional de Coordinación de Políticas Sociales (CNCPS).

El objetivo de esta evaluación fue realizar un análisis exhaustivo de la herramienta de trabajo propuesta por la OIT a través de su implementación en el Plan de Trabajo Decente País, con el fin de conocer cuáles son sus debilidades y cuáles sus fortalezas.

Esta evaluación de diseño supuso la implementación del Instrumento de Diagnóstico, una herramienta cualitativa compuesta por entrevistas, colectivas e individuales, y el análisis de documentos que permitan contextualizar las respuestas brindadas por los actores clave.

Hallazgos

Con respecto a la selección de actores y la logística del trabajo de campo, se destaca que la construcción de un mapa de actores es un trabajo colectivo que requiere la colaboración de la oficina país pero también de que pueda establecerse una lógica de bola de nieve a la hora de entrevistar a diversos actores.

En lo referido a la implementación del instrumento de diagnóstico, se observan algunos aspectos problemáticos como la repetitividad de ciertas preguntas o su poca claridad, el uso extensivo de siglas que pueden no resultar comprensibles para todos los actores o la traducción al español con problemas gramaticales. Además, las categorías de respuestas en algunos casos resultan demasiado amplias, mientras que en otros fuerzan a los actores a realizar una elección en función de los valores predeterminados.

Se destacan una serie de conceptualizaciones problemáticas, en algunos casos incluso para los entrevistadores. La teoría de cambios generó algunos problemas entre los mandantes, dificultando la correcta valoración de esta dimensión del ID. Se asume que en el contexto nacional existe una estrategia nacional de desarrollo y un ministerio de planificación a nivel central, suponiendo un problema para la aplicación de las preguntas. Además, se presupone que los mandantes son homogéneos entre sí, como también se presupone la unicidad de la categoría “sociedad civil”.

Recomendaciones
  • Dedicar tiempo a la planificación, fundamentalmente a la elaboración del mapa de actores. Este es un momento crítico ya que permitirá organizar y adaptar el ID al contexto nacional.
  • Elaborar un análisis del contexto institucional en donde se implementará el ID que contenga una referencia a la estructura institucional del Estado (es un régimen federal o centralista), un análisis de la arquitectura de la política laboral y una definición del SNME. Este contexto deberá ser un apartado del Informe País del Instrumento de Diagnóstico.
  • Diseñar glosarios con definiciones y conceptos que serán significativos para los entrevistados (Agenda de Trabajo Decente, hitos, teoría de cambio, SNME, etc.). Construir un lenguaje común entre entrevistador y entrevistado mejorará la calidad y comprensión de las respuestas.
  • Reformular preguntas en tanto el contexto al que refiere puede no ser adecuado para un país. En ese sentido, es importante que el análisis del contexto provea información acerca de las preguntas que deben revisarse (v.g. existencia o no de un ministerio de trabajo o de una agencia rectora en monitoreo y evaluación).
  • Realizar una corrección de estilo a las preguntas para producir un instrumento de diagnóstico más “”entendible”” para los entrevistados, además de suprimir o reformular algunas de ellas para que sean más fáciles de comprender y el cuestionario no se vuelva muy repetitivo.

Investigadores

Natalia Aquilino, Emiliano Arena y Emmanuel Lopez Mendez.

Recibí novedades