Evaluación de impacto social: qué es y cómo se hace

Detrás de cada programa social hay una intención sencilla y enorme: cambiar la vida de las personas, o al menos mejorar condiciones que sin ese programa no existirían. La evaluación de impacto social existe para saber si eso de verdad está ocurriendo.

Una madre que termina el día más tranquila porque su hija va a seguir estudiando. Una emprendedora que contrató a su primera colaboradora. Una comunidad que hoy tiene acceso a algo que antes no tenía. Eso es lo que un programa social busca: un cambio concreto en la vida de personas concretas. La evaluación de impacto social es la forma de saber si ese cambio sucedió, para quién y en qué medida.

Medir no nace de la desconfianza hacia el trabajo que se hace. Nace del respeto por ese trabajo y por las personas a las que va dirigido. Un programa que puede demostrar que cambia vidas es un programa que consigue sostenerse, crecer y llegar a más gente. La metodología, que veremos más adelante, no es el fin: es lo que evita que un buen programa se quede sin pruebas, y sin recursos, justo cuando más falta hace.

¿Qué es la evaluación de impacto social?

La evaluación de impacto social es un proceso de investigación que mide los cambios reales, positivos o negativos, esperados o no, que un programa, proyecto o política genera en las personas y las comunidades. La International Association for Impact Assessment la define como el proceso de analizar y gestionar las consecuencias sociales de las intervenciones planificadas.

Su rasgo distintivo, y lo que la separa de otras formas de medición, es que aísla el cambio que es atribuible a la intervención. No se conforma con observar que la situación de los participantes mejoró: pregunta cuánto de esa mejora ocurrió gracias al programa y cuánto habría ocurrido de todas formas.

Esa pregunta parece simple y no lo es. Responderla con rigor es lo que distingue una evaluación de impacto de un buen reporte de gestión.

Actividad no es impacto: la cadena de resultados

Gran parte de la confusión sobre qué medir se resuelve con una distinción. El trabajo de un programa recorre una cadena de cuatro eslabones, y solo el último es impacto:

1. Actividad. Lo que la organización hace: talleres, entregas, acompañamiento, recursos.
2. Producto. Lo que se entrega de inmediato: personas capacitadas, créditos colocados, materiales distribuidos.
3. Efecto. El cambio visible al terminar la intervención: nuevas prácticas, acceso, conocimiento aplicado.
4. Impacto. El cambio que permanece en el tiempo: personas, comunidades y organizaciones transformadas, aun cuando el programa ya no está.

Impacto es lo que cambia, y se queda, cuando usted ya no está.

La mayoría de los sistemas de monitoreo se detienen en los dos primeros eslabones, porque son los más fáciles de contar. Contar actividades y productos es necesario, pero responde a la pregunta equivocada. La evaluación de impacto se ocupa del cuarto eslabón, el que de verdad importa para decidir si vale la pena sostener, escalar o rediseñar un programa.

¿El cambio fue gracias al programa? La historia de Carla y Lucía

Para entender por qué la evaluación de impacto necesita métodos especiales, conviene una historia. Dos historias, en realidad.

Imaginemos a Carla. Hace dos años abrió un pequeño taller de costura en la sala de su casa. Entró al programa de apoyo a pymes de un banco: capacitación, una línea de crédito, acompañamiento. Un año después había duplicado sus ventas y contratado a su primera colaboradora. El programa la celebra, y con toda razón: su historia es real y vale.

A pocas cuadras está Lucía. También levantó su taller desde cero, con las mismas ganas. Lucía no entró al programa. Y sus ventas también crecieron.

Las dos historias son ciertas, y las dos mujeres trabajaron igual de duro. La pregunta de la evaluación de impacto es: ¿cuánto del crecimiento de Carla lo aportó el programa, y cuánto lo habría logrado ella sola, como lo hizo Lucía?

Sin Lucía, el crecimiento de Carla nos emociona. Con Lucía, además, lo podemos demostrar.

Lucía es el contrafactual: la estimación de qué habría pasado con los participantes si el programa no hubiera existido. Como nunca se puede observar a la misma persona con y sin programa al mismo tiempo, toda evaluación de impacto necesita construir un grupo de comparación creíble. Ese es el problema técnico central, y de cómo se resuelve depende todo lo demás.

Métodos de evaluación de impacto social

Existen dos grandes familias de métodos para construir ese grupo de comparación y estimar el contrafactual.

Diseños experimentales

Asignan el programa de forma aleatoria entre quienes podrían recibirlo. La aleatorización hace que el grupo que recibe el programa y el que no sean estadísticamente equivalentes, de modo que cualquier diferencia posterior se atribuye al programa. Son potentes, pero exigen planificarse antes de que el programa arranque y no siempre son viables ni éticos.

Diseños cuasiexperimentales

Construyen el grupo de comparación cuando no hubo aleatorización, que es la situación más común en programas sociales reales. El Banco Mundial, en su manual de referencia sobre evaluación de impacto, documenta los principales:

• Diferencias en diferencias. Compara la evolución de los participantes con la de un grupo similar no participante, antes y después del programa. Aísla el efecto neto al descontar las tendencias que afectan a ambos grupos por igual.
• Emparejamiento o matching estadístico. Construye un grupo de comparación seleccionando personas no participantes que se parecen a las participantes en sus características observables.
• Regresión discontinua. Aprovecha un umbral de elegibilidad, por ejemplo un puntaje de pobreza, para comparar a quienes quedaron justo dentro y justo fuera del programa.
• Variables instrumentales. Usa un factor externo que influye en la participación pero no en el resultado, para aislar el efecto del programa.
• Controles sintéticos. Construye una comparación combinando varias unidades no tratadas, útil cuando se evalúa una intervención a nivel de territorio o región.

Cómo se hace una evaluación de impacto, paso a paso

Una evaluación de impacto seria sigue una secuencia ordenada. En Innoval ese recorrido tiene seis pasos:

1. Escuchar la pregunta real. La que la organización necesita para decidir, no la del término de referencia. De ahí sale qué se va a medir.
2. Verificar que se pueda medir. Antes de prometer nada, se revisa si hay datos, una teoría del cambio y grupos comparables. Si faltan piezas, eso también es información.
3. Diseñar la metodología. Se elige el método más adecuado al contexto, no el de moda.
4. Recolectar los datos. Con instrumentos verificados antes del trabajo de campo, sea levantamiento primario o datos administrativos existentes.
5. Analizar y producir conocimiento. El análisis no termina en un número: termina en un hallazgo que explica qué cambió, para quién y en qué condiciones.
6. Entregar un sistema, no un documento. Informe, tablero operativo, recomendaciones priorizadas y hoja de ruta, listos para usarse.

Una evaluación de impacto con métodos cuasiexperimentales suele tomar entre cuatro y diez meses, según la disponibilidad de datos y si se requiere levantamiento en campo. Conocer los servicios de medición de impacto ayuda a dimensionar el alcance antes de empezar.

Contribución o atribución: cuánto rigor necesita su decisión

No toda decisión exige el mismo nivel de prueba. Conviene distinguir dos afirmaciones:

• Contribución: «su programa ayudó a generar el cambio».
• Atribución: «el cambio ocurrió gracias a su programa».

La atribución es una afirmación más fuerte y exige más rigor metodológico. Hay decisiones que se sostienen bien con un análisis de contribución, y otras, como justificar la continuidad de una inversión grande ante una junta o un financiador, que piden atribución. La pregunta no es cuánto rigor existe en el mundo, sino cuánto necesita la decisión que usted tiene enfrente.

Antes de invertir en una evaluación de impacto completa, vale la pena saber si la organización está lista para sostenerla. Para eso sirve un diagnóstico de madurez en medición: ubica dónde está la organización y muestra qué hace falta antes de evaluar.

Para qué se hace: el fin es la gente

Conviene no perder de vista para qué sirve todo esto. La evaluación de impacto no se hace para producir informes, ni para cumplirle a un donante, ni para lucir rigurosa. Se hace porque detrás del programa hay personas cuya vida puede ser distinta, y medir bien es la manera de cuidar esa promesa.

De ese fin se desprende todo lo demás:

• Que el programa que sí cambia vidas no se quede sin recursos. Un programa que no puede demostrar lo que logra es un programa que, tarde o temprano, alguien deja de financiar. Y los que pierden son las personas que dependían de él.
• Que llegue a más gente y mejor. Con evidencia se sabe qué componentes funcionan, para quién y en qué condiciones. Eso permite corregir, rediseñar y escalar lo que de verdad sirve, en lugar de adivinar.
• Que la organización pueda responder con la frente en alto. Ante una comunidad, una junta o un financiador, la evidencia convierte una buena intención en un hecho que se sostiene solo.

Innoval ha acompañado este trabajo en programas reales de Latinoamérica: la evaluación de tres programas de inclusión digital para el Fideicomiso BCR y FONATEL, y el análisis del programa de transferencias Avancemos para UNICEF y el PANI, entre otros casos documentados en la página de clientes.

Preguntas frecuentes

¿Cuál es la diferencia entre monitoreo y evaluación de impacto?

El monitoreo registra de forma continua lo que el programa hace y entrega: actividades y productos. La evaluación de impacto mide el cambio que permanece en las personas y demuestra cuánto de ese cambio es atribuible al programa, usando un grupo de comparación. El monitoreo dice si el programa avanza; la evaluación de impacto dice si el programa funciona.

¿Cuánto dura una evaluación de impacto social?

Una evaluación con métodos cuasiexperimentales suele tomar entre cuatro y diez meses. El plazo depende de la disponibilidad de datos, del diseño del programa y de si se requiere levantamiento primario en campo o se trabaja con datos administrativos ya existentes.

¿Se puede evaluar el impacto de un programa que ya terminó?

Sí, siempre que existan datos de los participantes y sea posible construir un grupo de comparación creíble. Métodos como diferencias en diferencias y matching estadístico están diseñados precisamente para estimar el contrafactual cuando la evaluación no se planificó desde el inicio.

¿Qué se necesita para empezar una evaluación de impacto?

Tres elementos: datos sobre los participantes, una teoría del cambio que explique cómo el programa produce el efecto esperado, y la posibilidad de construir un grupo de comparación. Cuando alguna pieza falta, un diagnóstico previo define cómo construirla antes de evaluar.