Cuándo una evaluación de impacto es viable y cuándo no

“Evaluación de impacto” se usa con frecuencia para nombrar cualquier revisión de resultados. Pero demostrar que una intervención causó un cambio exige una comparación contrafactual: estimar qué habría ocurrido con la misma población sin el programa.

Si el diseño comienza cuando la intervención terminó, los datos no identifican quién era elegible o la implementación cambió sin registro, una promesa de atribución causal puede ser metodológicamente inviable.

El MEF define la evaluación de impacto como una metodología para identificar cambios causados por un programa, política o proyecto. También señala condiciones previas: una pregunta relevante, madurez suficiente, información disponible, recursos y factibilidad metodológica.

La revisión debe comenzar con reglas de elegibilidad, padrones, fechas, intensidad de exposición, teoría de cambio, indicadores de resultado y datos para construir un grupo de comparación. Entrevistas y documentos de gestión ayudan a entender la implementación, pero no sustituyen el diseño de identificación.

Antes de decidir el tipo de evaluación, conviene pasar por cinco filtros:

1. Decisión: qué se hará distinto con el resultado.
2. Intervención: si puede describirse de manera estable y verificable.
3. Resultado: si el cambio esperado es medible en el horizonte disponible.
4. Comparación: si existe asignación aleatoria, umbral, despliegue gradual, grupo comparable u otra estrategia defendible.
5. Datos y ética: si hay calidad, tamaño, permisos, protección de personas y recursos suficientes.

El método puede ser experimental o cuasiexperimental. La elección no depende de cuál suena más sofisticado, sino del mecanismo de asignación, los supuestos y los datos que realmente existen.

Cuando no puede estimarse causalidad, todavía existen productos valiosos: evaluación de diseño, procesos, implementación, resultados, eficiencia o teoría de cambio. Nombrar correctamente la pregunta protege al cliente de conclusiones más fuertes que la evidencia.

Una evaluación de resultados puede mostrar que un indicador cambió. Una evaluación de impacto intenta determinar cuánto de ese cambio es atribuible a la intervención. Son preguntas distintas y requieren diseños distintos.

La decisión de evaluar debe tomarse antes de expandir el programa. Una matriz de evaluabilidad permite identificar datos faltantes, riesgos de sesgo, calendario y alternativas metodológicas sin comprometer todavía un estudio completo.

La Guía de seguimiento y evaluación de CEPLAN ofrece el marco para analizar pertinencia y resultados de políticas y planes; el diseño causal añade requisitos específicos cuando la pregunta es atribución.

• Descargar matriz de evaluabilidad.
• Revisar cómo diseñar una línea de base.
• Explorar estudios, diagnósticos y evaluación.