Durante mis años trabajando en el campo de la sostenibilidad y el impacto social, he visto cómo la pregunta «¿realmente estamos generando el cambio que buscamos?» se ha vuelto cada vez más urgente. Lo que comenzó como una conversación de nicho entre fundaciones y organizaciones sin fines de lucro, hoy se ha extendido a empresas de todos los tamaños, desde startups tecnológicas hasta multinacionales establecidas.
La medición de impacto no es solo una tendencia o un requisito de reporting más. Es una herramienta fundamental que nos permite entender si nuestras acciones están creando el cambio positivo que buscamos en el mundo. En un contexto como México, donde según los datos más recientes del INEGI el 29.6% de la población se encuentra en situación de pobreza —unos 38.5 millones de personas—, la necesidad de intervenciones efectivas y medibles se vuelve aún más crítica.
A lo largo de este texto, compartiré las herramientas más efectivas disponibles hoy en día, con especial énfasis en los métodos experimentales que están transformando cómo entendemos la causalidad en el impacto social, junto con experiencias reales que he presenciado en diferentes sectores y contextos.
Por qué necesitamos medir el impacto y el reto de la causalidad
Hace algunos años, trabajé con una organización que había estado operando durante una década con la firme convicción de que estaba «haciendo el bien». Su misión era clara, su equipo estaba comprometido, y sus beneficiarios expresaban agradecimiento. Sin embargo, cuando finalmente decidieron medir su impacto de manera rigurosa usando metodología experimental, descubrieron que algunos de sus programas más queridos tenían efectos limitados o incluso contraproducentes.
Esta experiencia ilustra perfectamente por qué necesitamos ir más allá de las buenas intenciones. La medición de impacto social debe contar con datos precisos sobre la aportación o inhibición que sea resultado de alguna iniciativa, intervención, ayuda o actividad, comportándose como una herramienta para tomar decisiones informadas. Pero más importante aún, necesitamos entender si los cambios que observamos se deben realmente a nuestra intervención o a otros factores externos.
Aquí radica uno de los desafíos más grandes en la medición de impacto: la atribución causal. ¿Cómo sabemos si el programa de alfabetización digital realmente mejora las oportunidades laborales, o si simplemente las personas que participan ya tenían más motivación para buscar empleo? ¿El microcrédito aumenta los ingresos familiares o las familias que acceden a él ya estaban en mejor posición socioeconómica?
La revolución de los métodos experimentales: lecciones desde México
En los últimos años hemos presenciado una verdadera revolución en la medición de impacto gracias a los métodos experimentales, particularmente las Evaluaciones Controladas Aleatorizadas (RCT, por sus siglas en inglés). Estos métodos, que han transformado campos como la medicina y están ahora revolucionando las políticas sociales, nos permiten establecer relaciones causales con un nivel de rigor científico sin precedentes.
México ha desarrollado una sólida tradición en métodos experimentales para políticas públicas. Diversos programas gubernamentales han implementado evaluaciones experimentales rigurosas que han servido como modelo internacional. Un ejemplo paradigmático fue la evaluación de un programa nacional de transferencias condicionadas donde se seleccionaron comunidades aleatoriamente: algunas recibieron el programa inmediatamente (grupo de tratamiento) y otras fueron asignadas a una lista de espera (grupo de control).
Esta evaluación experimental demostró impactos significativos: según los datos administrativos, hubo un aumento del 60% en visitas a clínicas de salud en las zonas con el programa. Los niños en los hogares beneficiarios tuvieron una reducción del 23% en la incidencia de enfermedades, una reducción del 18% en la anemia, y mejoras medibles en indicadores nutricionales. Estos resultados no habrían sido posibles de establecer con certeza sin el diseño experimental.
El principio es elegantemente simple: se selecciona aleatoriamente quién recibe una intervención (grupo de tratamiento) y quién no (grupo de control), manteniendo todos los demás factores iguales. Al comparar los resultados entre ambos grupos después de la intervención, podemos afirmar con confianza que las diferencias observadas se deben al programa y no a otros factores.
Una organización con la que trabajé recientemente quería evaluar si su programa de formación empresarial para mujeres en situación de vulnerabilidad realmente aumentaba sus ingresos. Tradicionalmente habrían comparado los ingresos antes y después del programa, pero esto no habría contabilizado factores como cambios en la economía local, estacionalidad del empleo, o características no observables de las participantes.
En lugar de eso, implementamos un diseño experimental: de 400 mujeres elegibles, aleatoriamente seleccionamos 200 para recibir la formación inmediatamente (grupo de tratamiento) y 200 para una lista de espera de seis meses (grupo de control). Al final del período, las mujeres del grupo de tratamiento habían aumentado sus ingresos mensuales en promedio $6,800 pesos, mientras que las del grupo de control solo $900 pesos. La diferencia de $5,900 pesos mensuales podía atribuirse directamente al programa.
Los diseños experimentales no se limitan a comparaciones simples entre tratamiento y control. Podemos implementar diseños factorial para probar múltiples intervenciones simultáneamente, diseños de rotación donde los grupos intercambian roles de tratamiento y control en diferentes períodos, o diseños de umbral que aprovechan puntos de corte arbitrarios para crear cuasi-experimentos.
En un proyecto reciente evaluando un programa de apoyo educativo, utilizamos un diseño factorial para probar simultáneamente: (1) tutorías individualizadas vs. grupales, (2) contenido digital vs. presencial, y (3) apoyo familiar vs. sin apoyo familiar. Con ocho grupos diferentes (2x2x2), pudimos identificar no solo qué componentes funcionan, sino también cómo interactúan entre sí. Descubrimos que las tutorías individualizadas solo eran efectivas cuando se combinaban con apoyo familiar, una interacción que habríamos perdido con evaluaciones tradicionales.
La expansión de métodos experimentales en México
El éxito de estos primeros experimentos inspiró una nueva generación de evaluaciones experimentales en México y América Latina. Hoy vemos aplicaciones en áreas tan diversas como:
Educación: Evaluaciones de programas de becas, intervenciones nutricionales en escuelas, y tecnología educativa han usado métodos experimentales para demostrar qué funciona. Un estudio reciente sobre un programa de tutorías en línea mostró mejoras de 0.3 desviaciones estándar en matemáticas, equivalente a medio año adicional de escolaridad.
Salud: Intervenciones para mejorar la adherencia a tratamientos, programas de prevención, y campañas de información han sido evaluadas experimentalmente. Una evaluación de mensajes de texto para recordatorios de vacunación mostró un aumento del 40% en las tasas de vacunación completa.
Empleo e ingresos: Programas de capacitación laboral, microcrédito, y apoyo a emprendedores han sido sometidos a evaluaciones rigurosas. Un programa de capacitación técnica mostró aumentos promedio de $2,400 pesos mensuales en ingresos, pero solo para participantes menores de 35 años.
Transferencias monetarias: Siguiendo el modelo de evaluaciones experimentales exitosas, múltiples variaciones han sido probadas. Evaluaciones recientes han comparado transferencias condicionadas vs. no condicionadas, mostrando que para ciertos objetivos las transferencias sin condiciones pueden ser igual de efectivas.
Herramientas complementarias para un enfoque integral
Aunque los métodos experimentales son el gold standard para establecer causalidad, funcionan mejor cuando se integran con otras herramientas de medición que proporcionan contexto y profundidad.
Antes de cualquier medición experimental, es crucial desarrollar una Teoría de Cambio sólida. La Teoría del Cambio constituye el esquema teórico de la intervención: explica cómo se entiende que las actividades del proyecto produzcan una serie de resultados que contribuyen a lograr los impactos finales previstos. Sin esta claridad conceptual, incluso el experimento mejor diseñado puede medir las variables incorrectas o en los momentos inadecuados.
El Social Return on Investment (SROI) ha sido particularmente útil para monetizar los beneficios identificados a través de evaluaciones experimentales. En el ejemplo anterior del programa de formación empresarial, utilizamos los resultados del RCT para calcular que por cada peso invertido en el programa, se generaban $3.8 pesos de valor social (considerando no solo el aumento de ingresos directos, sino también beneficios como mayor autoestima, reducción en uso de servicios sociales, y efectos spillover en las familias).
La Evaluación de Impacto B se ha convertido en un complemento valioso para los métodos experimentales, especialmente para organizaciones que buscan una medición holística. Es una herramienta de medición y gestión de impacto 360º que evalúa cinco áreas críticas: gobierno, trabajadores, comunidad, medio ambiente y clientes. Una empresa social mexicana que trabajaba con productores rurales utilizó esta herramienta no solo para medir su desempeño, sino como una guía estratégica para identificar que mientras tenían excelentes resultados comunitarios, tenían oportunidades significativas de mejora en sus políticas ambientales.
Una confusión común que veo frecuentemente es entre OKRs (Objectives and Key Results) y KPIs (Key Performance Indicators). Los OKR son un marco para la definición de objetivos, mientras que los KPI dan seguimiento al rendimiento de los objetivos. En el contexto de impacto social, los OKRs son excelentes para establecer metas ambiciosas y transformadoras, mientras que los KPIs son ideales para monitorear el progreso operativo continuo.
IRIS+ y GIIRS han evolucionado para convertirse en estándares utilizados globalmente. IRIS+ proporciona un lenguaje común para medir el impacto social, ambiental y financiero, mientras que GIIRS es una herramienta de autoevaluación en línea que mide el desempeño social y ambiental de empresas y fondos. He trabajado con fondos de inversión de impacto en México que utilizan GIIRS como filtro inicial para evaluar potenciales inversiones, y luego usan métricas IRIS+ para el seguimiento continuo del portafolio.
Estamos viendo un crecimiento explosivo en herramientas digitales que automatizan la recolección y análisis de datos de impacto. Una organización de microfinanzas en el Bajío comenzó a utilizar herramientas de análisis de datos automatizadas que conectan directamente con los sistemas bancarios de sus beneficiarios (con su consentimiento), permitiéndoles monitorear indicadores como flujo de caja, patrones de ahorro y estabilidad financiera en tiempo real.
La capacidad de medir impacto en tiempo real está transformando la forma en que operamos. Trabajé con una fundación educativa en Guadalajara que implementó un sistema de dashboard en tiempo real que rastrea indicadores de aprendizaje de los estudiantes. Cuando detectaron que ciertos módulos tenían tasas de abandono más altas, pudieron modificar el contenido inmediatamente.
Desafíos y consideraciones prácticas
Los métodos experimentales, aunque poderosos, enfrentan desafíos específicos en el contexto mexicano. La heterogeneidad regional significa que resultados de una evaluación en Yucatán pueden no aplicar directamente a Sonora. La rotación de personal en organizaciones públicas puede complicar la implementación de evaluaciones longitudinales. Y consideraciones éticas sobre quién recibe tratamiento y quién no requieren cuidadosa navegación.
La medición de impacto requiere recursos significativos. Muchas veces, lo que más requiere tiempo y dinero es la generación de datos y levantamiento de información. Una estrategia efectiva es desarrollar sistemas de medición que sirvan múltiples propósitos: los mismos datos pueden servir para evaluación experimental, mejora operativa, reporte a donantes, y comunicación con beneficiarios. Algunas recomendaciones serían:
Empieza con preguntas claras: Antes de seleccionar métodos, clarifica qué decisiones específicas quieres que te ayude a tomar tu evaluación. ¿Estás comparando dos versiones de un programa? ¿Evaluando si expandir a nuevas geografías? ¿Decidiendo entre diferentes poblaciones objetivo?
Involucra a los beneficiarios desde el diseño: Los mejores experimentos involucran activamente a los beneficiarios no solo como sujetos de estudio, sino como socios en el diseño. Ellos entienden mejor que nadie qué cambios son realmente significativos en sus vidas.
Planifica para el aprendizaje adaptativo: Los mejores sistemas de medición experimental permiten ajustes sobre la marcha. Si los datos preliminares sugieren que una variación del programa funciona mejor, estar preparado para adaptarse.
Considera el ecosistema completo: El impacto rara vez ocurre en aislamiento. Los efectos spillover – donde beneficiarios influencian a no-beneficiarios – pueden ser tan importantes como los efectos directos.
México se ha convertido en un laboratorio mundial para la medición experimental de impacto. El país ha implementado evaluaciones experimentales en decenas de programas gubernamentales y de organizaciones civiles. Esta experiencia ha generado lecciones importantes: que los contextos locales importan enormemente, que la implementación fiel de diseños es crucial, que los efectos pueden tomar años en manifestarse, y que la comunicación de resultados debe ser cuidadosamente adaptada a diferentes audiencias.
El CONEVAL (Consejo Nacional de Evaluación de la Política de Desarrollo Social) ha institucionalizado la evaluación rigurosa de programas sociales, creando un modelo que otros países están replicando. Su enfoque de medición multidimensional de pobreza, que considera no solo ingresos sino también acceso a derechos sociales, ha influenciado metodologías globales.
La medición como catalizador de cambio
Después de años trabajando en este campo, he llegado a ver la medición de impacto experimental no como una tarea administrativa adicional, sino como el catalizador más poderoso disponible para crear el cambio que México necesita. En un país donde persisten desafíos estructurales de pobreza – con 38.5 millones de personas aún en situación de pobreza – no podemos permitirnos programas que no funcionen.
Los métodos experimentales nos dan la herramienta más poderosa disponible para distinguir entre programas que realmente transforman vidas y aquellos que solo consumen recursos. La experiencia mexicana en evaluaciones experimentales ha demostrado al mundo que es posible combinar rigor científico con políticas sociales masivas. Hoy, esa tradición continúa expandiéndose a nuevos sectores y nuevas poblaciones.
Las herramientas están ahí. La metodología está probada. La infraestructura institucional existe. Lo que necesitamos ahora es más organizaciones – públicas, privadas, y sociales – que se comprometan no solo a medir su impacto, sino a usar metodología experimental para asegurar que realmente están creando el cambio que buscan.
Recuerda que la medición experimental perfecta no existe, pero la medición experimental útil sí. Comienza donde estés, usa lo que tengas, pero hazlo con rigor. Y sobre todo, recuerda que detrás de cada resultado estadísticamente significativo hay personas reales cuyas vidas pueden transformarse cuando tomamos decisiones basadas en evidencia rigurosa.
El futuro de México será construido por aquellas organizaciones que no solo tengan buenas intenciones, sino que puedan demostrar, medir y mejorar continuamente su impacto real usando los métodos más rigurosos disponibles. La pregunta no es si puedes permitirte implementar evaluaciones experimentales, sino si puedes permitirte no hacerlo.
Conoce más de medición de impacto aquí
Dr Roberto Carvallo Escobar
Director de Terraética
