La primera vez que me senté a medir el impacto de un proyecto social, pensé que sería como medir cualquier otra cosa: defines indicadores, recoges datos, haces cálculos, listo. Qué ingenuo era. Estaba trabajando con una fundación que había implementado un programa de becas educativas en comunidades rurales de Michoacán. En papel, todo se veía perfecto: 200 jóvenes becados, 95% de permanencia escolar, presupuesto ejecutado al 100%. Los números cantaban victoria. Pero cuando llegué a las comunidades y empecé a preguntar las cosas que nadie había preguntado, descubrí una realidad completamente diferente.
Después de años midiendo impacto de proyectos sociales en México, he aprendido que los detalles que parecen insignificantes son los que realmente te dicen si algo está funcionando o no. Y es en esos detalles donde la mayoría de las mediciones fallan estrepitosamente.
La mentira de los números perfectos
En México, 46.8 millones de personas viven en situación de pobreza, equivalentes al 36.3% de la población nacional, según datos del CONEVAL. Es una cifra brutal que todos conocemos. Pero lo que nadie te dice es cómo esa estadística se vive diferente en cada comunidad, en cada familia, en cada persona.
En aquel proyecto de becas en Michoacán, la «permanencia escolar del 95%» escondía algo que nadie había medido: qué estaba pasando en las casas de estos jóvenes. Durante las entrevistas descubrí que muchos seguían «inscritos» pero faltaban constantemente para trabajar en el campo familiar. Oficialmente no habían abandonado, pero tampoco estaban aprendiendo.
El problema no era que los datos fueran falsos. Técnicamente, 95% de los becarios seguían en la escuela. El problema era que estábamos midiendo lo fácil de medir, no lo importante de medir.
María, una joven de 16 años, me explicó algo que cambió mi forma de entender la medición de impacto: «Sí voy a la escuela, pero mi mamá necesita que la ayude con los quesos que vende en el mercado. Entonces voy lunes y martes, falto miércoles y jueves, y regreso viernes. La maestra ya no me dice nada porque sabe que necesito trabajar.»
María seguía apareciendo como «estudiante activa» en las estadísticas del proyecto. Pero ¿realmente el programa la estaba ayudando a cambiar su futuro?
Los datos que nadie recoge
El 19.2% de la población nacional presenta rezago educativo, es decir, 24.4 millones de personas, según datos del CONEVAL. Pero detrás de cada porcentaje hay historias que los indicadores tradicionales no capturan.
En otro proyecto que evalué, una organización había construido aulas digitales en escuelas rurales de Oaxaca. Los reportes mostraban que habían beneficiado a 1,500 estudiantes con acceso a tecnología. Todo perfecto hasta que empecé a preguntar cosas aparentemente obvias: ¿Los niños saben usar las computadoras? ¿Hay internet estable? ¿Los maestros fueron capacitados?
La respuesta fue reveladora: tenían computadoras hermosas, pero el internet llegaba solo dos días a la semana. Los maestros habían recibido una capacitación de dos horas. Y la mitad de los niños nunca había tocado una computadora antes, pero nadie había considerado eso relevante de medir.
La directora de una de las escuelas me dijo algo que nunca olvidaré: «Las computadoras están ahí, pero seguimos dando clases igual que antes. Los niños las ven como juguetes caros que no pueden tocar.»
Ese proyecto reportaba «1,500 estudiantes con acceso a tecnología» pero el impacto real era prácticamente cero. La diferencia estaba en los detalles que nadie había considerado importantes.
La trampa de comparar con promedios nacionales
Uno de los errores más comunes que veo es comparar resultados locales con promedios nacionales sin entender el contexto. La deserción escolar en bachillerato a nivel nacional es del 11.2%, con una diferencia significativa por género: 9.1% en mujeres versus 13.5% en hombres.
Trabajé con un proyecto en Chiapas que tenía una tasa de deserción del 8% en bachillerato. Se sentían orgullosos porque estaban «por debajo del promedio nacional.» Pero cuando analizamos el contexto local, descubrimos que en esa región específica, antes del proyecto la deserción era del 6%.
El programa no había mejorado nada; de hecho, las cosas habían empeorado. Pero como se comparaban con el promedio nacional en lugar de con su línea base local, pensaban que estaban haciendo un trabajo excelente.
La trampa de los promedios nacionales es que México es tan diverso que un promedio puede ser completamente irrelevante para una realidad específica. Solo el 61.9% de los jóvenes en localidades de menos de 2,500 habitantes asisten a la escuela, comparado con el 77.6% en localidades urbanas. Usar el mismo indicador para ambos contextos es como usar la misma receta para hacer pan en la playa y en la montaña.
Las preguntas que cambian todo
Con el tiempo he desarrollado una lista de preguntas aparentemente simples que revelan más sobre el impacto real que todos los indicadores sofisticados del mundo:
En proyectos educativos:
- ¿Los niños llegan puntuales o siempre tarde?
- ¿Los padres preguntan sobre las calificaciones de sus hijos?
- ¿Los jóvenes hablan de la escuela en casa?
- ¿Los maestros se quedan después de clases para resolver dudas?
En proyectos de salud:
- ¿La gente viene a las consultas por prevención o solo cuando está enferma?
- ¿Las madres hacen preguntas sobre nutrición infantil?
- ¿Los promotores de salud son respetados en la comunidad?
En proyectos productivos:
- ¿Los beneficiarios invierten sus propios recursos además del apoyo del proyecto?
- ¿Comparten técnicas aprendidas con vecinos que no están en el programa?
- ¿Planean expandir su negocio el año siguiente?
Estas preguntas no aparecen en los marcos lógicos tradicionales, pero te dicen más sobre sustentabilidad e impacto real que cualquier indicador cuantitativo.
El caso que me cambió la perspectiva
Hace tres años evalué un proyecto de comedores comunitarios en el Estado de México. Los números eran impresionantes: 500 niños alimentados diariamente, 95% de asistencia, mejora nutricional documentada. El proyecto era un éxito rotundo según todos los indicadores.
Pero había algo que me inquietaba. Durante las visitas noté que los niños comían muy rápido y siempre pedían repetir. Cuando pregunté por qué, una de las cocineras me dijo: «Es que muchos no desayunan nada en casa y saben que esta será su única comida completa del día.»
Ese comentario cambió toda mi evaluación. El proyecto no solo estaba alimentando a 500 niños; estaba siendo la única fuente de nutrición adecuada para muchos de ellos. Eso significaba que el impacto era mucho mayor de lo que mostraban los indicadores, pero también que la dependencia era total.
Empecé a hacer preguntas diferentes: ¿Qué pasa los fines de semana cuando el comedor está cerrado? ¿Y durante las vacaciones? ¿Las familias han mejorado su capacidad de proporcionar alimentación o han delegado completamente esa responsabilidad al proyecto?
Las respuestas revelaron que, sin querer, el proyecto había creado una dependencia que podría ser problemática a largo plazo. Los indicadores mostraban éxito, pero la sustentabilidad estaba en riesgo.
Los indicadores invisibles que importan
A lo largo de los años he identificado una serie de «indicadores invisibles» que raramente se miden pero que son fundamentales para entender el impacto real:
El indicador de la conversación en la tienda: ¿De qué habla la gente cuando se encuentra en la tienda del pueblo? Si hablan positivamente del proyecto sin que nadie les pregunte, es una señal potente de apropiación comunitaria.
El indicador del fin de semana: ¿Las actividades del proyecto se replican informalmente los fines de semana? Si los niños siguen jugando los juegos que aprendieron en el taller, o si las mujeres siguen practicando las técnicas de costura, significa que hubo apropiación real.
El indicador del conflicto: ¿Hay conflictos en la comunidad relacionados con el proyecto? Paradójicamente, algunos conflictos son indicadores de que el proyecto está generando cambios reales. La ausencia total de conflictos puede indicar que nada está realmente cambiando.
El indicador de la inversión propia: ¿Los beneficiarios invierten sus propios recursos (tiempo, dinero, materiales) en actividades relacionadas con el proyecto? Es uno de los mejores predictores de sustentabilidad.
La medición participativa que funciona
Después de muchos fracasos intentando imponer marcos de medición externos, desarrollé un enfoque que combina rigor técnico con participación genuina. El truco está en involucrar a la comunidad no solo en la implementación, sino en el diseño mismo de la medición.
En un proyecto reciente en Guerrero, en lugar de llegar con indicadores predefinidos, organicé talleres donde preguntamos a la comunidad: «¿Cómo sabremos si este proyecto realmente funcionó? ¿Qué cambios esperan ver en seis meses? ¿Qué señales les dirían que las cosas van por buen camino?»
Las respuestas fueron sorprendentemente específicas y medibles: «Si los jóvenes dejan de irse a Estados Unidos tan jóvenes.» «Si las mujeres participan más en las asambleas comunitarias.» «Si hay menos pleitos por el agua.»
Estos indicadores, diseñados por la propia comunidad, resultaron ser mucho más sensibles a cambios reales que los indicadores técnicos que yo había planeado usar.
Los errores técnicos que comete todo mundo
Error 1: Medir solo al final. El impacto no es una fotografía, es una película. Necesitas medir durante todo el proceso para entender la dinámica del cambio.
Error 2: Confundir correlación con causación. Que algo mejore durante tu proyecto no significa que mejoró por tu proyecto. Durante la pandemia, el 8.9% de los jóvenes de 15 a 17 años abandonaron la escuela para trabajar, pero eso no significa que todos los programas educativos fallaron; significa que había fuerzas externas más poderosas.
Error 3: No medir efectos no intencionados. Todos los proyectos tienen consecuencias no planeadas, positivas y negativas. No medirlas es como manejar con los ojos cerrados.
Error 4: Usar solo fuentes primarias o solo fuentes secundarias. Necesitas ambas. Los datos oficiales te dan contexto, los testimonios te dan profundidad.
La tecnología que ayuda (y la que estorba)
He probado aplicaciones sofisticadas para recolección de datos, plataformas de visualización carísimas, y sistemas de monitoreo que parecen sacados de películas de ciencia ficción. La mayoría son completamente inútiles para proyectos sociales en comunidades rurales mexicanas.
Lo que sí funciona: WhatsApp para comunicación con promotores locales, formularios simples en Google Forms, y una grabadora de audio básica para entrevistas. La tecnología debe simplificar la recolección, no complicarla.
En un proyecto en Veracruz, intentamos usar tablets para que promotores comunitarios capturaran datos. Después de dos meses, habíamos perdido tres tablets, las otras tenían la pantalla rota, y los promotores preferían anotar en cuadernos y después transcribir. La lección: la tecnología perfecta es la que realmente se usa, no la más avanzada.
El momento crucial: interpretar los datos
Tener datos no es lo mismo que tener información. Tener información no es lo mismo que tener conocimiento. Y tener conocimiento no es lo mismo que tomar decisiones inteligentes.
El momento más importante de cualquier evaluación de impacto es cuando te sientas con los datos y te preguntas: «¿Qué historia me están contando? ¿Qué no me están diciendo? ¿Qué preguntas nuevas generan?»
En un proyecto de microcréditos en Puebla, los datos mostraban que el 80% de los préstamos se pagaban a tiempo. Número excelente. Pero cuando profundicé, descubrí que muchas mujeres estaban pagando vendiendo animales o pidiendo prestado a familiares. El indicador de pago puntual era bueno, pero escondía que el proyecto estaba generando estrés financiero en lugar de crecimiento económico.
Por qué deberías hacer tu propia medición de impacto
Si has llegado hasta aquí, probablemente estés pensando: «Esto suena complicado y tardado. ¿Realmente vale la pena?»
La respuesta depende de qué quieras lograr. Si quieres cumplir con requisitos de donantes y reportar números bonitos, puedes contratar a cualquier consultor que te haga una evaluación cosmética en dos semanas.
Pero si realmente quieres entender si tu proyecto está cambiando vidas, si quieres mejorar lo que estás haciendo, si quieres tomar decisiones basadas en evidencia real en lugar de wishful thinking, entonces sí vale la pena.
La medición de impacto bien hecha no es un ejercicio académico ni un requisito burocrático. Es una herramienta de aprendizaje y mejora. Es la diferencia entre hacer el bien y hacer el bien de manera inteligente.
La carencia de acceso a servicios de salud pasó del 16.2% al 39.2% entre 2018 y 2022, lo que significa que millones de mexicanos perdieron acceso a servicios básicos. En un contexto así, no podemos darnos el lujo de implementar proyectos que no funcionen o que desperdician recursos en buenas intenciones mal ejecutadas.
Cada peso invertido en desarrollo social debería generar el máximo impacto posible. Y la única forma de asegurar eso es midiendo de manera inteligente, preguntando las preguntas correctas, y teniendo la honestidad de cambiar rumbo cuando los datos nos dicen que algo no está funcionando.
Tu primera medición de impacto
Si estás convencido de que quieres intentarlo, empieza pequeño. Elige un proyecto específico, una comunidad específica, un grupo pequeño de beneficiarios. Define no más de cinco indicadores (tres cuantitativos, dos cualitativos). Y más importante que nada: antes de recoger cualquier dato, siéntate con la comunidad y pregúntales qué cambios esperan ver.
No necesitas software caro ni consultores externos. Necesitas curiosidad genuina, humildad para aceptar que puedes estar equivocado, y paciencia para hacer preguntas hasta entender realmente qué está pasando.
La medición de impacto no es una ciencia exacta, pero tampoco es arte abstracto. Es una artesanía que se perfecciona con práctica, una conversación profunda entre tus intenciones y la realidad de las personas que quieres ayudar.
Y créeme, una vez que empiezas a medir bien, ya no puedes parar. Porque descubres que la realidad siempre es más compleja, más interesante, y más llena de posibilidades de lo que imaginabas cuando todo era solo una idea bonita en papel.
Conoce más de medición de impacto aquí
Dr Roberto Carvallo Escobar
Director de Terraética
