Recopilación, calidad y análisis de datos

1Métodos de recopilación

• Cuantitativos: encuestas de hogares, recuentos, registros de distribución, datos de salud. Dicen «cuánto».
• Cualitativos: grupos focales (6 a 10 personas homogéneas, por sexo y por edad), entrevistas con informantes clave, observación directa, estudios de caso. Dicen «por qué» y «cómo».
• Métodos mixtos: la combinación de ambos, y la triangulación (comparar varias fuentes) refuerzan la fiabilidad de las conclusiones.

Herramientas digitales habituales: KoboToolbox y ODK (formularios en el teléfono, funcionan sin conexión), y luego Excel, Power BI o R para el análisis.

2El muestreo

Rara vez se entrevista a toda la población: se extrae una muestra representativa.

Tamaño de muestra para una proporción: n = z² × p × (1 − p) / e². Con un nivel de confianza del 95 % (z = 1,96), una proporción desconocida (p = 0,5) y un margen de error del 5 % (e = 0,05): n = 3,8416 × 0,25 / 0,0025 ≈ 384 hogares.

• Si la población es pequeña, se aplica la corrección: n' = n / (1 + (n − 1) / N). Para N = 1.000 hogares, n' ≈ 278.
• En el muestreo por conglomerados (aldeas sorteadas), se multiplica por el efecto de diseño, a menudo de 1,5 a 2.
• Se añade un 5 a 10 % para las negativas y las ausencias.
• Métodos: aleatorio simple (lista completa), sistemático (un hogar de cada k), estratificado (por zona o por grupo), por conglomerados. Para lo cualitativo, los participantes se eligen de forma intencional.

3La calidad de los datos

Cinco criterios: validez (se mide realmente lo que se quiere), fiabilidad (mismo resultado si se repite), precisión, puntualidad e integridad (sin manipulación).

• Capacitar y evaluar a los encuestadores, hacer una prueba piloto del cuestionario.
• Restricciones y controles en el formulario digital (valores imposibles, campos obligatorios).
• Supervisión y revisitas a una muestra de hogares (backcheck).
• Auditorías de calidad de los datos (DQA) para los indicadores clave.

4Analizar y utilizar los datos

Un análisis útil responde a una pregunta de decisión. Compare con la línea de base y la meta, desagregue (mujeres, hombres, niñas, niños, personas con discapacidad, zonas), busque las desviaciones y sus causas con los datos cualitativos.

El monitoreo posdistribución (PDM) verifica, unas semanas después de una distribución, si la ayuda llegó, cómo se utilizó y si correspondía a las necesidades. Presente los resultados en una página, con gráficos sencillos y 3 recomendaciones, en una reunión en la que el equipo decida las correcciones.

5Diseñar un cuestionario y un formulario digital: el método paso a paso

Un cuestionario se construye a partir de los indicadores y de las preguntas de análisis, nunca a partir de una página en blanco o de un cuestionario antiguo copiado. La mayoría de los problemas de calidad que se detectan en el análisis (preguntas ambiguas, unidades incoherentes, módulos imposibles de explotar) proceden de esta etapa.

Las etapas

1. Elaborar la matriz de análisis: para cada indicador y cada pregunta de aprendizaje, enumerar las variables necesarias, la desagregación y la tabla final esperada. Toda pregunta del formulario que no alimente ninguna línea de esta matriz se suprime.
2. Retomar los módulos estándar: puntuación de consumo de alimentos, índice reducido de estrategias de afrontamiento, preguntas del Grupo de Washington, módulos de acceso al agua y al saneamiento del Programa Conjunto OMS/UNICEF de Monitoreo (JMP). Retomarlos palabra por palabra, con sus periodos de recuerdo (7 días para la FCS y el rCSI, por ejemplo).
3. Ordenar: consentimiento, identificación mínima, composición del hogar, primero los módulos menos sensibles, los módulos sensibles al final, agradecimientos e información sobre el mecanismo de quejas.
4. Limitar la duración: por encima de 45 minutos, el cansancio de la persona encuestada y del encuestador degrada considerablemente la calidad. Para una encuesta telefónica, apuntar a 15 o 20 minutos como máximo.
5. Traducir y retrotraducir: una persona traduce a la lengua local y otra, que no ha visto el original, vuelve a traducir a la lengua de partida; las diferencias revelan las ambigüedades. Los términos clave (hogar, ingreso, letrina mejorada) se definen en un glosario que se entrega a los encuestadores.
6. Programar el formulario (formato XLSForm, utilizado por KoboToolbox y ODK): restricciones (edad entre 0 y 120, tamaño del hogar entre 1 y 30), condiciones de pertinencia (el módulo sobre lactancia solo aparece si hay un niño o niña menor de 2 años), campos obligatorios, listas de opciones en lugar de texto libre, registro automático de la hora de inicio y de fin, del identificador del dispositivo y, si no entraña riesgo, de la posición GPS.
7. Probarlo internamente y, después, realizar una prueba piloto con 10 a 20 hogares fuera de la muestra, en una zona comparable. Medir la duración, anotar las preguntas mal comprendidas, las negativas y las respuestas «no sabe» numerosas.
8. Congelar la versión, numerarla y archivarla con la matriz de análisis. Toda modificación posterior se registra.

Formulación de las preguntas: errores clásicos

Los datos sobre violencia de género no se recopilan en una encuesta de hogares general. Las orientaciones del IASC y del área de responsabilidad de violencia de género recuerdan que no es necesario conocer la prevalencia para actuar: se parte del supuesto de que la violencia existe y se verifica la disponibilidad y la accesibilidad de los servicios.

La formación de los encuestadores

Cuente de 3 a 5 días para una encuesta de hogares completa: presentación de los objetivos, ética y consentimiento, código de conducta y protección contra la explotación y el abuso sexuales, lectura pregunta por pregunta, juegos de rol, manejo de los teléfonos, procedimiento de selección de los hogares, jornada piloto sobre el terreno seguida de una sesión de retroalimentación. Una prueba final permite quedarse solo con los mejores candidatos; prevea formar a un 10 a 20 % de personas más de las necesarias.

6Muestreo avanzado: conglomerados, probabilidad proporcional al tamaño y comparación de dos encuestas

La fórmula básica vista en el curso principal da el tamaño de muestra para estimar una proporción en un momento dado. En la práctica, dos situaciones exigen ir más allá: el muestreo por conglomerados, casi siempre necesario en el medio rural a falta de una lista completa de hogares, y la comparación entre la línea de base y el final de un proyecto.

El efecto de diseño calculado

En lugar de aplicar un efecto de diseño fijo, se puede estimar: efecto de diseño = 1 + (m − 1) × CCI, donde m es el número de hogares encuestados por conglomerado y CCI el coeficiente de correlación intraconglomerado (la semejanza de los hogares de una misma aldea respecto al indicador). El CCI suele variar de 0,01 a 0,1 para los indicadores de hogar; es elevado para el acceso al agua (toda la aldea comparte el mismo punto de agua) y más bajo para las prácticas individuales. Con m = 12 y un CCI de 0,05: efecto de diseño = 1 + 11 × 0,05 = 1,55. Con m = 30: 2,45. De ahí la regla práctica: más conglomerados con menos hogares por conglomerado ofrece una mejor precisión para el mismo número de entrevistas, pero cuesta más en desplazamientos.

Tamaño de muestra para medir un cambio

Para verificar que un indicador ha cambiado realmente entre la línea de base y el final, la fórmula pasa a ser:

n por encuesta = (zα + zβ)² × [p1 (1 − p1) + p2 (1 − p2)] / (p2 − p1)², con zα = 1,96 para un nivel de confianza del 95 % y zβ = 0,84 para una potencia del 80 %.

Ejemplo: el indicador vale el 34 % en la línea de base y se espera un 50 % al final. n = (2,80)² × [0,34 × 0,66 + 0,50 × 0,50] / (0,16)² = 7,84 × 0,4744 / 0,0256 ≈ 146 hogares por encuesta. Con el efecto de diseño de 1,55: 227. Previendo un 10 % de no respuesta (se divide por 0,9): 253. Con 12 hogares por conglomerado: 21,1, redondeado a 22 conglomerados de 12 hogares, es decir, 264 hogares en la línea de base y otros tantos al final. Observación: cuanto menor es el cambio esperado, más rápido crece la muestra; para detectar un paso del 34 % al 40 %, harían falta más de 1 000 hogares por encuesta antes de aplicar el efecto de diseño.

La selección de los conglomerados con probabilidad proporcional al tamaño

Cuando las aldeas tienen tamaños diferentes, los conglomerados se seleccionan con una probabilidad proporcional a su tamaño (PPT) y, después, se elige el mismo número de hogares en cada conglomerado. Así, cada hogar de la zona tiene la misma probabilidad de ser encuestado.

1. Enumerar las aldeas con su población (o número de hogares) y calcular la población acumulada.
2. Calcular el intervalo de muestreo: población total / número de conglomerados. Para 6 000 hogares y 22 conglomerados: 272,7.
3. Extraer un número aleatorio entre 1 y 272,7, por ejemplo 118. Los conglomerados corresponden a las aldeas cuya población acumulada contiene 118; 118 + 272,7 = 390,7; 663,4; y así sucesivamente.
4. Una aldea grande puede salir seleccionada dos veces: contiene entonces dos conglomerados.
5. En cada conglomerado, seleccionar los hogares por sorteo aleatorio sobre una lista reciente si existe y, si no, mediante segmentación de la aldea o por el método del paseo aleatorio, teniendo en cuenta que este último introduce sesgos y debe describirse en las limitaciones.

El muestreo estratificado y la ponderación

Si se quieren resultados fiables por separado para los desplazados y para la población de acogida, se estratifica y se calcula una muestra para cada estrato. La muestra deja entonces de ser proporcional a la población y los resultados globales deben ponderarse. Ejemplo: 1 800 hogares desplazados (30 %) y 4 200 hogares de acogida (70 %), 132 hogares encuestados en cada estrato. Resultado: 44 % de FCS aceptable entre los desplazados, 58 % entre la población de acogida. La media no ponderada (51 %) es errónea; la media ponderada es 0,30 × 44 + 0,70 × 58 = 53,8 %. Los pesos por hogar son iguales a la proporción del estrato en la población dividida por su proporción en la muestra: 0,6 para los desplazados y 1,4 para la población de acogida.

El muestreo cualitativo

Los métodos cualitativos no buscan la representatividad estadística, sino la diversidad de puntos de vista y la saturación (el momento en que nuevas entrevistas ya no aportan información nueva). Referencias prácticas: de 2 a 4 grupos focales por subgrupo de población importante (mujeres desplazadas, hombres desplazados, mujeres de acogida, jóvenes, personas con discapacidad…), de 8 a 15 entrevistas con informantes clave elegidos por su posición (autoridades, líderes religiosos, personal sanitario, comerciantes, docentes), y algunos estudios de caso para ilustrar trayectorias.

7Ejemplo completo: organizar el estudio final de un proyecto

Contexto ficticio: el estudio final del proyecto de seguridad alimentaria de la ONG «Terres d'Avenir» debe encuestar a 264 hogares en 22 conglomerados de la región de Moussoro-Nord, con un cuestionario de 40 minutos, y realizar 8 grupos focales y 10 entrevistas con informantes clave.

Cálculo de la productividad y de la duración

• Un encuestador realiza 5 entrevistas al día en el medio rural (40 minutos cada una, más el tiempo de selección de los hogares, de desplazamiento entre hogares y de pausa).
• Con 12 encuestadores, la capacidad es de 60 entrevistas al día, es decir, 264 / 60 = 4,4 días, redondeados a 5 días de recopilación, más 1 día de reserva para las segundas visitas y los hogares ausentes.
• Organización en equipos de 4 encuestadores y 1 supervisor; cada equipo cubre aproximadamente 1,5 conglomerados al día.
• Composición: 6 encuestadoras y 6 encuestadores, para que las mujeres puedan ser entrevistadas por mujeres; todas y todos hablan las dos lenguas principales de la zona.

Cronograma

Presupuesto del estudio

El coste por hogar encuestado (unos 25 EUR para la parte cuantitativa) es una referencia útil para presupuestar los estudios siguientes; se duplica o triplica en las zonas de difícil acceso o cuando se necesitan escoltas o vuelos.

Resultado e interpretación

El estudio final mide un 52 % de hogares con una FCS aceptable (línea de base: 34 %). Cálculo del intervalo de confianza: error estándar simple = raíz cuadrada de (0,52 × 0,48 / 264) = 0,0307; multiplicado por la raíz cuadrada del efecto de diseño (raíz de 1,55 = 1,245): 0,0383; intervalo al 95 % = 52 % ± 1,96 × 3,83 = del 44,5 % al 59,5 %. La línea de base (34 %, intervalo de aproximadamente el 27 % al 41 %) y el final no se solapan: el cambio es estadísticamente significativo. En cambio, la meta del 50 % está dentro del intervalo: se puede decir que la meta se ha alcanzado, pero hay que indicar el intervalo y recordar que el estudio final se realizó después de la cosecha, lo que contribuye a la mejora. Los datos del sistema de vigilancia regional muestran una mejora de 8 puntos en las zonas no cubiertas por el proyecto durante el mismo periodo, lo que sugiere que una parte del cambio es estacional: la honestidad sobre este punto refuerza la credibilidad del informe.

8Controlar la calidad durante y después de la recopilación

La calidad de los datos se controla de forma continua durante la recopilación, no una vez terminada la encuesta, cuando ya es demasiado tarde para volver al terreno.

Los controles diarios de alta frecuencia

Cada tarde, el oficial MEAL descarga los datos del día y aplica una serie de controles, idealmente automatizados en un script o en un libro de cálculo preparado de antemano:

Las segundas visitas

Un supervisor o un equipo independiente vuelve a visitar alrededor del 10 % de los hogares (al menos algunos hogares por encuestador), elegidos al azar y prioritariamente entre las entrevistas señaladas por los controles. Formula de 5 a 10 preguntas cuya respuesta no debería cambiar (tamaño del hogar, fuente de agua, recepción de la ayuda). Una tasa de discordancia elevada en un encuestador lleva a repetir sus entrevistas y, en caso de falsificación probada, a rescindir su contrato.

La depuración de los datos

1. Conservar una copia intacta de los datos brutos, nunca modificada.
2. Llevar un registro de depuración: cada modificación (identificador, variable, valor anterior, valor nuevo, motivo, autor, fecha) queda registrada. Un evaluador o un auditor debe poder rehacer el recorrido.
3. Tratar los valores perdidos, las incoherencias y los valores atípicos según reglas escritas de antemano, y no caso por caso en función del resultado deseado.
4. Recodificar las respuestas «otro, especifique» que se repiten con frecuencia.
5. Calcular los indicadores compuestos (FCS, rCSI) según los métodos estándar y verificar sus distribuciones.

La auditoría de calidad de los datos

Para los indicadores notificados al donante, una auditoría de calidad verifica, sobre una muestra de sitios y periodos, que la cifra notificada corresponde a las fuentes. Se vuelven a contar los datos en los documentos fuente (registros, listas firmadas) y se comparan con la cifra notificada: el factor de verificación es igual a la cifra recontada dividida por la cifra notificada. Un factor de 0,85 significa una sobreestimación del 15 %; por encima de una diferencia del 5 al 10 %, hay que identificar la causa (error de introducción, doble conteo, definición diferente) y corregir los informes. La auditoría examina también las cinco dimensiones de la calidad: validez, integridad, precisión, fiabilidad y puntualidad.

9Analizar para decidir: el ejemplo de un monitoreo posdistribución

Contexto ficticio: tercer monitoreo posdistribución de un programa de transferencias monetarias de 60 EUR al mes para 1 800 hogares. Se entrevistó por teléfono a 210 hogares seleccionados al azar dos o tres semanas después del pago, a cargo de operadores del equipo MEAL que no participan en las distribuciones.

Resultados principales

Del análisis a la decisión

• Punto de pago problemático: la notificación de importes incompletos y de «contribuciones» exigidas en un único punto es una señal de fraude o de abuso de poder. No se trata en una reunión general: se transmite de inmediato al responsable de cumplimiento según el procedimiento de lucha contra el fraude, y las posibles quejas se tramitan de forma confidencial. Se organiza una verificación mediante llamadas a todos los beneficiarios de ese punto.
• Accesibilidad: el 63 % de las personas con discapacidad espera más de 2 horas. Decisión: fila prioritaria, posibilidad de designar a un representante, estudio de un pago mediante dinero móvil para estos hogares.
• Información: el conocimiento de los canales de quejas es bajo, sobre todo entre las mujeres. Decisión: mensajes en cada pago, sesiones en los grupos de mujeres, número impreso en la tarjeta de beneficiario.
• Valor de la transferencia: el aumento de la proporción del alquiler y de los precios justifica compartir el análisis con el grupo de trabajo sobre transferencias monetarias para revisar la canasta mínima de gastos.

Una nota útil de monitoreo posdistribución cabe en dos páginas: los 5 resultados esenciales, las diferencias entre grupos, las señales de alerta y de 3 a 5 recomendaciones con un responsable propuesto. Las tablas completas van en anexo.

Analizar los datos cualitativos

Las notas de los grupos focales y de las entrevistas se transcriben el mismo día y, después, se codifican según una parrilla construida a partir de las preguntas de análisis y enriquecida con los temas que emergen. Se cuenta la frecuencia de los temas por tipo de grupo (sin convertirla en porcentajes, que darían una falsa impresión de representatividad), se recogen citas ilustrativas anonimizadas y se buscan activamente las opiniones divergentes. El análisis cualitativo sirve para explicar las cifras (por qué aumenta la proporción del alquiler) y para detectar lo que el cuestionario no podía prever.

10Recopilar datos en contextos difíciles

Las encuestas telefónicas

Se han vuelto habituales, sobre todo para los monitoreos posdistribución y en la gestión a distancia. Son rápidas y poco costosas, pero excluyen a las personas sin teléfono o sin cobertura, a menudo las más vulnerables, y con frecuencia infrarrepresentan a las mujeres cuando el teléfono pertenece al cabeza de familia. Buenas prácticas: extraer la muestra de la lista de beneficiarios y no entre quienes responden fácilmente, prever al menos tres intentos de llamada en horarios diferentes, pedir hablar con la persona registrada, limitar la duración a 15 o 20 minutos, comparar el perfil de las personas encuestadas con el de la población destinataria y describir el sesgo en el informe.

Errores frecuentes que deben evitarse

• Encuestadores procedentes del equipo de distribución o de la comunidad con intereses en la selección: sesgo de complacencia y riesgo de presión.
• Sustituir libremente los hogares ausentes por los vecinos: sesgo hacia los hogares presentes ese día, a menudo menos vulnerables. Las sustituciones deben seguir una regla escrita y contabilizarse.
• Anunciar un resultado sin intervalo de confianza o sin tamaño de muestra, en particular para los subgrupos (un porcentaje calculado sobre 18 hogares con personas con discapacidad no tiene el mismo valor que un porcentaje sobre 264 hogares).
• Presentar medias no ponderadas cuando la muestra está estratificada.
• Comparar una línea de base y un final realizados en estaciones diferentes sin señalarlo.

11Preguntas de entrevista y referencias clave

Preguntas de entrevista

1. «Calcule el tamaño de muestra necesario para un estudio final en 30 aldeas. ¿Qué información necesita?»

Una buena respuesta pregunta por el objetivo (estimar una proporción o medir un cambio), el valor esperado del indicador, la precisión deseada, el nivel de confianza y la potencia, el tamaño de la población, el diseño muestral (conglomerados, estratos), el efecto de diseño o el CCI, la tasa de no respuesta y la necesidad de resultados por subgrupo. Sabe hacer el cálculo y explica el equilibrio entre número de conglomerados y número de hogares por conglomerado.

2. «Descubre que un encuestador probablemente se ha inventado entrevistas. ¿Qué hace?»

Describe las señales (duraciones cortas, respuestas repetitivas, horarios improbables), la verificación mediante segundas visitas, la eliminación y la sustitución de las entrevistas afectadas, el procedimiento disciplinario y las medidas preventivas para el futuro (controles diarios, supervisión, rotación). Documenta el incidente y su efecto sobre la muestra.

3. «¿Cuál es la diferencia entre un resultado estadísticamente significativo y un resultado importante para el programa?»

Explica que una pequeña diferencia puede ser significativa con una muestra grande sin tener interés práctico, y que una diferencia importante puede no ser significativa con una muestra pequeña. Vincula la respuesta con la decisión que debe tomarse y con los intervalos de confianza.

4. «¿Cómo lleva a cabo un monitoreo posdistribución en una zona inaccesible?»

Propone llamadas telefónicas a una muestra aleatoria de la lista, verificaciones por un tercero, datos del proveedor de servicios de pago e informantes clave, y reconoce los sesgos de cada método. Menciona la seguridad de las personas encuestadas y la protección de datos.

5. «¿Cómo combina los datos cuantitativos y cualitativos en un informe?»

Explica la secuencia (lo cualitativo explica o prepara lo cuantitativo), la triangulación, y da un ejemplo en el que lo cualitativo explicó un resultado inesperado.

Referencias clave

• Documentación de KoboToolbox y de ODK, y estándar XLSForm.
• Manual de la metodología SMART para las encuestas de nutrición y mortalidad.
• Orientaciones técnicas del PMA sobre los módulos de seguridad alimentaria y el monitoreo posdistribución.
• Herramientas y orientaciones de la Cash Learning Partnership (CALP) sobre el seguimiento de las transferencias monetarias, y modelos armonizados de monitoreo posdistribución de los grupos de trabajo sobre transferencias.
• Cuestionarios y notas metodológicas del Programa Conjunto OMS/UNICEF de Monitoreo del Abastecimiento de Agua, el Saneamiento y la Higiene (JMP).
• Orientaciones de USAID sobre las normas de calidad de los datos y las auditorías de calidad.
• Recomendaciones éticas y de seguridad de la OMS para la investigación, documentación y seguimiento de la violencia sexual en situaciones de emergencia (2007).
• Documentos de ACAPS sobre el análisis de las necesidades humanitarias y el uso de los datos secundarios.