Collecte, qualité et analyse des données

1Méthodes de collecte

• Quantitatives : enquêtes auprès des ménages, comptages, registres de distribution, données de santé. Elles disent « combien ».
• Qualitatives : groupes de discussion (6 à 10 personnes homogènes, par sexe et par âge), entretiens avec des informateurs clés, observation directe, études de cas. Elles disent « pourquoi » et « comment ».
• Méthodes mixtes : la combinaison des deux, et la triangulation (comparer plusieurs sources) renforcent la fiabilité des conclusions.

Outils numériques courants : KoboToolbox et ODK (formulaires sur téléphone, fonctionnent hors connexion), puis Excel, Power BI ou R pour l'analyse.

2L'échantillonnage

On interroge rarement toute la population : on tire un échantillon représentatif.

Taille d'échantillon pour une proportion : n = z² × p × (1 − p) / e². Avec un niveau de confiance de 95 % (z = 1,96), une proportion inconnue (p = 0,5) et une marge d'erreur de 5 % (e = 0,05) : n = 3,8416 × 0,25 / 0,0025 ≈ 384 ménages.

• Si la population est petite, on applique la correction : n' = n / (1 + (n − 1) / N). Pour N = 1 000 ménages, n' ≈ 278.
• En sondage par grappes (villages tirés au sort), on multiplie par l'effet de plan, souvent 1,5 à 2.
• On ajoute 5 à 10 % pour les refus et les absences.
• Méthodes : aléatoire simple (liste complète), systématique (un ménage sur k), stratifié (par zone ou par groupe), par grappes. Pour le qualitatif, on choisit les participants de façon raisonnée.

3La qualité des données

Cinq critères : validité (on mesure bien ce qu'on veut), fiabilité (même résultat si on recommence), précision, ponctualité et intégrité (pas de manipulation).

• Former et tester les enquêteurs, faire un pré-test du questionnaire.
• Contraintes et contrôles dans le formulaire numérique (valeurs impossibles, champs obligatoires).
• Supervision et revisites d'un échantillon de ménages (backcheck).
• Audits de qualité des données (DQA) pour les indicateurs clés.

4Analyser et utiliser les données

Une analyse utile répond à une question de décision. Comparez avec la valeur de base et la cible, désagrégez (femmes, hommes, filles, garçons, personnes handicapées, zones), cherchez les écarts et leurs causes avec les données qualitatives.

Le suivi post-distribution (PDM) vérifie, quelques semaines après une distribution, si l'aide est arrivée, comment elle a été utilisée et si elle correspondait aux besoins. Présentez les résultats en une page, avec des graphiques simples et 3 recommandations, lors d'une réunion où l'équipe décide des corrections.

5Concevoir un questionnaire et un formulaire numérique : la méthode pas à pas

Un questionnaire se construit à partir des indicateurs et des questions d'analyse, jamais à partir d'une page blanche ou d'un ancien questionnaire recopié. La plupart des problèmes de qualité constatés à l'analyse (questions ambiguës, unités incohérentes, modules impossibles à exploiter) viennent de cette étape.

Les étapes

1. Établir la matrice d'analyse : pour chaque indicateur et chaque question d'apprentissage, lister les variables nécessaires, la désagrégation et le tableau final attendu. Toute question du formulaire qui n'alimente aucune ligne de cette matrice est supprimée.
2. Reprendre les modules standards : score de consommation alimentaire, indice réduit des stratégies d'adaptation, questions du Washington Group, modules d'accès à l'eau et à l'assainissement du programme commun de suivi OMS et UNICEF. Les reprendre mot pour mot, avec leurs périodes de rappel (7 jours pour le FCS et le rCSI, par exemple).
3. Ordonner : consentement, identification minimale, composition du ménage, modules les moins sensibles d'abord, modules sensibles à la fin, remerciements et information sur le mécanisme de plaintes.
4. Limiter la durée : au-delà de 45 minutes, la fatigue du répondant et de l'enquêteur dégrade fortement la qualité. Pour une enquête téléphonique, viser 15 à 20 minutes au maximum.
5. Traduire et rétrotraduire : une personne traduit vers la langue locale, une autre, qui n'a pas vu l'original, retraduit vers la langue de départ ; les écarts révèlent les ambiguïtés. Les termes clés (ménage, revenu, latrine améliorée) sont définis dans un glossaire remis aux enquêteurs.
6. Programmer le formulaire (format XLSForm, utilisé par KoboToolbox et ODK) : contraintes (âge entre 0 et 120, taille du ménage entre 1 et 30), pertinences (le module sur l'allaitement n'apparaît que s'il y a un enfant de moins de 2 ans), champs obligatoires, listes de choix plutôt que texte libre, enregistrement automatique de l'heure de début et de fin, de l'identifiant de l'appareil et, si cela est sans risque, de la position GPS.
7. Tester en interne, puis faire un pré-test auprès de 10 à 20 ménages hors échantillon, dans une zone comparable. Mesurer la durée, noter les questions mal comprises, les refus, les réponses « ne sait pas » nombreuses.
8. Figer la version, la numéroter et l'archiver avec la matrice d'analyse. Toute modification ultérieure est consignée.

Formulation des questions : erreurs classiques

Les données sur les violences basées sur le genre ne se collectent pas dans une enquête de ménages générale. Les orientations de l'IASC et du domaine de responsabilité VBG rappellent qu'on n'a pas besoin de connaître la prévalence pour agir : on suppose que les violences existent et on vérifie la disponibilité et l'accessibilité des services.

La formation des enquêteurs

Comptez 3 à 5 jours pour une enquête de ménages complète : présentation des objectifs, éthique et consentement, code de conduite et protection contre l'exploitation et les abus sexuels, lecture question par question, jeux de rôle, manipulation des téléphones, procédure de sélection des ménages, journée pilote sur le terrain suivie d'un débriefing. Un test final permet de ne retenir que les meilleurs candidats ; prévoyez 10 à 20 % de personnes formées en plus des besoins.

6Échantillonnage avancé : grappes, probabilité proportionnelle à la taille et comparaison de deux enquêtes

La formule de base vue dans le cours principal donne la taille d'échantillon pour estimer une proportion à un moment donné. En pratique, deux situations demandent d'aller plus loin : le sondage par grappes, presque toujours nécessaire en milieu rural faute de liste complète des ménages, et la comparaison entre une base et une fin de projet.

L'effet de plan calculé

Plutôt que d'appliquer un effet de plan forfaitaire, on peut l'estimer : effet de plan = 1 + (m − 1) × CCI, où m est le nombre de ménages enquêtés par grappe et CCI le coefficient de corrélation intra-grappe (la ressemblance des ménages d'un même village sur l'indicateur). Le CCI varie souvent de 0,01 à 0,1 pour les indicateurs de ménage ; il est élevé pour l'accès à l'eau (tout le village partage le même point d'eau), plus faible pour des pratiques individuelles. Avec m = 12 et un CCI de 0,05 : effet de plan = 1 + 11 × 0,05 = 1,55. Avec m = 30 : 2,45. D'où la règle pratique : plus de grappes avec moins de ménages par grappe donne une meilleure précision pour le même nombre d'entretiens, mais coûte plus en déplacements.

Taille d'échantillon pour mesurer un changement

Pour vérifier qu'un indicateur a réellement changé entre la base et la fin, la formule devient :

n par enquête = (zα + zβ)² × [p1 (1 − p1) + p2 (1 − p2)] / (p2 − p1)², avec zα = 1,96 pour un niveau de confiance de 95 % et zβ = 0,84 pour une puissance de 80 %.

Exemple : l'indicateur vaut 34 % à la base et l'on attend 50 % à la fin. n = (2,80)² × [0,34 × 0,66 + 0,50 × 0,50] / (0,16)² = 7,84 × 0,4744 / 0,0256 ≈ 146 ménages par enquête. Avec l'effet de plan de 1,55 : 227. En prévoyant 10 % de non-réponse (on divise par 0,9) : 253. Avec 12 ménages par grappe : 21,1, arrondi à 22 grappes de 12 ménages, soit 264 ménages à la base et autant à la fin. Remarque : plus le changement attendu est petit, plus l'échantillon grossit vite ; pour détecter un passage de 34 % à 40 %, il faudrait plus de 1 000 ménages par enquête avant effet de plan.

Le tirage des grappes avec probabilité proportionnelle à la taille

Lorsque les villages ont des tailles différentes, on tire les grappes avec une probabilité proportionnelle à leur taille (PPT), puis le même nombre de ménages dans chaque grappe. Chaque ménage de la zone a ainsi la même probabilité d'être enquêté.

1. Lister les villages avec leur population (ou nombre de ménages) et calculer la population cumulée.
2. Calculer l'intervalle de sondage : population totale / nombre de grappes. Pour 6 000 ménages et 22 grappes : 272,7.
3. Tirer un nombre aléatoire entre 1 et 272,7, par exemple 118. Les grappes correspondent aux villages dont la population cumulée contient 118 ; 118 + 272,7 = 390,7 ; 663,4 ; et ainsi de suite.
4. Un grand village peut être tiré deux fois : il contient alors deux grappes.
5. Dans chaque grappe, sélectionner les ménages par tirage aléatoire sur une liste récente si elle existe, sinon par segmentation du village ou par méthode de marche aléatoire, en sachant que cette dernière introduit des biais et doit être décrite dans les limites.

L'échantillonnage stratifié et la pondération

Si l'on veut des résultats fiables séparément pour les déplacés et les hôtes, on stratifie et l'on calcule un échantillon pour chaque strate. L'échantillon n'est alors plus proportionnel à la population et les résultats globaux doivent être pondérés. Exemple : 1 800 ménages déplacés (30 %) et 4 200 ménages hôtes (70 %), 132 ménages enquêtés dans chaque strate. Résultat : 44 % de FCS acceptable chez les déplacés, 58 % chez les hôtes. La moyenne non pondérée (51 %) est fausse ; la moyenne pondérée est 0,30 × 44 + 0,70 × 58 = 53,8 %. Les poids par ménage sont égaux à la part de la strate dans la population divisée par sa part dans l'échantillon : 0,6 pour les déplacés et 1,4 pour les hôtes.

L'échantillonnage qualitatif

Les méthodes qualitatives ne cherchent pas la représentativité statistique mais la diversité des points de vue et la saturation (le moment où de nouveaux entretiens n'apportent plus d'information nouvelle). Repères pratiques : 2 à 4 groupes de discussion par sous-groupe de population important (femmes déplacées, hommes déplacés, femmes hôtes, jeunes, personnes handicapées…), 8 à 15 entretiens avec des informateurs clés choisis pour leur position (autorités, leaders religieux, personnels de santé, commerçants, enseignants), et quelques études de cas pour illustrer des trajectoires.

7Exemple complet : organiser l'étude finale d'un projet

Contexte fictif : l'étude finale du projet de sécurité alimentaire de l'ONG « Terres d'Avenir » doit enquêter 264 ménages dans 22 grappes de la région de Moussoro-Nord, avec un questionnaire de 40 minutes, et réaliser 8 groupes de discussion et 10 entretiens avec des informateurs clés.

Calcul de la productivité et de la durée

• Un enquêteur réalise 5 entretiens par jour en milieu rural (40 minutes chacun, plus le temps de sélection des ménages, de déplacement entre les ménages et de pause).
• Avec 12 enquêteurs, la capacité est de 60 entretiens par jour, soit 264 / 60 = 4,4 jours, arrondis à 5 jours de collecte, plus 1 jour de réserve pour les retours et les ménages absents.
• Organisation par équipes de 4 enquêteurs et 1 superviseur ; chaque équipe couvre environ 1,5 grappe par jour.
• Composition : 6 enquêtrices et 6 enquêteurs, afin que les femmes puissent être interrogées par des femmes ; toutes et tous parlent les deux langues principales de la zone.

Chronogramme

Budget de l'étude

Le coût par ménage enquêté (environ 25 EUR pour la partie quantitative) est un repère utile pour budgéter les études suivantes ; il double ou triple dans les zones d'accès difficile ou lorsque des escortes ou des vols sont nécessaires.

Résultat et interprétation

L'étude finale mesure 52 % de ménages ayant un FCS acceptable (base 34 %). Calcul de l'intervalle de confiance : erreur type simple = racine de (0,52 × 0,48 / 264) = 0,0307 ; multipliée par la racine de l'effet de plan (racine de 1,55 = 1,245) : 0,0383 ; intervalle à 95 % = 52 % ± 1,96 × 3,83 = 44,5 % à 59,5 %. La base (34 %, intervalle d'environ 27 % à 41 %) et la fin ne se recouvrent pas : le changement est statistiquement significatif. En revanche, la cible de 50 % est à l'intérieur de l'intervalle : on peut dire que la cible est atteinte, mais il faut indiquer l'intervalle et rappeler que l'étude finale a eu lieu après la récolte, ce qui contribue à l'amélioration. Les données du système de surveillance régional montrent une amélioration de 8 points dans les zones non couvertes par le projet sur la même période, ce qui suggère qu'une partie du changement est saisonnière : l'honnêteté sur ce point renforce la crédibilité du rapport.

8Contrôler la qualité pendant et après la collecte

La qualité des données se contrôle en continu pendant la collecte, pas une fois l'enquête terminée, quand il est trop tard pour retourner sur le terrain.

Les contrôles quotidiens à haute fréquence

Chaque soir, l'officier MEAL télécharge les données du jour et applique une série de contrôles, idéalement automatisés dans un script ou un classeur préparé à l'avance :

Les revisites

Un superviseur ou une équipe indépendante revisite environ 10 % des ménages (au moins quelques ménages par enquêteur), choisis au hasard et en priorité parmi les entretiens signalés par les contrôles. Il pose 5 à 10 questions dont la réponse ne devrait pas changer (taille du ménage, source d'eau, réception de l'aide). Un taux de discordance élevé chez un enquêteur conduit à reprendre ses entretiens et, en cas de falsification avérée, à mettre fin à son contrat.

Le nettoyage des données

1. Conserver une copie des données brutes intactes, jamais modifiée.
2. Tenir un journal de nettoyage : chaque modification (identifiant, variable, ancienne valeur, nouvelle valeur, raison, auteur, date) est enregistrée. Un évaluateur ou un auditeur doit pouvoir refaire le chemin.
3. Traiter les valeurs manquantes, les incohérences et les valeurs aberrantes selon des règles écrites à l'avance, et non au cas par cas selon le résultat souhaité.
4. Recoder les réponses « autre, précisez » qui reviennent souvent.
5. Calculer les indicateurs composites (FCS, rCSI) selon les méthodes standards, et vérifier leurs distributions.

L'audit de qualité des données

Pour les indicateurs rapportés au bailleur, un audit de qualité vérifie, sur un échantillon de sites et de périodes, que le chiffre rapporté correspond aux sources. On recompte les données dans les documents sources (registres, listes signées) et on compare au chiffre rapporté : le facteur de vérification est égal au chiffre recompté divisé par le chiffre rapporté. Un facteur de 0,85 signifie une surestimation de 15 % ; au-delà d'un écart de 5 à 10 %, il faut identifier la cause (erreur de saisie, double comptage, définition différente) et corriger les rapports. L'audit examine aussi les cinq dimensions de la qualité : validité, intégrité, précision, fiabilité et ponctualité.

9Analyser pour décider : l'exemple d'un suivi post-distribution

Contexte fictif : troisième suivi post-distribution d'un programme de transferts monétaires de 60 EUR par mois pour 1 800 ménages. 210 ménages tirés au hasard ont été interrogés par téléphone deux à trois semaines après le paiement, par des opérateurs de l'équipe MEAL qui ne participent pas aux distributions.

Résultats principaux

De l'analyse à la décision

• Point de paiement problématique : le signalement de montants incomplets et de « contributions » demandées dans un seul point est un signal de fraude ou d'abus de pouvoir. Il ne se traite pas en réunion générale : il est transmis immédiatement au responsable de la conformité selon la procédure de lutte contre la fraude, et les plaintes éventuelles sont traitées confidentiellement. Une vérification par appels à tous les bénéficiaires de ce point est organisée.
• Accessibilité : 63 % des personnes handicapées attendent plus de 2 heures. Décision : file prioritaire, possibilité de désigner un mandataire, étude d'un paiement par téléphonie mobile pour ces ménages.
• Information : la connaissance des canaux de plainte est faible, surtout chez les femmes. Décision : messages lors de chaque paiement, séances dans les groupes de femmes, numéro imprimé sur la carte de bénéficiaire.
• Valeur du transfert : la hausse de la part du loyer et des prix justifie de partager l'analyse avec le groupe de travail sur les transferts monétaires pour revoir le panier de dépenses minimum.

Une note de suivi post-distribution utile tient sur deux pages : les 5 résultats essentiels, les différences entre groupes, les signaux d'alerte, et 3 à 5 recommandations avec un responsable proposé. Les tableaux complets vont en annexe.

Analyser les données qualitatives

Les notes des groupes de discussion et des entretiens sont transcrites le jour même, puis codées selon une grille construite à partir des questions d'analyse et enrichie des thèmes qui émergent. On compte la fréquence des thèmes par type de groupe (sans en faire des pourcentages, qui donneraient une fausse impression de représentativité), on relève les citations illustratives anonymisées et on recherche activement les avis divergents. L'analyse qualitative sert à expliquer les chiffres (pourquoi la part du loyer augmente) et à repérer ce que le questionnaire ne pouvait pas prévoir.

10Collecter dans des contextes difficiles

Les enquêtes par téléphone

Elles sont devenues courantes, notamment pour les suivis post-distribution et en gestion à distance. Elles sont rapides et peu coûteuses, mais elles excluent les personnes sans téléphone ou sans réseau, souvent les plus vulnérables, et sous-représentent fréquemment les femmes lorsque le téléphone appartient au chef de ménage. Bonnes pratiques : tirer l'échantillon dans la liste des bénéficiaires et non parmi ceux qui répondent facilement, prévoir au moins trois tentatives d'appel à des horaires différents, demander à parler à la personne enregistrée, limiter la durée à 15 à 20 minutes, comparer le profil des répondants à celui de la population ciblée et décrire le biais dans le rapport.

Erreurs fréquentes à éviter

• Enquêteurs issus de l'équipe de distribution ou de la communauté avec des intérêts dans la sélection : biais de complaisance et risque de pression.
• Remplacer librement les ménages absents par les voisins : biais vers les ménages présents le jour, souvent moins vulnérables. Les remplacements doivent suivre une règle écrite et être comptés.
• Annoncer un résultat sans intervalle de confiance ou sans taille d'échantillon, en particulier pour les sous-groupes (un pourcentage calculé sur 18 ménages handicapés n'a pas la même valeur qu'un pourcentage sur 264 ménages).
• Présenter des moyennes non pondérées lorsque l'échantillon est stratifié.
• Comparer une base et une fin réalisées à des saisons différentes sans le signaler.

11Questions d'entretien et références clés

Questions d'entretien

1. « Calculez la taille d'échantillon nécessaire pour une étude finale dans 30 villages. Quelles informations vous faut-il ? »

Une bonne réponse demande l'objectif (estimer une proportion ou mesurer un changement), la valeur attendue de l'indicateur, la précision souhaitée, le niveau de confiance et la puissance, la taille de la population, le plan de sondage (grappes, strates), l'effet de plan ou le CCI, le taux de non-réponse et le besoin de résultats par sous-groupe. Elle sait faire le calcul et explique l'arbitrage entre nombre de grappes et nombre de ménages par grappe.

2. « Vous découvrez qu'un enquêteur a probablement inventé des entretiens. Que faites-vous ? »

Elle décrit les signaux (durées courtes, réponses répétitives, horaires improbables), la vérification par revisites, la suppression et le remplacement des entretiens concernés, la procédure disciplinaire, et les mesures préventives pour l'avenir (contrôles quotidiens, supervision, rotation). Elle documente l'incident et son effet sur l'échantillon.

3. « Quelle est la différence entre un résultat statistiquement significatif et un résultat important pour le programme ? »

Elle explique qu'une petite différence peut être significative avec un grand échantillon sans avoir d'intérêt pratique, et qu'une différence importante peut ne pas être significative avec un petit échantillon. Elle relie la réponse à la décision à prendre et aux intervalles de confiance.

4. « Comment conduisez-vous un suivi post-distribution dans une zone inaccessible ? »

Elle propose des appels téléphoniques sur un échantillon aléatoire de la liste, des vérifications par un tiers, des données du prestataire de paiement, des informateurs clés, et reconnaît les biais de chaque méthode. Elle mentionne la sécurité des répondants et la protection des données.

5. « Comment combinez-vous les données quantitatives et qualitatives dans un rapport ? »

Elle explique la séquence (le qualitatif explique ou prépare le quantitatif), la triangulation, et donne un exemple où le qualitatif a expliqué un résultat inattendu.

Références clés

• Documentation de KoboToolbox et d'ODK, et standard XLSForm.
• Manuel de la méthodologie SMART pour les enquêtes nutritionnelles et de mortalité.
• Orientations techniques du PAM sur les modules de sécurité alimentaire et le suivi post-distribution.
• Outils et orientations du Cash Learning Partnership (CALP) sur le suivi des transferts monétaires, et modèles de suivi post-distribution harmonisés des groupes de travail sur les transferts.
• Questionnaires et notes méthodologiques du programme commun de suivi OMS et UNICEF pour l'eau, l'assainissement et l'hygiène.
• Orientations de l'USAID sur les normes de qualité des données et les audits de qualité.
• Recommandations éthiques et de sécurité de l'OMS pour la recherche sur les violences sexuelles dans les situations d'urgence (2007).
• Documents d'ACAPS sur l'analyse des besoins humanitaires et l'utilisation des données secondaires.