Redevabilité, évaluation et apprentissage

1La redevabilité envers les populations

La redevabilité envers les populations affectées (AAP) repose sur trois piliers : informer (qui nous sommes, les critères de sélection, ce que les gens peuvent attendre), faire participer (consulter les communautés à chaque étape) et écouter et répondre (plaintes et retours).

2Le mécanisme de plaintes et retours

• Plusieurs canaux adaptés au contexte : ligne téléphonique gratuite, boîtes à suggestions, permanences, comités, agents de terrain. Ils doivent être accessibles aux femmes, aux enfants, aux personnes âgées et aux personnes handicapées.
• Catégories : demande d'information, suggestion, plainte sur la qualité de l'aide, plainte sensible.
• Plaintes sensibles (exploitation et abus sexuels, fraude, corruption) : circuit confidentiel séparé, transmis directement au point focal désigné, avec orientation de la victime vers les services de prise en charge. Jamais de traitement par l'équipe locale mise en cause.
• Délais de réponse connus de tous, et boucle fermée : la personne reçoit une réponse.
• Analyse régulière des tendances, présentée aux responsables pour corriger le programme.

3L'évaluation

Types d'évaluation : en temps réel (au début d'une urgence), à mi-parcours, finale, ex post (après la fin), d'impact. Elle peut être interne, externe ou mixte.

Les six critères du CAD de l'OCDE (révisés en 2019) :

1. Pertinence : l'intervention répond-elle aux besoins et priorités des personnes ?
2. Cohérence : s'articule-t-elle avec les autres interventions et les normes ?
3. Efficacité : atteint-elle ses objectifs ?
4. Efficience : les ressources sont-elles utilisées de façon économique et dans les délais ?
5. Impact : quels changements de long terme, positifs ou négatifs, voulus ou non ?
6. Durabilité : les bénéfices dureront-ils après la fin du financement ?

Les termes de référence (TDR) précisent le contexte, l'objet et l'usage de l'évaluation, les questions d'évaluation par critère, la méthode, le calendrier, les livrables, le profil de l'évaluateur et le budget. Après l'évaluation, une réponse de la direction indique pour chaque recommandation si elle est acceptée, par qui et quand elle sera mise en œuvre.

4Faire vivre l'apprentissage

• Revues après action (30 à 60 minutes, juste après une activité) : qu'avions-nous prévu ? que s'est-il passé ? pourquoi ? que ferons-nous autrement ?
• Revues trimestrielles du tableau de suivi avec toute l'équipe, y compris les partenaires.
• Capitalisation : fiches de leçons apprises courtes, partagées avec le cluster et les autres ONG.
• Restitution aux communautés : présenter les résultats aux personnes qui ont répondu aux enquêtes.

5Concevoir un mécanisme de plaintes et retours : la méthode complète

Un mécanisme de plaintes et retours (en anglais CFM ou FCRM) ne se décrète pas : il se conçoit avec les communautés, se dote de procédures écrites, de personnel et d'un budget, et se juge à sa capacité à produire des réponses et des changements. L'engagement 5 de la Norme humanitaire fondamentale et les engagements de l'IASC sur la redevabilité envers les populations affectées (révisés en 2017) en sont les références principales.

Étape 1 : consulter avant de concevoir

Organisez des groupes de discussion séparés (femmes, hommes, adolescentes, adolescents, personnes âgées, personnes handicapées, minorités) avec quatre questions : par quels moyens préférez-vous recevoir l'information ? à qui faites-vous confiance pour signaler un problème ? qu'est-ce qui vous empêcherait de vous plaindre ? comment souhaitez-vous recevoir une réponse ? Les réponses varient fortement : dans de nombreux contextes, les femmes ont un accès limité au téléphone et préfèrent parler à une femme en personne ; les jeunes préfèrent la messagerie ; les personnes âgées font confiance aux leaders, que les femmes ou les minorités peuvent au contraire craindre.

Étape 2 : choisir et combiner les canaux

Étape 3 : catégories et délais

Étape 4 : la base de données et la boucle

Chaque retour est enregistré dans une base avec : un code unique, la date, le canal, le lieu (au niveau du site ou du village seulement), le sexe et la tranche d'âge de la personne, le handicap si elle souhaite le préciser, la catégorie, le secteur, un résumé, la personne assignée, les actions, la date et le mode de réponse, la satisfaction quant à la réponse et la date de clôture. Les coordonnées de la personne sont stockées séparément et effacées après la clôture. Les plaintes sensibles ne figurent dans la base générale que sous forme d'un code et de la mention « transmise », sans aucun détail.

Une plainte n'est close que lorsque la personne a reçu une réponse, même si cette réponse est « nous ne pouvons pas vous inclure, voici pourquoi ». Un taux élevé de plaintes « traitées » sans réponse communiquée est le défaut le plus fréquent relevé par les évaluations de redevabilité.

6Les plaintes sensibles et la protection contre l'exploitation et les abus sexuels

Les plaintes relatives à l'exploitation et aux abus sexuels (EAS) par le personnel humanitaire sont les plus graves qu'un mécanisme puisse recevoir. Leur traitement obéit à des règles strictes, issues notamment des six principes fondamentaux de l'IASC relatifs à l'exploitation et aux abus sexuels (adoptés en 2002, révisés en 2019), de la circulaire du Secrétaire général des Nations unies de 2003 sur les dispositions spéciales visant à prévenir l'exploitation et les abus sexuels, et du guide de bonnes pratiques de l'IASC sur les mécanismes communautaires interorganisations de plaintes.

Les principes à appliquer

• Approche centrée sur la personne survivante : sécurité, confidentialité, respect de ses choix et non-discrimination. On ne lui demande pas de raconter plusieurs fois son histoire.
• Assistance d'abord : la personne est orientée immédiatement, avec son accord, vers les services disponibles (santé, soutien psychosocial, aide juridique, protection) selon le circuit d'orientation VBG établi dans la zone, que la plainte soit ou non confirmée par la suite.
• Confidentialité stricte : seul le point focal désigné et la fonction d'enquête connaissent l'identité des personnes. Aucune information ne circule par les canaux habituels.
• Pas d'enquête par l'équipe MEAL ou programme : le personnel qui reçoit la plainte enregistre les faits rapportés sans les investiguer, puis transmet. L'enquête est menée par des enquêteurs formés, selon la politique de l'organisation.
• Obligation de signalement : le personnel humanitaire est tenu de signaler toute suspicion par les voies prévues ; la loi du silence est elle-même une faute.
• Enfants : toute relation sexuelle avec une personne de moins de 18 ans est interdite quel que soit l'âge de la majorité ou du consentement local ; l'intérêt supérieur de l'enfant guide toutes les décisions, avec l'appui d'acteurs spécialisés en protection de l'enfance.

Le circuit type d'une plainte sensible

1. Réception par n'importe quel canal ou membre du personnel ; écoute sans questions intrusives ; information de la personne sur la suite.
2. Orientation immédiate vers l'assistance, avec consentement.
3. Transmission au point focal PSEA dans les 24 heures, par un canal sécurisé (jamais par messagerie de groupe ni par courriel en copie multiple).
4. Évaluation par le point focal et la direction : mesures de protection (y compris l'écartement temporaire de la personne mise en cause si nécessaire), information du siège, notification du bailleur selon les obligations contractuelles (la plupart des bailleurs exigent une notification rapide des allégations d'EAS, souvent dans des délais de quelques jours ; vérifier l'accord).
5. Enquête par une fonction indépendante formée.
6. Décision et mesures disciplinaires ; information de la personne plaignante sur l'issue, dans le respect de la confidentialité.
7. Analyse anonymisée des tendances pour renforcer la prévention.

Les erreurs graves à ne jamais commettre

• Confier la plainte au chef d'équipe local, qui peut être lié à la personne mise en cause.
• Organiser une confrontation ou une médiation entre la personne survivante et la personne mise en cause.
• Discuter de l'affaire en réunion communautaire ou d'équipe.
• Exiger des preuves avant d'orienter la personne vers l'assistance.
• Classer une plainte parce qu'elle est anonyme : elle peut déclencher une vérification discrète et un renforcement de la prévention.

Un mécanisme qui ne reçoit aucune plainte d'exploitation ou d'abus sexuels n'est pas un signe de bonne santé : dans la plupart des contextes, c'est le signe que les personnes ne connaissent pas les canaux ou ne leur font pas confiance.

7Exemple complet : analyser six mois de données de retours

Contexte fictif : le projet multisectoriel de l'ONG « Horizons Partagés » dans la province du Haut-Kessi a reçu 1 146 retours en six mois, pour environ 46 000 personnes concernées.

Répartition par catégorie et par canal

L'analyse

• Les demandes d'inclusion (28 %) dépassent le délai cible de 14 jours. L'analyse du contenu montre que 70 % proviennent des familles d'accueil, qui ne comprennent pas pourquoi elles ne sont pas éligibles aux transferts. C'est d'abord un problème d'information sur les critères, pas de traitement : le mécanisme révèle une faiblesse de communication du programme.
• Les femmes utilisent peu la ligne téléphonique (29 %) mais majoritairement les permanences (61 %). Supprimer les permanences pour réduire les coûts, comme cela avait été proposé, exclurait une grande partie des femmes.
• Une plainte sensible a été transmise en 4 jours au lieu de 24 heures, parce que l'assistant CFM ne savait pas joindre le point focal pendant un week-end. Mesure : numéro d'astreinte du point focal et suppléant désigné, connus de tout le personnel.
• Les boîtes reçoivent peu de messages et les réponses ne peuvent pas être communiquées. Mesure : les conserver dans deux sites où les comités le demandent, et les supprimer ailleurs.
• Le nombre total de retours (environ 2,5 pour 100 personnes concernées en six mois) indique un mécanisme connu et utilisé ; l'enquête de suivi mesure cependant que seules 49 % des femmes connaissent au moins un canal, contre 70 % des hommes.

Les décisions prises en comité de revue

La boucle est ensuite fermée au niveau collectif : lors des réunions communautaires du mois suivant, l'équipe présente ce qui a été entendu et ce qui change (« vous nous avez dit… nous avons fait… »). Cette restitution renforce la confiance et l'utilisation du mécanisme.

8Piloter une évaluation : des termes de référence au rapport final

Le professionnel MEAL est rarement l'évaluateur ; il est le plus souvent le gestionnaire de l'évaluation. C'est lui qui garantit que l'évaluation sera utile, crédible et éthique. Le guide d'ALNAP sur l'évaluation de l'action humanitaire (2016) et les normes et règles d'évaluation du Groupe des Nations unies pour l'évaluation (UNEG, 2016), ainsi que ses directives éthiques (2020), sont les références de base.

Les critères spécifiques à l'action humanitaire

En plus des six critères du CAD de l'OCDE, l'évaluation humanitaire utilise souvent des critères adaptés, issus des travaux d'ALNAP :

• Couverture : l'aide a-t-elle atteint les groupes qui en avaient besoin, proportionnellement à leurs besoins ? Qui a été exclu, et pourquoi ?
• Connexité : les activités d'urgence ont-elles été menées en tenant compte des problèmes à plus long terme et de leurs liens avec la suite ?
• Coordination : l'intervention a-t-elle été coordonnée avec les autres acteurs, et cette coordination a-t-elle amélioré la réponse ?
• Adéquation (appropriateness) : l'aide était-elle adaptée aux besoins et aux préférences locales, ce qui renforce la redevabilité ?

Le calendrier type d'une évaluation finale externe

La matrice d'évaluation : un exemple

Budget et qualité

Une évaluation finale externe d'un projet de taille moyenne mobilise couramment 25 à 40 jours de consultant, plus les frais de terrain, de traduction et d'atelier ; on rencontre souvent des budgets compris entre 1 et 3 % du budget total du projet, davantage pour les évaluations d'impact. La qualité se vérifie à quelques éléments simples : les conclusions découlent-elles clairement des constats, et les constats des données ? Les limites sont-elles explicites ? Les recommandations sont-elles peu nombreuses, hiérarchisées, adressées à un destinataire et réalisables ? Les voix des personnes affectées, y compris des groupes marginalisés, sont-elles présentes ?

Le gestionnaire d'évaluation protège l'indépendance de l'évaluateur : il peut demander la correction d'erreurs factuelles et de faiblesses méthodologiques, mais jamais la modification d'une conclusion parce qu'elle déplaît.

9De l'évaluation à l'apprentissage : réponse de la direction et adaptation

La réponse de la direction : un modèle

Une recommandation peut être rejetée, à condition que le rejet soit argumenté. Le suivi de la réponse de la direction, à 6 et 12 mois, est ce qui distingue une organisation apprenante d'une organisation qui commande des rapports.

Construire un programme d'apprentissage

• Questions d'apprentissage : 3 à 5 questions définies au démarrage, issues des hypothèses les plus incertaines de la théorie du changement (par exemple « les groupes de soutien incluant les grands-mères changent-ils davantage les pratiques d'alimentation que les groupes de mères seules ? »).
• Moments d'apprentissage planifiés : revues après action après chaque distribution importante, revues trimestrielles avec les partenaires, atelier de réflexion à mi-parcours, atelier de capitalisation en fin de projet.
• Gestion adaptative : chaque revue débouche sur des décisions consignées dans un registre ; les modifications importantes sont discutées avec le bailleur avec les données à l'appui.
• Partage externe : présentation des résultats au cluster, publication des évaluations (la plupart des grands bailleurs et réseaux encouragent la publication, par exemple dans la bibliothèque d'ALNAP), fiches de leçons apprises de deux pages.
• Culture de l'erreur : une équipe n'apprend que si l'on peut dire « cela n'a pas marché » sans être sanctionné. La direction donne l'exemple en présentant ses propres erreurs.

Variations selon le contexte

10Questions d'entretien et références clés

Questions d'entretien

1. « Comment savez-vous qu'un mécanisme de plaintes fonctionne ? »

Une bonne réponse cite des indicateurs précis : connaissance des canaux mesurée par enquête et désagrégée, nombre et profil des utilisateurs, délais de réponse, taux de boucles fermées, satisfaction quant à la réponse, et surtout des changements de programme documentés. Elle souligne qu'un mécanisme sans plaintes sensibles n'est pas forcément sain.

2. « Un bénéficiaire vous signale qu'un distributeur demande des faveurs sexuelles en échange de l'inscription. Que faites-vous dans l'heure qui suit ? »

Elle écoute sans investiguer, assure la sécurité et la confidentialité, propose l'orientation vers les services avec le consentement de la personne, transmet au point focal PSEA par un canal sécurisé dans les 24 heures au plus tard, n'en parle à personne d'autre, et ne contacte pas la personne mise en cause. Elle cite les principes de l'IASC et l'approche centrée sur la personne survivante.

3. « Rédigez trois questions d'évaluation pour un projet d'eau et d'assainissement. »

Elle formule des questions évaluatives (« dans quelle mesure… », « pour qui… », « pourquoi… »), rattachées à des critères (efficacité, durabilité, couverture), et précise les sources et méthodes. Elle évite les questions fermées ou purement descriptives.

4. « L'évaluateur conclut que votre projet a été peu efficace. La direction veut modifier le rapport. Que faites-vous ? »

Elle distingue les corrections factuelles et méthodologiques (légitimes) des modifications de conclusions (non acceptables), rappelle les normes d'indépendance de l'UNEG et d'ALNAP, et propose d'utiliser la réponse de la direction pour exprimer le désaccord argumenté de l'organisation.

5. « Donnez un exemple de leçon apprise qui a changé une pratique. »

Elle décrit un cas précis, comment la leçon a été identifiée (revue après action, évaluation, données de plaintes), comment elle a été diffusée et ce qui a concrètement changé, avec une preuve.

Références clés

• Norme humanitaire fondamentale (CHS), édition 2024, engagements 1, 5 et 7.
• Engagements de l'IASC sur la redevabilité envers les populations affectées et la protection contre l'exploitation et les abus sexuels (révisés en 2017) et cadre collectif sur l'AAP.
• Six principes fondamentaux de l'IASC relatifs à l'exploitation et aux abus sexuels (révisés en 2019) ; circulaire du Secrétaire général des Nations unies ST/SGB/2003/13.
• Best Practice Guide: Inter-Agency Community-Based Complaint Mechanisms : IASC (2016).
• Evaluation of Humanitarian Action Guide : ALNAP (2016).
• Normes et règles d'évaluation (2016) et directives éthiques (2020) : UNEG.
• Better Criteria for Better Evaluation : CAD de l'OCDE (2019).
• Lignes directrices des évaluations humanitaires interorganisations (IAHE) : IASC.