Responsabilização, avaliação e aprendizagem

1A responsabilização perante as populações

A responsabilização perante as populações afetadas (AAP) assenta em três pilares: informar (quem somos, os critérios de seleção, o que as pessoas podem esperar), fazer participar (consultar as comunidades em cada etapa) e ouvir e responder (queixas e feedback).

2O mecanismo de queixas e feedback

• Vários canais adaptados ao contexto: linha telefónica gratuita, caixas de sugestões, atendimentos presenciais, comités, agentes de terreno. Devem ser acessíveis às mulheres, às crianças, às pessoas idosas e às pessoas com deficiência.
• Categorias: pedido de informação, sugestão, queixa sobre a qualidade da ajuda, queixa sensível.
• Queixas sensíveis (exploração e abuso sexuais, fraude, corrupção): circuito confidencial separado, transmitido diretamente ao ponto focal designado, com encaminhamento da vítima para os serviços de assistência. Nunca tratadas pela equipa local implicada.
• Prazos de resposta conhecidos de todos, e circuito fechado: a pessoa recebe uma resposta.
• Análise regular das tendências, apresentada aos responsáveis para corrigir o programa.

3A avaliação

Tipos de avaliação: em tempo real (no início de uma emergência), intercalar, final, ex post (depois do fim), de impacto. Pode ser interna, externa ou mista.

Os seis critérios do CAD da OCDE (revistos em 2019):

1. Pertinência: a intervenção responde às necessidades e prioridades das pessoas?
2. Coerência: articula-se com as outras intervenções e com as normas?
3. Eficácia: alcança os seus objetivos?
4. Eficiência: os recursos são utilizados de forma económica e dentro dos prazos?
5. Impacto: que mudanças a longo prazo, positivas ou negativas, intencionais ou não?
6. Sustentabilidade: os benefícios vão durar depois do fim do financiamento?

Os termos de referência (TdR) especificam o contexto, o objeto e a utilização da avaliação, as perguntas de avaliação por critério, o método, o calendário, os produtos a entregar, o perfil do avaliador e o orçamento. Após a avaliação, uma resposta da direção indica, para cada recomendação, se é aceite, por quem e quando será implementada.

4Dar vida à aprendizagem

• Revisões pós-ação (30 a 60 minutos, logo após uma atividade): o que tínhamos previsto? o que aconteceu? porquê? o que faremos de outra forma?
• Revisões trimestrais da tabela de monitorização com toda a equipa, incluindo os parceiros.
• Capitalização: fichas curtas de lições aprendidas, partilhadas com o cluster e as outras ONG.
• Devolução às comunidades: apresentar os resultados às pessoas que responderam aos inquéritos.

5Conceber um mecanismo de reclamações e feedback: o método completo

Um mecanismo de reclamações e feedback (em inglês CFM ou FCRM) não se decreta: concebe-se com as comunidades, dota-se de procedimentos escritos, de pessoal e de um orçamento, e avalia-se pela sua capacidade de produzir respostas e mudanças. O compromisso 5 da Norma Humanitária Fundamental e os compromissos do IASC sobre a responsabilização perante as populações afetadas (revistos em 2017) são as suas principais referências.

Etapa 1: consultar antes de conceber

Organize grupos focais separados (mulheres, homens, raparigas adolescentes, rapazes adolescentes, pessoas idosas, pessoas com deficiência, minorias) com quatro perguntas: por que meios prefere receber a informação? em quem confia para assinalar um problema? o que o impediria de apresentar uma reclamação? como deseja receber uma resposta? As respostas variam muito: em muitos contextos, as mulheres têm um acesso limitado ao telefone e preferem falar pessoalmente com uma mulher; os jovens preferem as mensagens; as pessoas idosas confiam nos líderes, que as mulheres ou as minorias podem, pelo contrário, temer.

Etapa 2: escolher e combinar os canais

Etapa 3: categorias e prazos

Etapa 4: a base de dados e o ciclo

Cada feedback é registado numa base com: um código único, a data, o canal, o local (apenas ao nível do sítio ou da aldeia), o sexo e a faixa etária da pessoa, a deficiência se a pessoa a quiser indicar, a categoria, o setor, um resumo, a pessoa atribuída, as ações, a data e o modo de resposta, a satisfação com a resposta e a data de encerramento. Os contactos da pessoa são armazenados separadamente e apagados após o encerramento. As reclamações sensíveis só figuram na base geral sob a forma de um código e da menção «transmitida», sem qualquer pormenor.

Uma reclamação só está encerrada quando a pessoa recebeu uma resposta, mesmo que essa resposta seja «não podemos incluí-lo, eis porquê». Uma taxa elevada de reclamações «tratadas» sem resposta comunicada é a falha mais frequente identificada pelas avaliações de responsabilização.

6As reclamações sensíveis e a proteção contra a exploração e o abuso sexuais

As reclamações relativas à exploração e ao abuso sexuais (EAS) pelo pessoal humanitário são as mais graves que um mecanismo pode receber. O seu tratamento obedece a regras estritas, decorrentes nomeadamente dos seis princípios fundamentais do IASC relativos à exploração e ao abuso sexuais (adotados em 2002, revistos em 2019), do boletim do Secretário-Geral das Nações Unidas de 2003 sobre as medidas especiais de proteção contra a exploração e o abuso sexuais, e do guia de boas práticas do IASC sobre os mecanismos comunitários interagências de reclamação.

Os princípios a aplicar

• Abordagem centrada na pessoa sobrevivente: segurança, confidencialidade, respeito pelas suas escolhas e não discriminação. Não se lhe pede que conte várias vezes a sua história.
• Assistência em primeiro lugar: a pessoa é encaminhada imediatamente, com o seu acordo, para os serviços disponíveis (saúde, apoio psicossocial, assistência jurídica, proteção) segundo o circuito de encaminhamento VBG estabelecido na zona, quer a reclamação venha ou não a ser confirmada posteriormente.
• Confidencialidade estrita: apenas o ponto focal designado e a função de investigação conhecem a identidade das pessoas. Nenhuma informação circula pelos canais habituais.
• Nenhuma investigação pela equipa MEAL ou de programa: o pessoal que recebe a reclamação regista os factos relatados sem os investigar e, depois, transmite. A investigação é conduzida por investigadores formados, segundo a política da organização.
• Obrigação de denúncia: o pessoal humanitário é obrigado a comunicar qualquer suspeita pelas vias previstas; a lei do silêncio é ela própria uma falta.
• Crianças: qualquer relação sexual com uma pessoa com menos de 18 anos é proibida, independentemente da idade da maioridade ou do consentimento a nível local; o superior interesse da criança orienta todas as decisões, com o apoio de atores especializados em proteção da criança.

O circuito tipo de uma reclamação sensível

1. Receção por qualquer canal ou membro do pessoal; escuta sem perguntas intrusivas; informação da pessoa sobre os passos seguintes.
2. Encaminhamento imediato para a assistência, com consentimento.
3. Transmissão ao ponto focal PSEA no prazo de 24 horas, por um canal seguro (nunca por mensagens de grupo nem por correio eletrónico com cópia múltipla).
4. Avaliação pelo ponto focal e pela direção: medidas de proteção (incluindo o afastamento temporário da pessoa visada, se necessário), informação da sede, notificação do doador segundo as obrigações contratuais (a maioria dos doadores exige uma notificação rápida das alegações de EAS, frequentemente em prazos de poucos dias; verificar o acordo).
5. Investigação por uma função independente formada.
6. Decisão e medidas disciplinares; informação da pessoa queixosa sobre o desfecho, no respeito pela confidencialidade.
7. Análise anonimizada das tendências para reforçar a prevenção.

Os erros graves a nunca cometer

• Confiar a reclamação ao chefe de equipa local, que pode estar ligado à pessoa visada.
• Organizar uma confrontação ou uma mediação entre a pessoa sobrevivente e a pessoa visada.
• Discutir o caso numa reunião comunitária ou de equipa.
• Exigir provas antes de encaminhar a pessoa para a assistência.
• Arquivar uma reclamação por ser anónima: pode desencadear uma verificação discreta e um reforço da prevenção.

Um mecanismo que não recebe nenhuma reclamação de exploração ou abuso sexuais não é sinal de boa saúde: na maioria dos contextos, é sinal de que as pessoas não conhecem os canais ou não confiam neles.

7Exemplo completo: analisar seis meses de dados de feedback

Contexto fictício: o projeto multissetorial da ONG «Horizons Partagés» na província do Haut-Kessi recebeu 1 146 feedbacks em seis meses, para cerca de 46 000 pessoas abrangidas.

Repartição por categoria e por canal

A análise

• Os pedidos de inclusão (28 %) ultrapassam o prazo-alvo de 14 dias. A análise do conteúdo mostra que 70 % provêm das famílias de acolhimento, que não compreendem porque não são elegíveis para as transferências. Trata-se, antes de mais, de um problema de informação sobre os critérios, e não de tratamento: o mecanismo revela uma fragilidade de comunicação do programa.
• As mulheres utilizam pouco a linha telefónica (29 %), mas sobretudo os atendimentos presenciais (61 %). Suprimir os atendimentos presenciais para reduzir custos, como tinha sido proposto, excluiria uma grande parte das mulheres.
• Uma reclamação sensível foi transmitida em 4 dias em vez de 24 horas, porque o assistente CFM não sabia como contactar o ponto focal durante um fim de semana. Medida: número de permanência do ponto focal e suplente designado, conhecidos de todo o pessoal.
• As caixas recebem poucas mensagens e as respostas não podem ser comunicadas. Medida: mantê-las em dois sítios onde os comités o pedem, e retirá-las nos restantes.
• O número total de feedbacks (cerca de 2,5 por 100 pessoas abrangidas em seis meses) indica um mecanismo conhecido e utilizado; o inquérito de monitorização mede, no entanto, que apenas 49 % das mulheres conhecem pelo menos um canal, contra 70 % dos homens.

As decisões tomadas no comité de revisão

O ciclo é depois fechado a nível coletivo: nas reuniões comunitárias do mês seguinte, a equipa apresenta o que foi ouvido e o que muda («disseram-nos… nós fizemos…»). Esta restituição reforça a confiança e a utilização do mecanismo.

8Gerir uma avaliação: dos termos de referência ao relatório final

O profissional MEAL raramente é o avaliador; é, na maioria das vezes, o gestor da avaliação. É ele quem garante que a avaliação será útil, credível e ética. O guia da ALNAP sobre a avaliação da ação humanitária (2016) e as normas e padrões de avaliação do Grupo de Avaliação das Nações Unidas (UNEG, 2016), bem como as suas diretrizes éticas (2020), são as referências de base.

Os critérios específicos da ação humanitária

Para além dos seis critérios do CAD da OCDE, a avaliação humanitária utiliza frequentemente critérios adaptados, decorrentes dos trabalhos da ALNAP:

• Cobertura: a ajuda chegou aos grupos que dela necessitavam, proporcionalmente às suas necessidades? Quem foi excluído, e porquê?
• Conectividade: as atividades de emergência foram realizadas tendo em conta os problemas de mais longo prazo e as suas ligações com a fase seguinte?
• Coordenação: a intervenção foi coordenada com os outros atores, e essa coordenação melhorou a resposta?
• Adequação (appropriateness): a ajuda estava adaptada às necessidades e às preferências locais, o que reforça a responsabilização?

O calendário tipo de uma avaliação final externa

A matriz de avaliação: um exemplo

Orçamento e qualidade

Uma avaliação final externa de um projeto de dimensão média mobiliza habitualmente 25 a 40 dias de consultor, mais as despesas de terreno, de tradução e de workshop; encontram-se frequentemente orçamentos entre 1 e 3 % do orçamento total do projeto, mais para as avaliações de impacto. A qualidade verifica-se por alguns elementos simples: as conclusões decorrem claramente das constatações, e as constatações dos dados? As limitações são explícitas? As recomendações são pouco numerosas, hierarquizadas, dirigidas a um destinatário e exequíveis? As vozes das pessoas afetadas, incluindo dos grupos marginalizados, estão presentes?

O gestor da avaliação protege a independência do avaliador: pode pedir a correção de erros factuais e de fragilidades metodológicas, mas nunca a alteração de uma conclusão por esta desagradar.

9Da avaliação à aprendizagem: resposta da direção e adaptação

A resposta da direção: um modelo

Uma recomendação pode ser rejeitada, desde que a rejeição seja fundamentada. O acompanhamento da resposta da direção, aos 6 e aos 12 meses, é o que distingue uma organização que aprende de uma organização que encomenda relatórios.

Construir um programa de aprendizagem

• Perguntas de aprendizagem: 3 a 5 perguntas definidas no arranque, decorrentes dos pressupostos mais incertos da teoria da mudança (por exemplo «os grupos de apoio que incluem as avós mudam mais as práticas de alimentação do que os grupos apenas de mães?»).
• Momentos de aprendizagem planeados: revisões pós-ação após cada distribuição importante, revisões trimestrais com os parceiros, workshop de reflexão a meio do projeto, workshop de capitalização no fim do projeto.
• Gestão adaptativa: cada revisão resulta em decisões registadas num registo; as alterações importantes são discutidas com o doador com base nos dados.
• Partilha externa: apresentação dos resultados ao cluster, publicação das avaliações (a maioria dos grandes doadores e redes incentiva a publicação, por exemplo na biblioteca da ALNAP), fichas de lições aprendidas de duas páginas.
• Cultura do erro: uma equipa só aprende se puder dizer «isto não funcionou» sem ser sancionada. A direção dá o exemplo apresentando os seus próprios erros.

Variações consoante o contexto

10Perguntas de entrevista e referências-chave

Perguntas de entrevista

1. «Como sabe que um mecanismo de reclamações funciona?»

Uma boa resposta cita indicadores precisos: conhecimento dos canais medido por inquérito e desagregado, número e perfil dos utilizadores, prazos de resposta, taxa de ciclos fechados, satisfação com a resposta e, sobretudo, alterações de programa documentadas. Sublinha que um mecanismo sem reclamações sensíveis não é necessariamente saudável.

2. «Um beneficiário informa-o de que um distribuidor pede favores sexuais em troca da inscrição. O que faz na hora seguinte?»

Escuta sem investigar, garante a segurança e a confidencialidade, propõe o encaminhamento para os serviços com o consentimento da pessoa, transmite ao ponto focal PSEA por um canal seguro no prazo máximo de 24 horas, não fala do assunto com mais ninguém e não contacta a pessoa visada. Cita os princípios do IASC e a abordagem centrada na pessoa sobrevivente.

3. «Redija três perguntas de avaliação para um projeto de água e saneamento.»

Formula perguntas avaliativas («em que medida…», «para quem…», «porquê…»), associadas a critérios (eficácia, sustentabilidade, cobertura), e especifica as fontes e os métodos. Evita as perguntas fechadas ou puramente descritivas.

4. «O avaliador conclui que o seu projeto foi pouco eficaz. A direção quer alterar o relatório. O que faz?»

Distingue as correções factuais e metodológicas (legítimas) das alterações de conclusões (não aceitáveis), lembra as normas de independência do UNEG e da ALNAP, e propõe utilizar a resposta da direção para exprimir o desacordo fundamentado da organização.

5. «Dê um exemplo de uma lição aprendida que mudou uma prática.»

Descreve um caso preciso, como a lição foi identificada (revisão pós-ação, avaliação, dados de reclamações), como foi divulgada e o que mudou concretamente, com uma prova.

Referências-chave

• Norma Humanitária Fundamental (CHS), edição de 2024, compromissos 1, 5 e 7.
• Compromissos do IASC sobre a responsabilização perante as populações afetadas e a proteção contra a exploração e o abuso sexuais (revistos em 2017) e quadro coletivo sobre a AAP.
• Seis princípios fundamentais do IASC relativos à exploração e ao abuso sexuais (revistos em 2019); boletim do Secretário-Geral das Nações Unidas ST/SGB/2003/13.
• Best Practice Guide: Inter-Agency Community-Based Complaint Mechanisms: IASC (2016).
• Evaluation of Humanitarian Action Guide: ALNAP (2016).
• Normas e padrões de avaliação (2016) e diretrizes éticas (2020): UNEG.
• Better Criteria for Better Evaluation: CAD da OCDE (2019).
• Diretrizes das avaliações humanitárias interagências (IAHE): IASC.