Indicadores e plano MEAL

1O que é um bom indicador?

Um indicador é uma medida que mostra se uma mudança está a ocorrer. Deve ser SMART: específico, mensurável, alcançável, relevante e temporalmente definido.

Fraco: «melhoria da higiene». SMART: «% de agregados familiares visados em que um membro cita pelo menos 3 dos 5 momentos-chave da lavagem das mãos, passando de 20 % para 60 % até dezembro de 2026».

• Quantitativos (número, %, média) e qualitativos (perceções, nível de satisfação, medidos através de escalas ou entrevistas).
• Desagregação: por sexo, idade e deficiência, no mínimo. Para a deficiência, a norma é o questionário curto do Washington Group (6 perguntas sobre as dificuldades funcionais).
• Indicadores padrão: utilize, tanto quanto possível, os do cluster, da Esfera ou do doador, para comparar e agregar.

2Valor de base, meta e ficha de referência

Cada indicador tem um valor de base (situação de partida, medida pelo estudo de base) e uma meta (valor pretendido numa data determinada). Sem valor de base, não se pode medir a mudança.

A ficha de referência de indicador (em inglês PIRS) evita que cada um meça à sua maneira. Especifica: a definição exata e os termos, o numerador e o denominador, a desagregação, o método e a ferramenta de recolha, a frequência, a pessoa responsável, o valor de base e a meta, e as limitações conhecidas.

3A tabela de monitorização dos indicadores

A tabela de monitorização (indicator tracking table, ITT) retoma todos os indicadores do quadro lógico com, para cada um, o valor de base, a meta, os valores alcançados por período e a percentagem de realização. Uma regra simples de leitura: verde acima de 90 % da meta prevista à data, laranja entre 70 e 90 %, vermelho abaixo. Cada desvio importante deve ter uma explicação e uma medida corretiva.

4O plano MEAL

O plano MEAL é o manual de utilização do sistema. Contém:

1. O quadro lógico e a lista dos indicadores com as respetivas fichas de referência.
2. O calendário: estudo de base, monitorizações mensais, monitorização pós-distribuição, revisões trimestrais, estudo final, avaliação.
3. As ferramentas: questionários, listas de verificação, formulários de queixas.
4. Os papéis: quem recolhe, quem verifica, quem analisa, quem decide.
5. O circuito dos dados: da recolha à base de dados e, depois, aos relatórios e às reuniões de decisão.
6. O mecanismo de queixas e feedback.
7. O orçamento e os recursos humanos MEAL.
8. As regras de proteção de dados.

5Escolher os indicadores: fontes padrão e limiares de referência

A primeira regra de um profissional MEAL é não inventar um indicador quando existe um indicador padrão. Os indicadores padrão têm definições comprovadas, métodos de medição documentados e limiares de interpretação reconhecidos; permitem comparar com outros projetos e alimentar os painéis de controlo dos clusters. As principais fontes são o manual Esfera, os quadros de monitorização dos clusters (frequentemente retomados no plano de resposta humanitária), o registo de indicadores humanitários gerido pelo OCHA, os indicadores-chave dos doadores (ECHO, BHA) e os módulos de inquérito padrão (por exemplo os do Programa Alimentar Mundial para a segurança alimentar ou os inquéritos nutricionais SMART).

Indicadores e limiares de referência frequentemente utilizados

Os limiares Esfera são indicadores-chave destinados a medir o cumprimento de uma norma, não normas absolutas. O manual pede que sejam adaptados ao contexto e que se documente o desvio e a sua razão quando não podem ser alcançados. Escrever num relatório «a norma Esfera não é alcançada porque... e eis o que estamos a fazer» é uma prática profissional; ignorar o desvio não o é.

Indicadores indiretos e indicadores qualitativos

Quando a mudança visada não é diretamente mensurável, utiliza-se um indicador indireto (proxy): a presença de sabão e de água no local de lavagem das mãos (observação) é um indicador mais fiável da prática do que a declaração do inquirido. As mudanças qualitativas (sentimento de segurança, confiança no mecanismo de reclamações, coesão social) medem-se por escalas (por exemplo uma escala de Likert de 1 a 5) com uma formulação estritamente idêntica entre a base e o fim, ou por métodos qualitativos estruturados cujos resultados são codificados.

Quantos indicadores?

Um projeto de 12 a 24 meses raramente ultrapassa 10 a 15 indicadores no quadro lógico. Cada indicador adicional tem um custo: recolha, verificação, análise, relatório. Para além disso, distinguem-se os indicadores do quadro lógico (responsabilização perante o doador) dos indicadores de gestão internos (monitorização das atividades, qualidade dos processos), que figuram apenas no plano MEAL.

6Contar as pessoas alcançadas: regras, desagregação e dupla contagem

«Quantas pessoas alcançou?» é a pergunta mais feita e a mais mal medida. Os números de pessoas alcançadas alimentam os painéis de controlo dos clusters e a monitorização do plano de resposta humanitária; erros repetidos distorcem a análise de cobertura de toda a resposta.

As definições a fixar antes de qualquer contagem

• Pessoa alcançada: uma pessoa que recebeu efetivamente pelo menos um bem ou um serviço do projeto, segundo a definição da atividade (um agregado familiar que recebe um kit conta pela sua dimensão real, estabelecida no registo, e não por uma dimensão média teórica).
• Pessoas únicas: cada pessoa é contada apenas uma vez, independentemente do número de serviços recebidos. Calculam-se a partir de uma base de dados com identificadores, nunca pela soma dos números de cada atividade.
• Beneficiários diretos e indiretos: os beneficiários indiretos (população de uma aldeia servida por um ponto de água reabilitado) devem ser estimados segundo um método escrito e apresentados separadamente.
• Alcançado e visado: o cluster e o doador comparam as pessoas alcançadas com as pessoas visadas pelo projeto; um desvio importante, para mais ou para menos, deve ser explicado.

Exemplo de cálculo das pessoas únicas

Cruzando os identificadores de agregado familiar na base, verifica-se que 950 agregados familiares receberam simultaneamente transferências e kits, e que 3 600 dos participantes nas sessões pertencem a agregados familiares já contados. O número de pessoas únicas é, portanto: 7 320 + 8 700 − (950 × dimensão média dos agregados familiares em causa, aqui 6,0, ou seja, 5 700) + (4 100 − 3 600) = 10 820 pessoas únicas. Anunciar 20 120 pessoas equivaleria a sobrestimar em 86 %. Os auditores e os responsáveis de cluster conhecem este erro e pedem o método de cálculo.

A desagregação na prática

A desagregação mínima esperada pelos doadores e pelos clusters é por sexo e por faixa etária, frequentemente 0-5 anos, 6-17 anos, 18-59 anos e 60 anos ou mais (as faixas exatas dependem do cluster e do doador: verificá-las antes de conceber os registos). A deficiência acrescenta-se de forma cada vez mais sistemática, medida com as perguntas do Grupo de Washington, em conformidade com as diretrizes do IASC sobre a inclusão das pessoas com deficiência na ação humanitária (2019).

• Quando apenas se conhece a dimensão do agregado familiar, a repartição por sexo e idade é estimada a partir das proporções do estudo de base ou dos dados demográficos oficiais; o método de estimativa deve estar escrito na ficha de referência.
• As perguntas do Grupo de Washington incidem sobre as dificuldades funcionais (ver, ouvir, andar, lembrar-se ou concentrar-se, cuidar de si, comunicar), nunca perguntando «é uma pessoa com deficiência?», o que subestima fortemente a prevalência.
• O questionário curto está validado para pessoas com 5 anos ou mais; para as crianças, recomenda-se o módulo sobre o funcionamento da criança desenvolvido com a UNICEF.
• Uma taxa de deficiência declarada muito inferior às estimativas mundiais (a OMS estima que cerca de 16 % da população mundial vive com uma deficiência significativa) deve levar a suspeitar de um problema de recolha ou de acesso.

7Exemplo completo: ficha de referência e tabela de monitorização de um projeto

Contexto fictício: projeto de segurança alimentar de 12 meses da ONG «Terres d'Avenir» na região de Moussoro-Nord, em benefício de 1 800 agregados familiares deslocados e de acolhimento, através de transferências monetárias mensais durante 6 meses e apoio aos meios de subsistência.

A ficha de referência do indicador de efeito principal

A tabela de monitorização no mês 6

A análise dos desvios que acompanha a tabela

• OE.1 (laranja): a desagregação mostra 58 % nos agregados familiares de acolhimento, mas 44 % nos agregados deslocados e 39 % nos agregados que incluem uma pessoa com deficiência. Os grupos focais indicam que os agregados deslocados destinam uma parte da transferência à renda, cujo preço aumentou 30 % em seis meses. Medidas propostas: partilhar a análise com o grupo de trabalho sobre transferências monetárias para rever o valor da transferência face ao cabaz mínimo de despesas, e examinar um complemento para os agregados que incluem uma pessoa com deficiência.
• R1.2 (laranja): dois ciclos foram atrasados por uma rutura de liquidez no prestador de pagamentos. Medida: cláusula de prazo de pagamento reforçada no contrato e prestador de recurso identificado.
• R2.1 (vermelho): atraso no aprovisionamento dos insumos agrícolas. Medida: passagem parcial para vales trocáveis junto de comerciantes locais, com o acordo do doador, e revisão da meta à data no próximo relatório.

Uma tabela de monitorização sem análise dos desvios só serve para reportar. É a coluna «explicação e medida corretiva», discutida em reunião e acompanhada na reunião seguinte, que a torna uma ferramenta de gestão.

Nota de método: para um indicador que deve descer (como o rCSI), a percentagem de realização não se calcula por simples divisão. Utiliza-se a parte da mudança esperada efetivamente obtida: (base − realizado) / (base − meta) = (21,4 − 13,1) / (21,4 − 14) = 112 %. Especificar esta regra no plano MEAL evita tabelas incoerentes de um relatório para outro.

8Redigir um plano MEAL operacional: modelo completo

O plano MEAL não é um documento de proposta: é o manual de funcionamento do sistema para a equipa. Deve ser curto (15 a 25 páginas, sem contar os anexos), conhecido pela equipa e revisto pelo menos uma vez por ano ou sempre que o projeto seja alterado.

Estrutura tipo

1. Introdução: resumo do projeto, objetivos do sistema MEAL, utilizadores dos dados (equipa, direção, parceiros, doador, comunidades, cluster).
2. Teoria da mudança e quadro lógico, com as perguntas de aprendizagem prioritárias (3 a 5 no máximo).
3. Matriz dos indicadores: para cada indicador, a definição, o método, a frequência, o responsável, a base e a meta; as fichas de referência completas em anexo.
4. Calendário MEAL: estudos, monitorizações, revisões, relatórios, avaliação.
5. Métodos e ferramentas: descrição de cada ferramenta e da sua utilização, amostragem para cada inquérito.
6. Circuito e gestão dos dados: do ponto de recolha à decisão, com os prazos.
7. Garantia de qualidade dos dados: controlos, verificações, auditorias de qualidade.
8. Responsabilização: informação, participação, mecanismo de reclamações e feedback, procedimento para as reclamações sensíveis.
9. Aprendizagem e utilização dos dados: reuniões de revisão, revisões pós-ação, capitalização, restituição às comunidades.
10. Funções e responsabilidades, incluindo as dos parceiros.
11. Proteção de dados e ética.
12. Orçamento e recursos MEAL.

Calendário MEAL tipo para um projeto de 12 meses

O circuito dos dados: um exemplo escrito

1. Dia D: distribuição; a equipa de programa regista os beneficiários no formulário digital (lista de distribuição assinada ou impressão digital).
2. D + 2: o oficial MEAL verifica 100 % das listas (duplicados, agregados familiares não registados, desvios em relação à lista validada) e confronta-as com as guias de entrega logísticas.
3. D + 5: os desvios são comunicados ao gestor de projeto, que os explica por escrito.
4. Dia 5 do mês seguinte: o oficial MEAL atualiza a base consolidada e a ITT.
5. Dia 10: o coordenador MEAL valida a ITT e redige uma nota de análise de uma página.
6. Dia 15: reunião mensal de revisão de programa e MEAL; as decisões são registadas num registo de ações com responsável e prazo.
7. Todos os trimestres: restituição simplificada aos comités comunitários.

Repartição indicativa de um orçamento MEAL

9Erros frequentes, expectativas dos doadores e variações de contexto

O que observam os doadores, os auditores e os avaliadores

• A rastreabilidade: para um número do relatório, consegue remontar até aos documentos-fonte (listas assinadas, formulários, base de dados)? As verificações dos doadores e as auditorias financeiras sorteiam frequentemente alguns números ao acaso e pedem a prova.
• A coerência entre os relatórios narrativos, financeiros e as tabelas de monitorização: o número de kits distribuídos deve corresponder às saídas de stock e às compras.
• A estabilidade das definições: um indicador cujo método muda entre a base e o fim já não mede uma mudança. Qualquer alteração deve ser documentada e, se possível, a base recalculada.
• A desagregação efetiva, e não apenas prometida.
• A explicação dos desvios: uma superação de 150 % de uma meta é tão suspeita como uma subexecução; sinaliza frequentemente uma meta mal calculada ou uma dupla contagem.
• A auditoria de qualidade dos dados: as normas de qualidade geralmente utilizadas (validade, integridade, precisão, fiabilidade, pontualidade) provêm nomeadamente das orientações da USAID, que preveem uma auditoria de qualidade dos dados pelo menos de três em três anos para os indicadores reportados. Muitas ONG aplicam-na anualmente aos seus indicadores-chave.

Erros frequentes

Variações consoante o contexto

• Emergência súbita: começar com 5 a 8 indicadores de produtos e de cobertura alinhados com o cluster, uma tabela de monitorização semanal, e acrescentar os indicadores de efeito na revisão do projeto. O relatório de situação do cluster (frequentemente semanal no início) é um utilizador prioritário dos dados.
• Crise prolongada: investir em indicadores de resiliência e de sustentabilidade (funcionalidade dos pontos de água 6 ou 12 meses após a reabilitação, rendimentos, poupança) e na comparabilidade entre projetos sucessivos.
• Campo: utilizar os dados de população da gestão de sítio como denominador, verificando a data da sua atualização.
• Meio urbano: os denominadores são incertos; preferir os indicadores medidos na amostra de beneficiários e explicar as estimativas de população.
• Gestão remota: reduzir o número de indicadores, privilegiar os que são verificáveis por meios independentes (chamadas de verificação, fotografias, dados de prestadores de pagamentos).
• Parceiros locais: harmonizar as fichas de referência com o parceiro desde o início, prever ferramentas na sua língua de trabalho e uma formação prática no preenchimento da ITT; não exigir mais indicadores do que os pedidos pelo doador.

10Perguntas de entrevista e referências-chave

Perguntas de entrevista

1. «Redija um indicador de efeito para um projeto de promoção da higiene e explique como o mediria.»

Uma boa resposta propõe um indicador de prática e não de conhecimento (por exemplo «% de agregados familiares que dispõem de um dispositivo de lavagem das mãos com água e sabão, observado pelo inquiridor»), indica o numerador e o denominador, o método (observação durante um inquérito aos agregados familiares por amostragem), a frequência (base e fim), a desagregação, e assinala os vieses (viés de declaração, efeito da observação).

2. «O seu projeto anuncia 25 000 beneficiários, o cluster registou 14 000. Como o explica?»

Evoca imediatamente a dupla contagem entre atividades, os beneficiários indiretos, as diferenças de definição entre a ONG e o cluster, e propõe recalcular as pessoas únicas a partir da base. Menciona a necessidade de alinhar as definições com as do cluster.

3. «Como fixa uma meta realista?»

Apoia-se na base, nas normas (Esfera, cluster), nos resultados de projetos comparáveis, nos recursos e na duração do projeto, e prevê uma revisão após o estudo de base. Sabe explicar a diferença entre meta anual e meta de fim de projeto, e entre indicadores cumulativos e não cumulativos.

4. «O que contém um plano MEAL, e como sabe que é utilizado?»

Enumera as principais componentes e, depois, insiste nas provas de utilização: atas de revisões com decisões, registo de ações, alterações do programa, restituição às comunidades.

5. «Como mede a deficiência nos seus inquéritos?»

Cita o questionário curto do Grupo de Washington, os seis domínios, o limiar de «muita dificuldade», a necessidade de formular as perguntas sobre as dificuldades funcionais e de formar os inquiridores, e as diretrizes do IASC sobre a inclusão das pessoas com deficiência.

Referências-chave

• Manual Esfera (2018) e os seus indicadores-chave por setor.
• Registo de indicadores humanitários: OCHA e clusters globais.
• Orientações técnicas sobre a pontuação de consumo alimentar, o índice reduzido de estratégias de sobrevivência e a abordagem CARI: Programa Alimentar Mundial.
• Manual da metodologia SMART e orientações do cluster global de nutrição.
• Questionário curto do Grupo de Washington e módulo sobre o funcionamento da criança (Grupo de Washington e UNICEF).
• IASC Guidelines on Inclusion of Persons with Disabilities in Humanitarian Action (2019).
• Orientações da USAID sobre as normas de qualidade dos dados e as fichas de referência dos indicadores (ADS 201).
• Manual de indicadores do BHA; indicadores-chave de resultados da ECHO.