Recolha, qualidade e análise de dados

1Métodos de recolha

• Quantitativos: inquéritos aos agregados familiares, contagens, registos de distribuição, dados de saúde. Dizem «quantos».
• Qualitativos: grupos focais (6 a 10 pessoas homogéneas, por sexo e por idade), entrevistas a informadores-chave, observação direta, estudos de caso. Dizem «porquê» e «como».
• Métodos mistos: a combinação dos dois e a triangulação (comparar várias fontes) reforçam a fiabilidade das conclusões.

Ferramentas digitais comuns: KoboToolbox e ODK (formulários no telemóvel, funcionam sem ligação), e depois Excel, Power BI ou R para a análise.

2A amostragem

Raramente se inquire toda a população: retira-se uma amostra representativa.

Dimensão da amostra para uma proporção: n = z² × p × (1 − p) / e². Com um nível de confiança de 95 % (z = 1,96), uma proporção desconhecida (p = 0,5) e uma margem de erro de 5 % (e = 0,05): n = 3,8416 × 0,25 / 0,0025 ≈ 384 agregados familiares.

• Se a população for pequena, aplica-se a correção: n' = n / (1 + (n − 1) / N). Para N = 1 000 agregados familiares, n' ≈ 278.
• Na amostragem por conglomerados (aldeias sorteadas), multiplica-se pelo efeito de desenho, muitas vezes 1,5 a 2.
• Acrescenta-se 5 a 10 % para as recusas e as ausências.
• Métodos: aleatória simples (lista completa), sistemática (um agregado em cada k), estratificada (por zona ou por grupo), por conglomerados. Para o qualitativo, escolhem-se os participantes de forma intencional.

3A qualidade dos dados

Cinco critérios: validade (mede-se de facto o que se pretende), fiabilidade (mesmo resultado se se repetir), precisão, pontualidade e integridade (sem manipulação).

• Formar e testar os inquiridores, fazer um pré-teste do questionário.
• Restrições e controlos no formulário digital (valores impossíveis, campos obrigatórios).
• Supervisão e revisitas a uma amostra de agregados familiares (backcheck).
• Auditorias da qualidade dos dados (DQA) para os indicadores-chave.

4Analisar e utilizar os dados

Uma análise útil responde a uma pergunta de decisão. Compare com o valor de base e a meta, desagregue (mulheres, homens, raparigas, rapazes, pessoas com deficiência, zonas), procure os desvios e as suas causas com os dados qualitativos.

A monitorização pós-distribuição (PDM) verifica, algumas semanas após uma distribuição, se a ajuda chegou, como foi utilizada e se correspondia às necessidades. Apresente os resultados numa página, com gráficos simples e 3 recomendações, numa reunião em que a equipa decide as correções.

5Conceber um questionário e um formulário digital: o método passo a passo

Um questionário constrói-se a partir dos indicadores e das perguntas de análise, nunca a partir de uma página em branco ou de um questionário antigo copiado. A maioria dos problemas de qualidade constatados na análise (perguntas ambíguas, unidades incoerentes, módulos impossíveis de explorar) provém desta etapa.

As etapas

1. Elaborar a matriz de análise: para cada indicador e cada pergunta de aprendizagem, listar as variáveis necessárias, a desagregação e a tabela final esperada. Qualquer pergunta do formulário que não alimente nenhuma linha desta matriz é suprimida.
2. Retomar os módulos padrão: pontuação de consumo alimentar, índice reduzido de estratégias de sobrevivência, perguntas do Grupo de Washington, módulos de acesso à água e ao saneamento do Programa Conjunto de Monitorização OMS e UNICEF. Retomá-los palavra por palavra, com os seus períodos de recordação (7 dias para a FCS e o rCSI, por exemplo).
3. Ordenar: consentimento, identificação mínima, composição do agregado familiar, módulos menos sensíveis primeiro, módulos sensíveis no fim, agradecimentos e informação sobre o mecanismo de reclamações.
4. Limitar a duração: para além de 45 minutos, o cansaço do inquirido e do inquiridor degrada fortemente a qualidade. Para um inquérito telefónico, visar 15 a 20 minutos no máximo.
5. Traduzir e retrotraduzir: uma pessoa traduz para a língua local, outra, que não viu o original, volta a traduzir para a língua de partida; os desvios revelam as ambiguidades. Os termos-chave (agregado familiar, rendimento, latrina melhorada) são definidos num glossário entregue aos inquiridores.
6. Programar o formulário (formato XLSForm, utilizado pelo KoboToolbox e pelo ODK): restrições (idade entre 0 e 120, dimensão do agregado familiar entre 1 e 30), relevâncias (o módulo sobre a amamentação só aparece se houver uma criança com menos de 2 anos), campos obrigatórios, listas de escolha em vez de texto livre, registo automático da hora de início e de fim, do identificador do aparelho e, se não houver risco, da posição GPS.
7. Testar internamente e, depois, fazer um pré-teste junto de 10 a 20 agregados familiares fora da amostra, numa zona comparável. Medir a duração, anotar as perguntas mal compreendidas, as recusas, as respostas «não sabe» numerosas.
8. Congelar a versão, numerá-la e arquivá-la com a matriz de análise. Qualquer alteração posterior é registada.

Formulação das perguntas: erros clássicos

Os dados sobre a violência baseada no género não se recolhem num inquérito geral aos agregados familiares. As orientações do IASC e da área de responsabilidade VBG lembram que não é necessário conhecer a prevalência para agir: parte-se do princípio de que a violência existe e verifica-se a disponibilidade e a acessibilidade dos serviços.

A formação dos inquiridores

Conte com 3 a 5 dias para um inquérito completo aos agregados familiares: apresentação dos objetivos, ética e consentimento, código de conduta e proteção contra a exploração e o abuso sexuais, leitura pergunta a pergunta, simulações, manuseamento dos telemóveis, procedimento de seleção dos agregados familiares, dia-piloto no terreno seguido de um debriefing. Um teste final permite reter apenas os melhores candidatos; preveja 10 a 20 % de pessoas formadas a mais do que as necessárias.

6Amostragem avançada: conglomerados, probabilidade proporcional ao tamanho e comparação de dois inquéritos

A fórmula de base vista no curso principal dá a dimensão da amostra para estimar uma proporção num dado momento. Na prática, duas situações exigem ir mais longe: a amostragem por conglomerados, quase sempre necessária em meio rural na falta de uma lista completa dos agregados familiares, e a comparação entre uma base e um fim de projeto.

O efeito de desenho calculado

Em vez de aplicar um efeito de desenho fixo, pode estimar-se: efeito de desenho = 1 + (m − 1) × CCI, em que m é o número de agregados familiares inquiridos por conglomerado e CCI o coeficiente de correlação intraconglomerado (a semelhança dos agregados de uma mesma aldeia quanto ao indicador). O CCI varia frequentemente entre 0,01 e 0,1 para os indicadores de agregado familiar; é elevado para o acesso à água (toda a aldeia partilha o mesmo ponto de água), mais baixo para práticas individuais. Com m = 12 e um CCI de 0,05: efeito de desenho = 1 + 11 × 0,05 = 1,55. Com m = 30: 2,45. Daí a regra prática: mais conglomerados com menos agregados familiares por conglomerado dá uma melhor precisão para o mesmo número de entrevistas, mas custa mais em deslocações.

Dimensão da amostra para medir uma mudança

Para verificar que um indicador mudou realmente entre a base e o fim, a fórmula passa a ser:

n por inquérito = (zα + zβ)² × [p1 (1 − p1) + p2 (1 − p2)] / (p2 − p1)², com zα = 1,96 para um nível de confiança de 95 % e zβ = 0,84 para uma potência de 80 %.

Exemplo: o indicador vale 34 % na base e espera-se 50 % no fim. n = (2,80)² × [0,34 × 0,66 + 0,50 × 0,50] / (0,16)² = 7,84 × 0,4744 / 0,0256 ≈ 146 agregados familiares por inquérito. Com o efeito de desenho de 1,55: 227. Prevendo 10 % de não-resposta (divide-se por 0,9): 253. Com 12 agregados familiares por conglomerado: 21,1, arredondado para 22 conglomerados de 12 agregados familiares, ou seja, 264 agregados familiares na base e outros tantos no fim. Nota: quanto menor for a mudança esperada, mais depressa a amostra cresce; para detetar uma passagem de 34 % para 40 %, seriam necessários mais de 1 000 agregados familiares por inquérito antes do efeito de desenho.

A seleção dos conglomerados com probabilidade proporcional ao tamanho

Quando as aldeias têm dimensões diferentes, os conglomerados são selecionados com uma probabilidade proporcional ao seu tamanho (PPT) e, depois, o mesmo número de agregados familiares em cada conglomerado. Cada agregado familiar da zona tem assim a mesma probabilidade de ser inquirido.

1. Listar as aldeias com a sua população (ou número de agregados familiares) e calcular a população acumulada.
2. Calcular o intervalo de amostragem: população total / número de conglomerados. Para 6 000 agregados familiares e 22 conglomerados: 272,7.
3. Sortear um número aleatório entre 1 e 272,7, por exemplo 118. Os conglomerados correspondem às aldeias cuja população acumulada contém 118; 118 + 272,7 = 390,7; 663,4; e assim sucessivamente.
4. Uma aldeia grande pode ser selecionada duas vezes: contém então dois conglomerados.
5. Em cada conglomerado, selecionar os agregados familiares por sorteio a partir de uma lista recente, se existir, ou, caso contrário, por segmentação da aldeia ou pelo método do percurso aleatório, sabendo que este último introduz vieses e deve ser descrito nas limitações.

A amostragem estratificada e a ponderação

Se se pretendem resultados fiáveis separadamente para os deslocados e para a população de acolhimento, estratifica-se e calcula-se uma amostra para cada estrato. A amostra deixa então de ser proporcional à população e os resultados globais devem ser ponderados. Exemplo: 1 800 agregados familiares deslocados (30 %) e 4 200 agregados de acolhimento (70 %), 132 agregados inquiridos em cada estrato. Resultado: 44 % de FCS aceitável nos deslocados, 58 % na população de acolhimento. A média não ponderada (51 %) está errada; a média ponderada é 0,30 × 44 + 0,70 × 58 = 53,8 %. Os pesos por agregado familiar são iguais à parte do estrato na população dividida pela sua parte na amostra: 0,6 para os deslocados e 1,4 para a população de acolhimento.

A amostragem qualitativa

Os métodos qualitativos não procuram a representatividade estatística, mas a diversidade dos pontos de vista e a saturação (o momento em que novas entrevistas já não trazem informação nova). Referências práticas: 2 a 4 grupos focais por subgrupo de população importante (mulheres deslocadas, homens deslocados, mulheres de acolhimento, jovens, pessoas com deficiência…), 8 a 15 entrevistas com informadores-chave escolhidos pela sua posição (autoridades, líderes religiosos, profissionais de saúde, comerciantes, professores), e alguns estudos de caso para ilustrar trajetórias.

7Exemplo completo: organizar o estudo final de um projeto

Contexto fictício: o estudo final do projeto de segurança alimentar da ONG «Terres d'Avenir» deve inquirir 264 agregados familiares em 22 conglomerados da região de Moussoro-Nord, com um questionário de 40 minutos, e realizar 8 grupos focais e 10 entrevistas com informadores-chave.

Cálculo da produtividade e da duração

• Um inquiridor realiza 5 entrevistas por dia em meio rural (40 minutos cada, mais o tempo de seleção dos agregados familiares, de deslocação entre eles e de pausa).
• Com 12 inquiridores, a capacidade é de 60 entrevistas por dia, ou seja, 264 / 60 = 4,4 dias, arredondados para 5 dias de recolha, mais 1 dia de reserva para os regressos e os agregados ausentes.
• Organização em equipas de 4 inquiridores e 1 supervisor; cada equipa cobre cerca de 1,5 conglomerados por dia.
• Composição: 6 inquiridoras e 6 inquiridores, para que as mulheres possam ser entrevistadas por mulheres; todas e todos falam as duas línguas principais da zona.

Cronograma

Orçamento do estudo

O custo por agregado familiar inquirido (cerca de 25 EUR para a parte quantitativa) é uma referência útil para orçamentar os estudos seguintes; duplica ou triplica nas zonas de acesso difícil ou quando são necessárias escoltas ou voos.

Resultado e interpretação

O estudo final mede 52 % de agregados familiares com uma FCS aceitável (base 34 %). Cálculo do intervalo de confiança: erro-padrão simples = raiz de (0,52 × 0,48 / 264) = 0,0307; multiplicado pela raiz do efeito de desenho (raiz de 1,55 = 1,245): 0,0383; intervalo a 95 % = 52 % ± 1,96 × 3,83 = 44,5 % a 59,5 %. A base (34 %, intervalo de cerca de 27 % a 41 %) e o fim não se sobrepõem: a mudança é estatisticamente significativa. Em contrapartida, a meta de 50 % está dentro do intervalo: pode dizer-se que a meta foi alcançada, mas é preciso indicar o intervalo e lembrar que o estudo final teve lugar após a colheita, o que contribui para a melhoria. Os dados do sistema de vigilância regional mostram uma melhoria de 8 pontos nas zonas não abrangidas pelo projeto no mesmo período, o que sugere que uma parte da mudança é sazonal: a honestidade sobre este ponto reforça a credibilidade do relatório.

8Controlar a qualidade durante e após a recolha

A qualidade dos dados controla-se continuamente durante a recolha, e não depois de terminado o inquérito, quando já é tarde demais para voltar ao terreno.

Os controlos diários de alta frequência

Todas as noites, o oficial MEAL descarrega os dados do dia e aplica uma série de controlos, idealmente automatizados num script ou numa folha de cálculo preparada antecipadamente:

As revisitas

Um supervisor ou uma equipa independente revisita cerca de 10 % dos agregados familiares (pelo menos alguns por inquiridor), escolhidos ao acaso e prioritariamente entre as entrevistas assinaladas pelos controlos. Faz 5 a 10 perguntas cuja resposta não deveria mudar (dimensão do agregado familiar, fonte de água, receção da ajuda). Uma taxa de discordância elevada num inquiridor leva a refazer as suas entrevistas e, em caso de falsificação comprovada, à cessação do seu contrato.

A limpeza dos dados

1. Conservar uma cópia dos dados brutos intactos, nunca modificada.
2. Manter um registo de limpeza: cada alteração (identificador, variável, valor antigo, valor novo, razão, autor, data) é registada. Um avaliador ou um auditor deve poder refazer o percurso.
3. Tratar os valores em falta, as incoerências e os valores atípicos segundo regras escritas antecipadamente, e não caso a caso em função do resultado desejado.
4. Recodificar as respostas «outro, especifique» que surgem com frequência.
5. Calcular os indicadores compostos (FCS, rCSI) segundo os métodos padrão, e verificar as suas distribuições.

A auditoria de qualidade dos dados

Para os indicadores reportados ao doador, uma auditoria de qualidade verifica, numa amostra de locais e de períodos, que o número reportado corresponde às fontes. Recontam-se os dados nos documentos-fonte (registos, listas assinadas) e compara-se com o número reportado: o fator de verificação é igual ao número recontado dividido pelo número reportado. Um fator de 0,85 significa uma sobrestimação de 15 %; acima de um desvio de 5 a 10 %, é preciso identificar a causa (erro de introdução, dupla contagem, definição diferente) e corrigir os relatórios. A auditoria examina também as cinco dimensões da qualidade: validade, integridade, precisão, fiabilidade e pontualidade.

9Analisar para decidir: o exemplo de uma monitorização pós-distribuição

Contexto fictício: terceira monitorização pós-distribuição de um programa de transferências monetárias de 60 EUR por mês para 1 800 agregados familiares. 210 agregados familiares sorteados foram entrevistados por telefone duas a três semanas após o pagamento, por operadores da equipa MEAL que não participam nas distribuições.

Principais resultados

Da análise à decisão

• Ponto de pagamento problemático: a comunicação de montantes incompletos e de «contribuições» pedidas num único ponto é um sinal de fraude ou de abuso de poder. Não se trata numa reunião geral: é transmitido imediatamente ao responsável de conformidade segundo o procedimento de luta contra a fraude, e as eventuais reclamações são tratadas confidencialmente. É organizada uma verificação por chamadas a todos os beneficiários desse ponto.
• Acessibilidade: 63 % das pessoas com deficiência esperam mais de 2 horas. Decisão: fila prioritária, possibilidade de designar um mandatário, estudo de um pagamento por dinheiro móvel para estes agregados familiares.
• Informação: o conhecimento dos canais de reclamação é fraco, sobretudo entre as mulheres. Decisão: mensagens em cada pagamento, sessões nos grupos de mulheres, número impresso no cartão de beneficiário.
• Valor da transferência: a subida da parte da renda e dos preços justifica partilhar a análise com o grupo de trabalho sobre transferências monetárias para rever o cabaz mínimo de despesas.

Uma nota de monitorização pós-distribuição útil cabe em duas páginas: os 5 resultados essenciais, as diferenças entre grupos, os sinais de alerta, e 3 a 5 recomendações com um responsável proposto. As tabelas completas vão para anexo.

Analisar os dados qualitativos

As notas dos grupos focais e das entrevistas são transcritas no próprio dia e, depois, codificadas segundo uma grelha construída a partir das perguntas de análise e enriquecida com os temas que emergem. Conta-se a frequência dos temas por tipo de grupo (sem os transformar em percentagens, que dariam uma falsa impressão de representatividade), registam-se as citações ilustrativas anonimizadas e procuram-se ativamente as opiniões divergentes. A análise qualitativa serve para explicar os números (porque aumenta a parte da renda) e para identificar o que o questionário não podia prever.

10Recolher dados em contextos difíceis

Os inquéritos por telefone

Tornaram-se correntes, nomeadamente para as monitorizações pós-distribuição e em gestão remota. São rápidos e pouco dispendiosos, mas excluem as pessoas sem telefone ou sem rede, frequentemente as mais vulneráveis, e sub-representam com frequência as mulheres quando o telefone pertence ao chefe do agregado familiar. Boas práticas: sortear a amostra na lista de beneficiários e não entre quem responde facilmente, prever pelo menos três tentativas de chamada em horários diferentes, pedir para falar com a pessoa registada, limitar a duração a 15 a 20 minutos, comparar o perfil dos inquiridos com o da população visada e descrever o viés no relatório.

Erros frequentes a evitar

• Inquiridores provenientes da equipa de distribuição ou da comunidade com interesses na seleção: viés de complacência e risco de pressão.
• Substituir livremente os agregados familiares ausentes pelos vizinhos: viés a favor dos agregados presentes no dia, frequentemente menos vulneráveis. As substituições devem seguir uma regra escrita e ser contabilizadas.
• Anunciar um resultado sem intervalo de confiança ou sem dimensão da amostra, em particular para os subgrupos (uma percentagem calculada sobre 18 agregados familiares com pessoas com deficiência não tem o mesmo valor que uma percentagem sobre 264 agregados).
• Apresentar médias não ponderadas quando a amostra é estratificada.
• Comparar uma base e um fim realizados em estações diferentes sem o assinalar.

11Perguntas de entrevista e referências-chave

Perguntas de entrevista

1. «Calcule a dimensão da amostra necessária para um estudo final em 30 aldeias. De que informações precisa?»

Uma boa resposta pergunta pelo objetivo (estimar uma proporção ou medir uma mudança), pelo valor esperado do indicador, pela precisão desejada, pelo nível de confiança e pela potência, pela dimensão da população, pelo plano de amostragem (conglomerados, estratos), pelo efeito de desenho ou pelo CCI, pela taxa de não-resposta e pela necessidade de resultados por subgrupo. Sabe fazer o cálculo e explica o compromisso entre o número de conglomerados e o número de agregados familiares por conglomerado.

2. «Descobre que um inquiridor provavelmente inventou entrevistas. O que faz?»

Descreve os sinais (durações curtas, respostas repetitivas, horários improváveis), a verificação por revisitas, a eliminação e a substituição das entrevistas em causa, o procedimento disciplinar e as medidas preventivas para o futuro (controlos diários, supervisão, rotação). Documenta o incidente e o seu efeito na amostra.

3. «Qual é a diferença entre um resultado estatisticamente significativo e um resultado importante para o programa?»

Explica que uma pequena diferença pode ser significativa com uma amostra grande sem ter interesse prático, e que uma diferença importante pode não ser significativa com uma amostra pequena. Relaciona a resposta com a decisão a tomar e com os intervalos de confiança.

4. «Como conduz uma monitorização pós-distribuição numa zona inacessível?»

Propõe chamadas telefónicas a uma amostra aleatória da lista, verificações por terceiros, dados do prestador de pagamentos, informadores-chave, e reconhece os vieses de cada método. Menciona a segurança dos inquiridos e a proteção de dados.

5. «Como combina os dados quantitativos e qualitativos num relatório?»

Explica a sequência (o qualitativo explica ou prepara o quantitativo), a triangulação, e dá um exemplo em que o qualitativo explicou um resultado inesperado.

Referências-chave

• Documentação do KoboToolbox e do ODK, e norma XLSForm.
• Manual da metodologia SMART para os inquéritos de nutrição e de mortalidade.
• Orientações técnicas do PAM sobre os módulos de segurança alimentar e a monitorização pós-distribuição.
• Ferramentas e orientações da Cash Learning Partnership (CALP) sobre a monitorização das transferências monetárias, e modelos de monitorização pós-distribuição harmonizados dos grupos de trabalho sobre transferências.
• Questionários e notas metodológicas do Programa Conjunto de Monitorização OMS e UNICEF para a água, o saneamento e a higiene.
• Orientações da USAID sobre as normas de qualidade dos dados e as auditorias de qualidade.
• Recomendações éticas e de segurança da OMS para a investigação sobre a violência sexual em situações de emergência (2007).
• Documentos da ACAPS sobre a análise das necessidades humanitárias e a utilização de dados secundários.