Avaliando os avaliadores: algumas lições de uma autoavaliação recente do Banco Mundial

Nota do Editor: O Grupo de Avaliação Independente do Banco Mundial (IEG) publicou recentemente uma autoavaliação de suas atividades. Além de representar o pensamento atual entre os especialistas em avaliação do Banco Mundial, também reflete de forma mais ampla alguns dos pontos fortes e lacunas nas abordagens que os avaliadores usam para avaliar e aprender com o desempenho das instituições internacionais com as quais trabalham. A velha questão Quis custodet ipsos custodes? - traduzido livremente como Quem avalia os avaliadores? - permanece tão relevante como sempre. Johannes Linn atuou como revisor de pares externo da autoavaliação e fornece uma visão panorâmica das lições aprendidas.

Uma Visão Geral do Relatório de Autoavaliação IEG do Banco Mundial

Em 2011, o Grupo de Avaliação Independente do Banco Mundial (IEG) realizou e publicou um autoavaliação de suas atividades. A equipe de autoavaliação foi liderada por um gerente interno, mas envolveu um especialista em avaliação externa respeitado como o autor principal e também um revisor externo.



A autoavaliação do IEG segue as melhores práticas profissionais codificadas pelo Grupo de Cooperação em Avaliação (ECG). Esse grupo reúne os escritórios de avaliação de sete importantes instituições financeiras multilaterais em esforços conjuntos destinados a melhorar o desempenho da avaliação e a cooperação entre seus avaliadores. Portanto, pode-se inferir que a abordagem e o foco da autoavaliação do IEG são representativos de um conjunto mais amplo de práticas que são atualmente utilizadas pela comunidade de avaliação de organizações financeiras internacionais.

No início, o relatório do IEG afirma que o IEG é o maior departamento de avaliação entre os membros do Grupo de Capacidade de Avaliação (ECG) e é muito considerado pela comunidade internacional de avaliação. Avaliações independentes do papel do IEG como uma função de avaliação independente para o Banco e a IFC classificaram-no acima das funções de avaliação na maioria dos outros membros do ECG, organizações não governamentais internacionais e corporações transnacionais e descobriram que o IEG segue os princípios de avaliação de boas práticas.

os lugares mais racistas da américa

O relatório de autoavaliação geralmente confirma essa avaliação positiva. Para quatro das seis áreas de seu mandato, o IEG se dá a segunda classificação mais alta (bom) entre seis categorias de classificação possíveis. Isso inclui (a) a qualidade profissional de suas avaliações, (b) seus relatórios sobre como a gestão do Banco Mundial segue as recomendações do IEG, (c) cooperação com outros escritórios de avaliação e (d) assistência aos países mutuários para melhorar seus próprios capacidade de avaliação. Na área de avaliação das práticas de autoavaliação e gestão de risco do Banco Mundial, o relatório oferece a terceira classificação mais alta (satisfatória), enquanto dá a terceira classificação mais baixa (modesta) para o impacto do IEG nas políticas, estratégias e operações do Banco. Além disso, a autoavaliação conclui que, em geral, o desempenho do IEG tem sido bom e que ele opera de forma independente, eficaz e eficiente.

O relatório faz uma série de recomendações para melhorias, que provavelmente serão úteis, mas têm impacto limitado em suas atividades. Eles cobrem medidas para aumentar ainda mais a independência do IEG e a consistência das práticas de avaliação aplicadas nas filiais do Grupo Banco Mundial - o Banco Mundial, a Corporação Financeira Internacional (IFC) e a Agência Multilateral de Garantia de Investimentos (MIGA) -; melhorar o desenho das avaliações e o envolvimento com a gestão do Banco a montante para um maior impacto; e monitorar o impacto das mudanças organizacionais recentes no IEG em termos dos resultados alcançados. O relatório também recomenda que mais seja feito para avaliar o trabalho analítico do Banco e que as avaliações se baseiem em evidências comparativas.

Avaliação

Em termos dos parâmetros de autoavaliação definidos pela prática predominante entre os avaliadores em agências financeiras internacionais, a autoavaliação do IEG é precisa e útil. De minha própria experiência como gerente operacional no Banco, cujas atividades foram avaliadas pelo IEG nos anos anteriores, e como usuário das avaliações do IEG (e de avaliações de outras organizações internacionais de ajuda) para minha pesquisa sobre a eficácia da ajuda, concordo que o IEG é independente e eficaz no cumprimento do seu mandato conforme definido. Além disso, a autoavaliação produz evidências quantitativas úteis (incluindo resultados de pesquisas, análise de orçamento, etc.) para corroborar julgamentos qualitativos.

No entanto, a autoavaliação sofre de uma série de limitações na abordagem e lacunas no foco, que são amplamente representativas das práticas prevalecentes entre muitos dos escritórios de avaliação de agências internacionais de ajuda.

Uma leitura cuidadosa do relatório revela seis lacunas importantes na autoavaliação do IEG, na prática de avaliação predominante no Banco Mundial e, de maneira mais geral, na forma como as organizações financeiras internacionais avaliam seu próprio desempenho. As três primeiras lacunas se relacionam a aspectos da abordagem de avaliação usada e as três últimas lacunas se relacionam à falta de foco na autoavaliação nas principais questões organizacionais internas:

1. Avaliações de impacto: O relatório observa que o IEG realiza de duas a três avaliações de impacto por ano, mas contorna o debate na atual literatura e prática de avaliação sobre até que ponto o padrão ouro da avaliação de impacto aleatória deve ocupar um papel muito mais central. Dada a importância deste debate e divergência de pontos de vista, teria sido apropriado para a autoavaliação avaliar a prática atual do IEG de uso muito limitado de avaliações aleatórias.

policiais em estatísticas escolares

dois. Avaliação da ampliação: O relatório não aborda a questão de até que ponto a prática atual do IEG não apenas avalia o desempenho de projetos individuais em termos de seus resultados e sustentabilidade, mas também em termos de se o Banco tem sistematicamente construído sua experiência em projetos específicos para ajudar na escala aumentar seu impacto por meio do apoio à expansão ou replicação em operações de acompanhamento ou por meio de transferência efetiva para o governo ou outros parceiros. Na verdade, atualmente o IEG não considera de forma explícita e sistemática a ampliação de suas avaliações de projetos e programas. Por exemplo, em uma avaliação recente do IEG do Banco Mundial financiado projetos de desenvolvimento municipal (MDPs), o IEG descobriu que o Banco Mundial apoiou vários MDPs em muitos países ao longo dos anos, mas a avaliação não abordou a questão óbvia de se o Banco planejou sistematicamente a sequência do projeto ou se baseou na experiência de projetos anteriores em operações subsequentes. Embora a maioria dos outros escritórios de avaliação, como o IEG, não considere a ampliação, alguns (em particular os do Fundo Internacional para o Desenvolvimento Agrícola e do Programa das Nações Unidas para o Desenvolvimento) começaram a fazê-lo nos últimos anos.

3 Aproveitando a experiência e comparando com outras instituições: O relatório de autoavaliação faz um bom trabalho comparando o desempenho do IEG em vários aspectos com o de outras instituições multilaterais. No texto principal do relatório, ele afirma que o IEG planeja desenvolver diretrizes para documentos de abordagem para garantir maior qualidade, em particular com base em informações comparativas de outras fontes e benchmarking com outras instituições. Esta é uma intenção bem-vinda, mas não é adequadamente motivada no restante do relatório e não está refletida no Resumo Executivo. A realidade é que o IEG, como a maioria dos escritórios de avaliação multilateral, até agora não se baseou sistematicamente nas avaliações e na experiência relevante de outras agências de ajuda em suas avaliações do desempenho do Banco Mundial. Isso limitou severamente o impacto das avaliações no aprendizado.

Quatro. Políticas internas, processos de gestão e incentivos do Banco: As avaliações do IEG tradicionalmente não se concentram em como as políticas, gestão e incentivos internos do Banco Mundial afetam a qualidade do envolvimento do Banco nos países. Portanto, as avaliações não podem oferecer nenhuma visão sobre se e como as modalidades operacionais internas do Banco contribuem para os resultados. Duas exceções recentes são exceções notáveis. Primeiro, o IEG avaliação da abordagem do Banco para a harmonização com outros doadores e alinhamento com as prioridades do país avalia os incentivos para que o pessoal apoie a harmonização e o alinhamento. A avaliação conclui que os incentivos são insuficientes, uma constatação contestada pela administração. Em segundo lugar, está a avaliação dos arranjos de gestão matricial interna do Banco, que está atualmente em andamento. A autoavaliação observa que a administração do Banco tentou anular a avaliação matricial alegando que ela não se enquadrava no mandato do IEG. Este é um argumento infeliz, uma vez que uma avaliação das razões institucionais para o desempenho do Banco é um componente essencial de qualquer avaliação significativa dos programas apoiados pelo Banco. Ao apresentar um bom caso para a instância específica da avaliação matricial, o relatório de autoavaliação evita uma declaração mais geral em apoio ao envolvimento do IEG em questões de políticas internas do Banco, processos de gestão e incentivos. É notável que o Escritório Independente de Avaliação do FIDA parece ser mais agressivo a este respeito: atualmente está realizando uma avaliação completa da eficiência interna do FIDA e avaliações anteriores (por exemplo, um avaliação de inovação e ampliação) não se esquivou de avaliar as dimensões institucionais internas.

5 Governança do Banco Mundial: A autoavaliação do IEG é ainda mais restritiva na forma como interpreta seu mandato em relação à avaliação das estruturas e processos de governança do Banco Mundial (incluindo sua abordagem à voz e voto dos membros, o funcionamento de seu conselho de administração, a seleção de seus seniores gestão, etc.). Ele considera esses tópicos além do mandato do IEG. Isso é lamentável, uma vez que a forma como a governança do Banco evolui afetará substancialmente sua legitimidade, eficácia e viabilidade de longo prazo como instituição financeira internacional. Uma vez que o IEG se reporta ao conselho de diretores do Banco, e muitas das questões de governança envolvem questões da composição, função e funcionamento do conselho, há uma questão válida de quão efetivamente o IEG poderia realizar tal avaliação. No entanto, é notável que o Independent Evaluation Office do FMI, que da mesma forma se reporta ao conselho de administração do FMI, publicou um documento completo avaliação da governança do FMI em 2008, que efetivamente abordou muitas das questões certas.

6 Sinergias entre o Banco Mundial, IFC e MIGA: O relatório de autoavaliação indica que a recente reorganização interna do IEG teve como objetivo assegurar avaliações mais eficazes e consistentes nas três filiais membros do Grupo Banco Mundial. Isso é bem-vindo, mas o relatório não avalia como as avaliações anteriores abordaram a questão de se o Banco Mundial, a IFC e a MIGA capitalizaram efetivamente as sinergias potenciais entre as três organizações. O recente avaliação da resposta do Grupo Banco Mundial à crise econômica global de 2008/9 forneceu avaliações paralelas do desempenho de cada agência, mas não abordou se elas trabalham juntas de forma eficaz para maximizar suas sinergias. A realidade é que as três organizações têm culturas institucionais profundamente arraigadas e geralmente seguem seus próprios caminhos, em vez de coordenar de perto suas atividades no terreno. As avaliações futuras devem considerar explicitamente se os três cooperam efetivamente ou não. Embora o Banco Mundial seja único na forma como separou organizacionalmente o setor privado e as operações de garantia, outras organizações de ajuda também enfrentam problemas de falta de cooperação, coordenação e sinergia entre as diferentes unidades da agência. Portanto, o mesmo comentário também se aplica às suas abordagens de avaliação.

Conclusões

As autoavaliações são ferramentas valiosas para a avaliação de desempenho e o IEG está de parabéns por realizar e publicar tal avaliação de suas próprias atividades. Como para todas as autoavaliações, deve ser visto como um insumo para uma avaliação externa independente, uma decisão que, por enquanto, aparentemente foi adiada pelo conselho de administração do Banco.

trunfo kim jong un summit

A autoavaliação do IEG tem muitos pontos fortes e fornece uma avaliação geral positiva do trabalho do IEG. No entanto, ele reflete algumas limitações importantes de análise e de certas lacunas na abordagem e cobertura, que uma revisão externa independente deve considerar explicitamente e que a administração do IEG deve abordar. Como muitas dessas questões provavelmente também se aplicam à maioria das outras abordagens de avaliação de outros escritórios de avaliação, as lições têm relevância além do IEG e do Banco Mundial.

As principais lições incluem:

  • Uma avaliação das avaliações deve enfocar não apenas o processo, mas também as questões substantivas com as quais a instituição está lutando.
  • Uma avaliação da eficácia das avaliações deve incluir uma avaliação profissional da qualidade dos produtos de avaliação.
  • Uma avaliação das avaliações deve avaliar:
    o Com que eficácia as avaliações de impacto são usadas;
    o Como a ampliação de intervenções bem-sucedidas é tratada;
    o Como a experiência de outras instituições comparáveis ​​é utilizada;
    o Se e como as políticas internas, práticas de gestão e incentivos da instituição são efetivamente avaliados;
    o Se e como a governança da instituição é avaliada; e
    o Se e como a coordenação interna, a cooperação e a sinergia entre as unidades dentro das organizações são avaliadas.

As avaliações desempenham um papel essencial na responsabilização e aprendizagem das organizações internacionais de ajuda. Portanto, é fundamental que as avaliações abordem as questões certas e usem técnicas apropriadas. Se as lições acima se refletissem nas práticas de avaliação das instituições de ajuda, isso representaria um avanço significativo na qualidade, relevância e provável impacto das avaliações.