Ir para o conteúdo Ir para o menu Ir para a Busca
Polo de desenvolvimento educacional
Notícias Dez perguntas para

MARIANA XAVIER – Aprendizagem para todos os lados

Como o conceito de avaliação evoluiu para ajudar a fortalecer os resultados de projetos sociais e políticas públicas


Mariana Xavier, da Laudes Foundation: “O Brasil não vai sair da crise política, econômica, financeira e social com o mesmo pensamento ou olhar que nos levou para dentro dela. Precisamos trazer novos olhares e fortalecer vozes que têm sistemicamente sido excluídas desse processo de negociação e de decisão.” Foto: Juca Varella

Por Ferdinando Casagrande, Rede Galápagos, São Paulo

Os direitos de trabalhadoras e trabalhadores estão no foco da atuação de Mariana Xavier, gerente de programa em direitos e trabalho da Laudes Foundation no Brasil. Formada em relações internacionais pela Pontifícia Universidade Católica de Minas de Gerais (PUC-MG) e mestre em conflitos, desenvolvimento e construção da paz pelo Institute of International and Development Studies, em Genebra, Mariana identifica potenciais parceiros, organizações, projetos e iniciativas que possam ser apoiados pela fundação com o objetivo de fortalecer grupos em situação de vulnerabilidade. No seu dia a dia, monitoramento e avaliação são ferramentas fundamentais para garantir aprendizados e uma atuação mais efetiva, não apenas dos projetos apoiados, mas também da organização para a qual trabalha. “Enquanto fundação, nós não devemos jamais ser os únicos usuários de uma avaliação externa de um projeto”, explica Mariana. “A avaliação deve ser, sempre, um processo de aprendizagem contínua que envolve múltiplas vozes e olhares.” Por sua experiência nesse campo, Mariana Xavier foi uma das convidadas especiais do 15º Seminário Internacional de Avaliação. O evento, neste ano em sua primeira edição on-line, é promovido pelo Itaú Social, Fundação Roberto Marinho, Laudes Foundation, Fundação Maria Cecília Souto Vidigal e Grupo de Institutos, Fundações e Empresas (GIFE). No seminário, realizado nos dias 16 e 17 de setembro, ela participou de um debate sobre o tema “Equidade e avaliação no terceiro setor brasileiro e americano”. 

NNotícias da Educação – De que forma você usa a avaliação em seu trabalho na Laudes Foundation?

MMariana Xavier  – Como gerente de programa, parte do meu trabalho é identificar potenciais parceiros, organizações, projetos e iniciativas para apoiar financeira e tecnicamente. No meu caso, especificamente, meu foco está em projetos que contribuem para direitos das trabalhadoras e dos trabalhadores. Como Instituto C&A, nós apoiávamos principalmente projetos direcionados para a indústria da moda no Brasil. Agora que a Laudes Foundation foi criada, o escopo deve ser ampliado. Além de identificar os projetos, faz parte também do meu trabalho ajudar a desenvolvê-los e fazer o monitoramento desses projetos. É aí que entra a avaliação, que muitas vezes é desenvolvida pelas organizações parceiras, ou por avaliadores externos que nós contratamos. Desde a concepção do projeto, o pensamento avaliativo – como prática reflexiva – é fundamental.

“O principal motivo pelo qual devemos fazer uma avaliação é gerar aprendizados que sirvam para todos, não apenas para nós, como financiadores”

NQual deve ser o principal objetivo de uma avaliação?

MEssa questão tem sido objeto de questionamento interno e de aprendizagem ao longo dos últimos anos. Há 3 ou 4 anos, tínhamos a ideia de que era preciso fazer avaliações o tempo todo, quanto mais, melhor. Isso acontecia porque, quando a avaliação passou a fazer parte das fundações, era muito no intuito de averiguar o alinhamento com a missão, verificar se o projeto apoiado estava dando resultados. Muitas vezes tinha até uma intenção de validar as nossas decisões para a nossa própria governança, no sentido de mostrar que estávamos no caminho certo. À medida em que avançamos nesse trabalho, porém, percebemos que, na verdade, o principal motivo pelo qual a gente deve fazer uma avaliação é o de aprender com essas avaliações. Aprender sobre a metodologia avaliada, sobre aquele tipo de projeto ou de colaboração. Extrair aprendizados que sirvam para todos, não apenas para nós, como apoiadores. Enquanto fundação, nós não devemos jamais ser os usuários principais de uma avaliação externa de um projeto.

NComo desenhar uma avaliação que gere aprendizados para todos?

MUma boa prática que nós adotamos é envolver os parceiros que serão avaliados no trabalho de codesenhar a avaliação. Parece óbvio, mas nem sempre instituições têm esse cuidado de elaborar o plano da avaliação em conjunto com a organização que implementa o projeto. Hoje, ao contratar uma avaliação externa, a gente se preocupa em perguntar à organização parceira quais questões ela teria para acrescentar, em que aspectos acredita que a avaliação deveria focar, quais são as perguntas avaliativas que fazem sentido para ela. Com isso, nossa expectativa é trabalhar, desde o princípio, em aspectos que possam gerar aprendizados que, depois, serão usados pela organização que implementou o projeto e também para todo um campo de organizações sociais e outras fundações que atuam na mesma área.

“Enquanto fundação, nós temos uma preocupação muito grande em não adotar procedimentos e processos de tomada de decisão que muitas vezes possam reproduzir injustiças e desigualdades”

NO que não pode faltar numa avaliação para que ela gere resultados que possam ser aproveitados por todos?

MUma questão muito importante para nós é a transparência. Nós publicamos todas as avaliações que fazemos, os resultados são abertos para todos os envolvidos, porque, sem transparência, não há como imaginar que esses resultados poderão gerar aprendizagens para todos. Outro valor com o qual nos preocupamos muito é a equidade social. Enquanto fundação apoiadora de um projeto, temos uma responsabilidade ao contratar uma avaliação, e uma preocupação muito grande em não adotar procedimentos e processos de tomada de decisão que muitas vezes possam reproduzir injustiças e desigualdades.

NDe que forma a equidade influencia a atuação de vocês ao avaliar parceiros?

MTemos feito todo um exercício de olhar para dentro da Laudes pensando quem somos nós, que tipo de lugar de privilégio ocupamos e que tipo de abertura temos, de fato, para contratar pessoas que representam minorias, por exemplo. Na hora de contratar uma avaliação, tentamos exercer um olhar sobre quem são os avaliadores, se o time é diverso, com que grupos de pessoas esse time tem experiência de atuação… Temos procurado dividir e provocar isso nas avaliações que contratamos para evitar aquela situação, que muitas vezes acontece, de termos apenas avaliadores brancos, de uma classe social privilegiada, que estudaram nas melhores universidades, que têm acesso à conferência anual da Associação Americana de Avaliação. É um cuidado para evitar que algumas das questões vividas pelas pessoas atendidas pelo projeto, por não fazerem parte do universo do avaliador, acabem sendo invisibilizadas.

NComo garantir que o ponto de vista do financiador não prevaleça no processo de avaliação?

MÉ fundamental estabelecer que a avaliação não seja feita para o financiador. Ela não pode ser pensada somente a partir do ponto de vista da organização patrocinadora, nem do que essa organização gostaria de descobrir. Por isso é tão importante envolver o parceiro que implementa o projeto na elaboração das perguntas. E, muitas vezes, também, é recomendável envolver os grupos sociais beneficiados por aquele projeto. Outro ponto importante é estabelecer que o financiador também faça parte do campo a ser avaliado. Em lugar de contratar um avaliador para avaliar o parceiro, como se estivesse acima e longe daquilo, o financiador também tem sua atuação avaliada. Afinal, ele faz parte daquele projeto, porque muitas vezes ajudou a desenhá-lo, tomou decisões, então a relação do financiador com organização apoiada, as estratégias do financiador, também devem ser avaliadas. É preciso parar de tratar a avaliação como algo de cima para baixo. Se a gente pensa na avaliação como um processo de aprendizagem contínua que deve envolver múltiplas vozes e olhares, inclusive em relação a nós como financiadores, essa é uma boa prática capaz de, pelo menos, não reforçar uma relação assimétrica de poder. Na Laudes, nós avaliamos as parcerias entre nós e os nossos parceiros, não avaliamos o nosso parceiro.

“É preciso criar novas práticas que contemplem momentos diferentes e dados qualitativos também, gerando uma análise mais rica, com uma visão holística sobre o que acontece no projeto”

NFinanciadores, de forma geral, têm uma preocupação grande com indicadores numéricos. O quão efetivos os números são na busca por aprendizados?

MDe fato, existe uma tendência entre as fundações de trabalhar com indicadores numéricos, como se isso fosse capaz de resumir o sucesso de um projeto. Tem um paralelo, de certa forma, com o que acontece na educação, que tenta sintetizar toda uma trajetória em números, em notas, e que estão ali niveladas para todo mundo. Nós, na Laudes, também nos baseávamos muito, internamente, em grupos de indicadores numéricos. Basicamente, dados quantitativos. E esses indicadores, muitas vezes, eram usados pelos projetos. Parte do trabalho de identificar um possível parceiro, por exemplo, consistia em verificar se o projeto conseguia alcançar alguns dos indicadores que tínhamos como meta. O problema é que isso gerava uma série de distorções, porque acabávamos correndo atrás de números que, muitas vezes, não queriam dizer muita coisa e, por outro lado, um projeto que alcançava uma mudança incrível, não tinha um indicador quantitativo que pudesse ser apresentado, porque indicadores numéricos, muitas vezes, não têm a capacidade de resumir a qualidade de uma transformação social, o que aquilo significou para as pessoas impactadas.

NComo resolver esse dilema?

MUma avaliação, de forma geral, nunca é só números. Ela tem análise e geralmente produz um relatório. Entendemos que é preciso criar novas práticas que contemplem momentos diferentes e dados qualitativos e quantitativos conjuntamente, gerando uma análise mais rica, com uma visão holística sobre o que acontece no projeto. Temos desenvolvido o que chamamos de rubricas avaliativas, que nada mais são do que uma ferramenta para levar em consideração dados quantitativos e qualitativos permitindo uma análise contínua baseada em evidências de vários tipos, não apenas em um número. Temos uma rubrica que olha especificamente para equidade, inclusão e diversidade, mas também adotamos uma lente de gênero, equidade e inclusão nas demais rubricas. Ao olhar para os resultados de um projeto de incidência política, por exemplo, não bastaria contabilizar “quantas leis foram implementadas ou mudadas”, mas que tipo de mudanças ocorreram, em quais níveis, levando em consideração também quem esteve envolvido no processo, como se deu o processo de participação social e decisão, se as mudanças incluíram e atendem grupos marginalizados e habitualmente subrepresentados nas tomadas de decisão. É um processo muito mais amplo, mas é uma coisa nova, que ainda estamos experimentando. Essas rubricas estão sendo desenhadas, estamos aprendendo à medida em que experimentamos, junto aos parceiros que apoiamos.

NQual o melhor momento para fazer a avaliação de um projeto? É apenas na conclusão do trabalho?

MIsso está em transformação também. Uma avaliação no final de um projeto pode acabar reforçando a ideia de verificação, responsabilização, ou justificação. Além disso, uma avaliação ao final de um projeto pode, muitas vezes, descobrir uma série de coisas que poderiam ter sido diferentes, mas aí já é tarde demais e não há tempo para mudanças. Isso limita a utilidade da avaliação. Como disse no início, nós evoluímos muito nesse conceito nos últimos anos. Hoje, começamos a fazer o que estamos chamando de avaliações adaptativas. O nome, em inglês, é developmental evaluation, ou real time evaluation, que nada mais é do que uma avaliação enquanto o projeto acontece. Em vez de você apoiar uma iniciativa social e esperar que ela chegue ao final para avaliar os resultados e impactos, ver o que deu certo e o que não deu, você desenha uma avaliação que mantenha os avaliadores externos em contato com o parceiro ao longo da iniciativa. Os resultados que vão sendo gerados ajudam a adaptar, a repensar, a replanejar a iniciativa, se isso fizer sentido. Tudo enquanto ela está em desenvolvimento, daí vem o nome em inglês developmental ou real time evaluation. É uma forma muito eficiente de promover a aprendizagem para todos os lados enquanto algo se desenvolve.

NPara encerrar, como promover equidade na área de direitos dos trabalhadores num cenário em que, cada vez mais, se tenta limitar esses direitos?

MO Brasil vive uma crise política, econômica, financeira, social, e precisamos sair dela. Reformas serão necessárias, mas nós já sabemos que não vai ser possível sair da crise com o mesmo pensamento ou olhar que nos levou para dentro dela. Precisamos trazer novos olhares e fortalecer vozes que têm sistemicamente sido excluídas desse processo de negociação e de decisão das mudanças que precisamos. Como fundação privada de filantropia, precisamos pensar de que forma podemos atuar junto a essas essas vozes e organizações cada vez mais marginalizadas, e de que forma podemos colaborar com elas para que possam ser incluídas e, preferencialmente, estar à frente das mudanças sociais de que o Brasil tanto precisa. Isso é o que me anima hoje: a possibilidade de trazer esses grupos marginalizados para dentro do debate.