Ir para o conteúdo Ir para o menu Ir para a Busca
Polo de desenvolvimento educacional

Seminários | Avaliação focada no uso: construção permanente

Apresentada no 14º Seminário Internacional de Avaliação, metodologia desenvolvida por Michael Patton é um marco do pensamento avaliativo

Com objetivos variados, realidades e contextos distintos, os projetos sociais são mais bem mensurados com ferramentas de avaliação moldadas e aplicadas de acordo com a necessidade dos gestores e das pessoas impactadas pelas ações. Esta é uma das principais conclusões do 14º Seminário Internacional de Avaliação: Pensamento Avaliativo e Transformação Social, evento realizado em agosto em São Paulo, pelo Itaú Social, Fundação Roberto Marinho, GIFE (Grupo de Institutos, Fundações e Empresas) e Instituto C&A.

A vinda ao Brasil do pesquisador americano Michael Patton, um dos responsáveis por alçar a avaliação ao status de campo disciplinar e profissional, foi o grande destaque do evento, que reuniu, em uma palestra, duas mesas temáticas e dois workshops lideranças envolvidas com projetos sociais, em especial voltados à educação. Ex-presidente da Associação Americana de Avaliação, Patton veio apresentar os fundamentos da metodologia da Avaliação Focada no Uso (Utilization-Focused Evaluation), desenvolvida por ele a partir de uma série de sistematizações anteriores, como as teorias da Filantropia e da Mudança. Essas experiências deságuam na teoria de Patton, para a qual o pensamento avaliativo constitui um mecanismo permanente de revalidação dos projetos sociais, como ele mostrou aos participantes.

O debate em torno da metodologia de Patton representa um novo momento do Itaú Social, em que a instituição passa a explorar o potencial dos métodos mistos assim como o monitoramento estratégico de processos e resultados. Durante o seminário, Fábio Barbosa, vice-presidente do Itaú Social, definiu como uma evolução dos processos avaliativos o uso de metodologias quantitativas e qualitativas. “É necessário ter uma visão mais sofisticada para lidar com situações complexas”.

Angela Dannemann, superintendente do Itaú Social, completa o raciocínio: “O mundo mudou. Precisamos mudar com ele. Isso não quer dizer que vamos deixar de fazer avaliação quantitativa, mas que vamos desenhar um método misto, quantitativo e qualitativo, conforme o contexto e o que ele pedir. E vamos monitorar ao longo de todo o percurso, com estudo da implementação para ver se ela de fato está ocorrendo”.

 

Pensamento avaliativo

Em sua palestra, Patton partiu de uma experiência da juventude, quando foi voluntário na África, para demonstrar as formas de conexão entre o pensamento avaliativo e a transformação social. Ele trabalhou em projetos de agricultura familiar em Burkina Faso, país do oeste africano. Ao retornar para casa e ao mundo acadêmico, teve contato com a obra de Paulo Freire, que o ajudou a compreender melhor as inquietações decorrentes dessa vivência e a sistematizar seus pensamentos.

O ponto central do pensamento avaliativo é o movimento de levar as pessoas a se engajarem e pensarem sobre o projeto de que participam e acerca da própria avaliação. Partindo do princípio de Freire de que todas as interações humanas embutem mensagens, o surgimento do conceito do pensamento avaliativo veio da compreensão desses significados, dessas “lições de vida”, como define Patton. “A qualidade da avaliação é afetada pelo engajamento, que cria um diálogo. Não é uma política de gestão empresarial ou social, é algo que podemos usar no dia a dia para tomar melhores decisões, inclusive pessoais”.

Problemas complexos exigem perguntas difíceis, incômodas. Nesse sentido, técnicas padronizadas de avaliação, replicadas em diferentes contextos, não se configuram como formas de pensamento avaliativo por não levarem em conta as variáveis aferidas no curso dos projetos e não previstas no modelo padrão utilizado.

Por isso, é a avaliação que deve mudar para melhor entender as transformações e não tentar explicá-las dentro de amarras. A pesquisadora Carol Weiss (1927 – 2013), autora da Teoria da Mudança, afirmou que “nada é tão prático quanto uma boa teoria”. Sua provocação, para Patton, ressalta a importância da maleabilidade das teorias para abarcar as diferentes realidades e objetivos dos projetos sociais.

“A transformação não vem de projetos isolados, mas de sistemas interligados. O principal não é a avaliação, mas uma postura diante do mundo, uma ação reflexiva, que traz resultados mais efetivos”. É um processo longo e muitas vezes não linear, envolvendo idas e vindas, bifurcações ou caminhos distintos.

 

Diálogo sobre avaliação e transformações sociais

Na primeira mesa do Seminário, mediada por Mônica Pinto (Fundação Roberto Marinho), Michael Patton, Naércio Menezes (Centro de Políticas Públicas do Insper), Neca Setubal (Fundação Tide Setubal e Gife), João Franca (Instituto Camará Calunga) e Paulo Jannuzzi (Escola Nacional de Ciências Estatísticas do IBGE) discorreram sobre características das avaliações que são úteis para a transformação social.

Neca Setubal explicou como um processo avaliativo alterou a missão da Fundação que ela preside. Após 10 anos trabalhando em uma área carente da zona leste da cidade de São Paulo, a instituição encomendou três estudos concomitantes e complementares para avaliar o impacto social e viabilizar sua atuação em outro território: um qualitativo envolvendo tanto a equipe interna como as pessoas assistidas; um quantitativo, avaliando a evolução de indicadores sociais ao longo de dez anos; e uma consultoria para examinar as mudanças institucionais dentro da própria Tide Setubal.

“Vimos a capacidade que a Fundação teve ao trabalhar com poder público, comunidades locais e ONGs. Descobrimos que teríamos muito mais potência se voltássemos nossa atuação para diminuir as desigualdades sociais da cidade toda, não apenas de um território”.

 

Identificando falhas

O programa “Jovens Urbanos” busca potencializar as oportunidades de jovens das periferias das grandes cidades. Segundo Naércio Menezes, dois anos após o término de sua primeira edição, um grupo foi selecionado para participar de uma avaliação quantitativa. Os egressos apresentaram maior taxa de empregabilidade, maiores salários e menor índice de conflito com a lei em relação a outros. Porém, a avaliação apontou problemas, como o fato de que parte dos jovens não tinha concluído a formação. Os dados serviram para redesenhar o projeto, direcionando-o a uma faixa etária mais jovem. A evasão diminuiu e os resultados melhoraram.

João Franca descreveu o projeto “Nossa escola é em todo lugar”, desenvolvido em São Vicente (SP). A ação visa mostrar aos jovens que o espaço público pode ser educativo caso eles ajudem a criar experiências culturais e sociais nos territórios em que vivem. O Programa também estimula o diálogo entre educação popular e comunitária e a educação formal. O processo de avaliação utilizado é uma “roda avaliativa”. Jovens e crianças formam uma roda de conversa entre si, observados por outro grupo, dos adultos envolvidos na ação. Primeiro, as crianças conversam entre elas e a roda externa apenas ouve. Depois, há o diálogo entre ambas. Do processo, resultou uma nova forma de compreender os sentidos e impactos das ações sociais.

 

O pensamento de Paulo Freire e sua influência na prática e teoria da avaliação

A segunda mesa reuniu Patton, Moacir Gadotti (Instituto Paulo Freire), Vilma Guimarães (Fundação Roberto Marinho), com a mediação do consultor e pesquisador Thomaz Chianca. O tema central foram os princípios do pensamento de Paulo Freire que são úteis e aplicáveis à teoria da avaliação. Ideias de Freire, como desenvolver consciência crítica, entender que todos aprendem e ensinam ao mesmo tempo, unir reflexão e ação, valorizar o subjetivo, integrar emoção e razão, e compreender que toda pedagogia é política dialogam com a metodologia de Patton. Essas são algumas das ideias e práticas de Paulo Freire que influenciaram a sua teoria. O pesquisador destacou a importância do dossiê “Pedagogy of Evaluation” (Pedagogia da Avaliação), publicado em outubro de 2017 na 115º edição do periódico “New Directions for Evaluation” (Novos Rumos da Avaliação), revista oficial da Associação Americana de Avaliação.

Na perspectiva da Pedagogia do Oprimido (1968), de Freire, Patton explicou que assim como a educação é política, no sentido de ser relativa ao cidadão, a avaliação também é. “Há muitas relações de poder implícitas no processo avaliativo. Temos de aprender a entendê-las e usá-las de forma mais consciente, dialógica e horizontal”.

O presidente de honra do Instituto Paulo Freire, Moacir Gadotti, disse que o trabalho de Patton é uma continuação inovadora da obra de Freire. “Sobrevalorizamos a avaliação como método e técnica, mas Patton traz a preocupação com o indivíduo avaliado para dentro de sua pedagogia da avaliação. Isso é algo novo e poderoso”, resumiu.

 

Workshop 1: avaliação e análise crítica

Com profissionais que avaliam ou coordenam ações sociais em instituições como Casa Civil da Presidência da República, IBGE, Fundação Cargill, Itaú Unibanco, Fundação Getúlio Vargas, Insper, Instituto C&A e Universidade de São Paulo, o primeiro workshop coordenado por Michael Patton foi um aprofundamento da teoria da Avaliação Focada no Uso.

O pesquisador lembrou que, hoje, experiências com inteligência artificial já obtêm ótimos resultados reconhecendo padrões e reagindo a eles. Por isso, mais do que nunca o fator humano é importante na questão avaliativa. Computadores processam quantidades de dados gigantescas, mas humanos podem trabalhar com essas informações de forma crítica e criativa, reagindo às mudanças de contexto e criando adaptações para melhorar constantemente os processos.

Patton também utilizou casos de ganhadores do Prêmio Nobel para exemplificar como a teoria não pode atuar como uma barreira diante do que contempla. O pensamento avaliativo, disse, é o fio condutor dessa libertação. É o método que permite a experimentação e a adaptabilidade constantes em processos avaliativos.

A atividade teve, ainda, um exercício prático em que Patton relembrou a decisão do governo americano de invadir o Iraque, em 2003, para mostrar como a falta de compartilhamento de informações pode levar a erros de avaliação. Reproduzindo a situação, os participantes propuseram soluções, sistematizadas por Patton. Elas convergiram para o pensamento avaliativo em um modelo chamado Atributo de Rigor, e utilizando o método da Triangulação.

 

Workshop 2: a importância do comprometimento

No 2º Workshop conduzido por Michael Patton, equipes do Itaú Social, Fundação Roberto Marinho e Instituto C&A acompanharam um histórico das experiências de avaliação de projetos sociais.

Com apoio do pesquisador e avaliador Thomaz Chianca, seu ex-aluno e discípulo, Patton listou alguns alicerces do processo avaliativo, como a descoberta dos critérios que nos levam a decisões, o histórico de teorias que desembocaram na Avaliação Focada no Uso, como as teorias da Filantropia e da Mudança. Falando sobre a filantropia, mostrou que a criação de conexões comprometidas gera as bases de um trabalho sólido. “Nem sempre o dinheiro é a questão. Às vezes, o comprometimento com verbas mínimas pode ser muito bem-sucedido”.

Na sessão, houve ainda uma participação especial: a entrada via skype de Jane Maland Cady, diretora do Programa Internacional da Fundação McKnight, que relatou como, com a participação de Patton, a avaliação ajudou a chamar a atenção da presidência de sua entidade para o trabalho filantrópico e a torná-lo mais efetivo.

 

A sistematização completa do 14º Seminário Internacional de Avaliação está disponível em um documento neste link.