Ir para o conteúdo Ir para o menu Ir para a Busca
Polo de desenvolvimento educacional
Notícias Especiais

A programação do 15º Seminário Internacional de Avaliação refletiu sobre a necessidade de rever princípios da avaliação para avançar na perspectiva da equidade


Conscientização e reflexão permanentes integradas às práticas avaliativas. Essa ideia está no centro da proposta apresentada pela pesquisadora e avaliadora norte-americana Jara Dean-Coffey, convidada do 15º Seminário Internacional de Avaliação organizado pelo Itaú Social, em parceria com as fundações Roberto Marinho, Maria Cecília Souto Vidigal, Laudes Foundation e o Gife (Grupo de Institutos, Fundações e Empresas).

O evento, realizado em setembro de 2020 por meio de plataforma digital criada para atender às condições decorrentes da pandemia do coronavírus, teve ainda palestra de Francisco Soares, da UFMG (Universidade Federal de Minas Gerais), sobre educação e equidade, além da participação de Mariana Xavier (Laudes Foundation), K.k. Verdade (Fundo Elas) e Walquíria Tibúrcio (Move Social). Para saber mais sobre o olhar de cada especialista sobre o tema abordado confira as entrevistas em cada link.

Neca Setubal, presidente do conselho do Gife, ressaltou o apoio estratégico das fundações: “Um dos papéis importantes na articulação das fundações com o poder público é a questão da avaliação, é assumir para si esse papel numa interlocução direta, em que possamos ter monitoramento e metas intermediárias. A avaliação muitas vezes ultrapassa o tempo político. Então, cabe a nós, da sociedade civil, sermos os guardiões desse processo”.

15º Seminário Internacional de Avaliação | Entrevista com Neca Setubal

Refletir sobre as balizas da avaliação é a grande chave para que o processo avaliativo possa ser não só um termômetro das ações sociais, mas um fator de indução para tornar a busca da equidade um valor permanente e do qual não se pode abrir mão. Os conceitos estão no centro da Equitable Evaluation Initiative, proposta já em prática nos Estados Unidos e descrita por Jara.

A iniciativa norte-americana é resultado de um processo histórico, fruto de anos de experiências no campo avaliativo voltadas às instituições filantrópicas dos Estados Unidos. Esse processo começou com a introdução de uma lei federal para regulamentar a filantropia, ainda no imediato pós-guerra. E trouxe, com o tempo, o amadurecimento das práticas e temáticas envolvidas. Nos últimos anos, depois de a diversidade e a inclusão social serem alçadas ao primeiro plano entre as metas mais necessárias, conforme diz Jara, houve uma mudança conceitual. Segundo ela, a noção de igualdade de oportunidades, no contexto do liberalismo clássico e ligada ao acesso a direitos básicos e serviços públicos, foi suplantada pela ideia de equidade, que vai um passo além. 

Equidade é a ausência de diferenças evitáveis ou remediáveis entre grupos de pessoas, sejam esses grupos definidos social, econômica, demográfica ou geograficamente

Esta é uma definição da Organização Mundial da Saúde (OMS), citada pela pesquisadora, Jara Dean-Coffey – Equitable Evaluation Initiative (EEI)

As três grandes balizas da avaliação

Para a palestrante, não basta dar o acesso à educação, por exemplo. É preciso garantir que a desvantagem sociocultural que alguns têm ao entrar na escola seja reduzida ao máximo, para que estes sujeitos possam depois efetivamente ser integrados ao mundo do trabalho e da cidadania.

Vários são os aspectos que têm contribuído para a acentuada desigualdade que se verifica em vários países. No Brasil, o problema é crítico: segundo a Organização das Nações Unidas (ONU), somos um dos cinco países mais desiguais do mundo. Desigualdade de renda, falta de oportunidades de trabalho, discriminação racial e de gênero e excessiva concentração de riquezas entre um percentual ínfimo da população são alguns dos pontos principais a dificultar a equidade.

Para que as instituições caminhem em direção a uma nova postura avaliativa pautada pela equidade, Jara enumera três grandes balizas: a adoção de uma postura axiológica; a visão da avaliação como geradora de conhecimento e a mudança de ponto de vista da cultura dominante para outra, permeada pela ótica da diversidade e da interdependência.

A prática avaliativa deve ter uma base ou sentido moral e estar alicerçada na firme definição de um propósito.

O processo avaliativo é uma oportunidade para que a diversidade de saberes se manifeste.

Deve se abrir à diversidade e buscar a alteridade, a partir de uma visão ampla que considere as subjetivações do processo.

A questão axiológica está ligada à consciência dos valores, da base moral que norteia as ações, ou seja, a definição de um propósito claro. Essa reflexão tem especial significado na medida em que a prática cotidiana tende à mecanização de procedimentos e, com isso, o instrumento metodológico acaba se sobrepondo aos princípios. Jara reforça que a metodologia só faz sentido se for resultado do propósito, sendo recomendado mudá-la sempre que não o atenda.

“Sem uma postura axiológica, torna-se muito fácil nos prendermos ao diálogo sobre métricas, que é o contrário do que queremos viver e do que as práticas e as informações estão de fato nos dizendo sobre aumentar a criação de sentido e a progressão desses segmentos”, pontua a especialista norte-americana. Em sua opinião, a presença das ideias de Paulo Freire no Brasil ajuda na incorporação dessa dimensão crítica, autorreflexiva. O segundo princípio é a consideração de que o processo avaliativo é um grande gerador de conhecimento e uma oportunidade para que a diversidade se manifeste. E a potência desse conhecimento é transformadora. O terceiro está intrinsecamente ligado ao anterior: o ponto de vista. Ou seja, a avaliação deve estar aberta à diversidade e a busca pela alteridade, considerando uma visão intersubjetiva (que acolhe aquilo que não está dito, formalizado) como forma de alargar horizontes.


O campo da avaliação e da filantropia norte-americana, um breve histórico pelo olhar de Jara Dean-Coffey

A prática da avaliação nos Estados Unidos, da maneira como a conhecemos hoje, pode ser traçada a partir do final da Segunda Guerra, quando industriais passaram a criar fundos voltados para a filantropia. São fundações que levam nomes conhecidos até hoje, como Carnegie, Ford e Rockefeller. Diante desse movimento, o então presidente Harry Truman levantou a necessidade de uma legislação que pudesse definir melhor a prática da filantropia, o que resultou em uma lei federal em 1950.

Truman presidiu os Estados Unidos por dois mandatos, de 1945 a 1953, tendo sucedido Franklin Roosevelt. Durante sua gestão, foi concebido o Plano Marshall, de auxílio a países europeus devastados pela Segunda Guerra Mundial.

Já nos anos 1960, com o aumento das práticas filantrópicas e a maior alocação de recursos públicos em programas sociais, na esteira da “Great Society” do presidente Lyndon Johnson, a avaliação se tornou uma ferramenta para responder a questões sobre a melhor aplicação do dinheiro. Nessa época, o foco dos investimentos sociais era em saúde, educação e em outros programas voltados para os indivíduos. Conceitos como quantificação, baseline e escalabilidade passaram a fazer parte do vocabulário dos avaliadores.

A década de 1970 se inicia sob a égide do Tax Reform Act, de 1969, que promoveu a criação do sistema tributário em vigor até hoje nos EUA. Foi a primeira vez que “fundações privadas” ganharam uma definição legal pelo governo americano. A avaliação, naqueles anos, servia para “simplificar, padronizar, otimizar e escalar”, nas palavras de Jara Dean-Coffey, diretora da Equitable Evaluation Initiative (EEI). Ou seja, a avaliação tinha uma orientação para resultados.

Segundo Jara, foi apenas às vésperas da primeira década do século 21, que os avaliadores passaram a estabelecer paradigmas e métodos que serviram para a condução de pesquisas avaliativas e estudos longitudinais para o governo e para institutos de pesquisa.

Atualmente, o campo da avaliação conta com múltiplos atores, como investidores financeiros e influenciadores de tecnologia no campo da transformação social. Houve uma mudança de foco, do indivíduo para o coletivo, com intervenções sistêmicas.

Para a especialista norte-americana, a prática avaliativa nos EUA tem um histórico de autorreflexão e de mudanças, que hoje se traduzem na abertura de espaço para outros valores. Desse modo, o próprio corpo de avaliadores caminha no sentido de se tornar mais diverso, condição fundamental chegar à equidade, que busca extinguir ou minimizar diferenças sociais que podem ser evitadas.

Sobre  Jara Dean-Coffey

A norte-americana Jara Dean-Coffey é especialista em avaliação, fundadora e diretora da Equitable Evaluation Initiative (EEI) – a Iniciativa de Avaliação Equitativa. Atuante no setor há 25 anos, sua consultoria, Luminare Group, foi responsável pelos primeiros debates sobre avaliação equitativa nos EUA. Nesse período, trabalhou junto a organizações filantrópicas e sem fins lucrativos de todo o país, com orçamentos que variaram de menos de US$ 500 mil a até US$ 2,5 bilhões. Há três anos, ela ocupa uma cadeira no conselho da American Evaluation Association (AEA) – Associação Americana de Avaliação.

Nascida na Filadélfia, Pensilvânia, ela cresceu em um bairro predominantemente de famílias negras. Jara faz questão de se apresentar como descendente de pessoas escravizadas trazidas para a América. Hoje, vive em San Rafael, Califórnia.

Seu trabalho é voltado ao desenvolvimento de líderes e para que suas organizações assumam um compromisso cujo objetivo seja a obtenção de um impacto transformador em indivíduos, comunidades e sistemas com os quais se relacionam.

“Na medida em que pensamos sobre o conhecimento no século 21 e sobre um mundo equitativo, temos de nos sentir cada vez mais confortáveis com a multiplicidade, com as intersecções, com as diversas realidades que nos cercam. E nossas práticas de avaliação devem estar de acordo com essas nuances”, defende.


Desafio dos avaliadores

Em relação ao papel dos avaliadores, parece primordial voltar ao tema da conscientização e da reflexão. Para isso, é preciso considerar que as questões metodológicas não estão imunes da influência das questões políticas, dado que cada ator participante do processo avaliativo traz consigo uma bagagem simbólica que não só influenciará a leitura da realidade, mas fará diferença para conquista da transformação social que se busca. Em síntese, segundo esta premissa, a atuação do avaliador também compõe a trama para que um propósito social se cumpra.

O caminho proposto por Jara é o que ela chama, em inglês, de “the work”, um mergulho de autoquestionamento em aspectos como as relações de trabalho e conhecimento, a forma como o avaliador projeta a si mesmo e o seu trabalho para o mundo, como retrata seu poder e como isso afeta o seu cotidiano profissional.

É um exercício que implica uma disposição dialógica de revelar inclusive verdades que não estejam sendo requeridas, mas que a consciência de que afetam as condições sistêmicas e sistemáticas torna necessário o compartilhamento.

Também é preciso assumir aquilo que não é possível revelar ou fazer, dizer “eu não sei”. Muitas vezes, isso requer conclusões que não foram contempladas em determinado processo. “É preciso estar confortável em relação às limitações”, diz Jara.

Mudança da cultura interna

Porém, todas essas questões só passam a ter valia quando são geradoras de mudanças no âmbito das instituições. Para que isso aconteça e leve efetivamente à adoção da avaliação equitativa, há um caminho sintetizado num estudo de 2013, escrito por Jara e seus parceiros Leon Caldwell e Jill Casey. Nele, relacionam-se as competências individuais à capacitação organizacional.

O primeiro passo para isso é o já referido “the work”, o trabalho de autoavaliação e conscientização de cada um sobre seus valores, preconceitos e visões concebidas de antemão. Uma vez consciente desses elementos, pode-se partir para a descoberta de como enxergar diferentes realidades e tornar-se mais inclusivo.

“É preciso ouvir mais gente, e não partir apenas das nossas verdades consolidadas de acordo com o nosso conhecimento prévio, por mais sênior que você seja”, aconselha a consultora. Ela resume essa trajetória em três passos: primeiro, se deve tomar consciência de como os processos estão sendo realizados e a partir de que pontos de vista; essa consciência deve levar a uma decisão bem embasada do porquê fazer as coisas de forma diferente; por fim, deve-se questionar o como se chegar a um novo modo de agir que reflita essa mudança de ponto de vista.

O olhar sobre a avaliação tem de possibilitar ver como as coisas estão indo em relação à missão, enfatiza Jara. “E todo mundo tem de estar comprometido com esse processo. Entender a evolução é responsabilidade de todos.”

Essa relação indivíduos-instituição é bem simbolizada por uma trama formada pelas competências individuais desejadas (conscientização, comportamento ou propósito e ação), entrelaçadas às capacidades organizacionais (intenção, integração, institucionalização).

Princípios da avaliação equitativa

A busca da equidade avaliação parte do princípio de que não se trata de um processo à parte do objeto avaliado, e sim uma forma de olhá-lo que pode ter impacto sobre a própria concepção dos projetos e em suas formas de ação.

É importante lembrar, que as premissas que sustentam as escolhas metodológicas – e até as lentes com as quais a realidade é interpretada – são temas já há muitos anos debatidos no âmbito acadêmico e colocados como desafiadores para o desenvolvimento de pesquisas. Ainda assim, trazer este debate para o centro da reflexão e da prática avaliação de políticas e programas sociais é um ganho na medida que, como em qualquer outro campo, estes são conceitos em disputa.

Nos últimos anos, o Itaú Social tem empreendido esforços na consolidação de princípios de monitoramento e avaliação que estão em linha com as reflexões suscitadas pelo seminário, e que valem ser destacadas já que corroboram com a noção de que as escolhas conceituais nesse campo também dizem respeito a forma como a instituição organiza a sua visão de mundo. Assumir e sistematizar os fatores que pautam estas análises são fundamentais no processo de transparência, pois informam o leitor sobre as perspectivas metodológicas mobilizadas na realização das avaliações, algo fundamental para a leitura dos resultados.

Princípios de Monitoramento e Avaliação do Itaú Social

Avaliações e monitoramento com intencionalidade na indução de mudanças para a promoção de uma educação pública de qualidade com equidade. Para isso, as práticas avaliativas são voltadas para aprimoramento dos programas, tomada de decisão e geração de conhecimento .

Prioridade no uso de métodos mistos e articulação de evidências que se adequem conforme as demandas, para garantir complementaridade e maior riqueza de respostas.

Avaliações com atenção nos ciclos de vida dos programas: avaliações ex ante, avaliações de processo, avaliações de resultados intermediários (curto e médio prazo) e impactos. Atenção no monitoramento e avaliação de mecanismos- chave para o alcance dos objetivos do programa.

Envolvimento das partes interessadas: parceiros técnicos, gestores, comunidades, etc.

Comunicação dos resultados como forma de transparência e geração de aprendizados.

Trecho extraído de ITAÚ SOCIAL. Documento base do modelo de Monitoramento e Avaliação do Itaú Social. São Paulo: Itaú Social, 2020 (prelo).

“Diferentes paradigmas influenciam a avaliação como campo do conhecimento, de forma que abordagens qualitativas e quantitativas figuram nesse contexto e dizem muito sobre as lentes de interpretação utilizadas em cada caso.”

Angela Dannemann Itaú Social para Glossário do Nexo Políticas Públicas

Reflexões sobre a prática

O efeito mais notório entre os participantes das duas oficinas ocorridas também em setembro, como parte da programação do Seminário, foi o de que é preciso refletir sobre sua atuação. Representantes das instituições organizadoras (Itaú Social, Laudes Foundation, Fundação Roberto Marinho, Gife e Fundação Maria Cecília Souto Vidigal) confirmaram muitos dos pontos trazidos para discussão pela avaliadora norte-americana.

A começar por sua observação acerca destes tempos complexos. Leandro Carvalho, do Itaú Social, trouxe uma definição sublinhada como certeira pela própria consultora acerca do contexto atual. “A realidade é um caleidoscópio de visões e subjetividades que são construídas com percepções divididas”, observou o analista de Programas Sociais. Visão corroborada por João Martinho, gerente de Avaliação Social de Impacto da Fundação Laudes, para quem há, ainda, uma tensão adicional entre essa multiplicidade de olhares vindos do contexto e as questões internas das instituições.

Outra questão também muito mencionada foi sobre o uso acrítico de instrumentos avaliativos, numa supervalorização dos métodos. Márcia Joppert, do Gife, observou que há um comodismo no uso desses instrumentos. “Eles significam que você não precisa conversar, o que impede o alinhamento das ações entre os envolvidos”. Ela diz ainda que a ausência da discussão sobre o método impacta a própria intencionalidade da prática avaliativa.

De forma complementar, Rosalina Soares, da Fundação Roberto Marinho, trouxe a pergunta: “como fazer com que os indicadores não sejam mais importantes do que os princípios?”

A resposta para isso traz um ponto a ser expandido pelos avaliadores: o uso da linguagem. Nesse caso se poderia trocar indicadores – mais precisos, matemáticos – por indicações, que podem ser fruto de observações mais gerais. “É preciso não ser assertivo sempre, advoga Jara, para quem soa estranho ter certezas demais numa era recheada de incertezas.


Desafios da avaliação no campo educacional: o olhar de Chico Soares

“A educação é um direito, um direito que só se concretiza em resultados de escolarização e de aprendizado. E direito que é direito deve ser monitorado. Aqui entra a avaliação, que é o que gera informações e permite monitoramento.”

Chico Soares Conselho Nacional de Educação

Com essa definição sucinta, o pesquisador Chico Soares, professor emérito da Universidade Federal de Minas Gerais (UFMG), introduz a complexidade da avaliação em educação no Brasil – especialmente uma avaliação que tenha como objetivo a equidade.

Antes de entrar em pormenores sobre o processo, Soares faz o alerta de que este é apenas um aspecto na busca pela equidade no campo educacional. Ou seja, ainda que estejam interligadas, outras diversas variáveis concorrem para impactar os resultados dos alunos.

A educação de qualidade, diz o pesquisador, se expressa em resultados de escolarização e de aprendizado em nível adequado. Porém, mais do que isso, os resultados precisam ser abrangentes e levarem em conta a trajetória dos alunos, ou seja, a forma com que eles atingiram os resultados também importa. De acordo com Soares, o Ideb (Índice de Desenvolvimento da Educação Básica) , principal indicador de educação brasileiro, seria incapaz de dar conta das desigualdades do sistema educacional do país. Isso porque os alunos que evadiram, por exemplo, estão fora do cômputo final. “Usando apenas o Ideb nós calamos os excluídos”, diz o pesquisador, alertando que, com isso, as políticas públicas são formuladas sem levar em conta esse contingente que não está sendo atendido.

No cálculo do Ideb são levados em conta os indicadores de fluxo (o percentual de alunos aprovados) e de desempenho (a nota daqueles que fizeram a Prova Brasil). Os alunos que abandonaram a escola ou que deixaram de fazer a prova não entram na conta.

Ao dividir, a partir do Censo Escolar, os alunos em quatro “trajetórias” diferentes no período de 2007 a 2015, Soares é capaz de mostrar como a evolução dos estudantes é desigual, levando em conta a cor/raça. Como exemplo, entre os alunos brancos, 57% cumprem a “trajetória 1”, aquela sem problemas de reprovação ou evasão ao longo dos anos, ao passo que apenas 35% dos estudantes negros seguem o mesmo caminho. Em um sistema “justo”, o padrão de variação entre desempenhos deveria ser o mesmo nos diferentes grupos.

“Em situação de equidade educacional, um grupo de estudantes terá desempenhos variáveis, mas é importante que não existam estudantes que não aprenderam nada ou muito pouco, e é fundamental que existam estudantes que estejam na excelência”, diz Soares. Por isso, as políticas educacionais e os sistemas de avaliação deveriam buscar a maximização do desempenho mínimo – em outras palavras, puxar todo mundo pra cima. Afinal, lembra o pesquisador, o direito à educação é da pessoa, não de um indivíduo médio, hipotético. Com esta fala Chico Soares destaca a equidade precisa entrar na agenda da avaliação em educação e das políticas públicas no Brasil.

Ficha Técnica


Textos: Rubem Barros
Edição: Fernanda Zanelli e Ana Claudia Bellintane
Vídeo: Marcelo Peres Sabino
Leitura crítica: Carlos Eduardo Garrido