Ir para o conteúdo Ir para o menu Ir para a Busca

AGÊNCIA DE

Notícias

Dez perguntas para

“A avaliação é como um espelho que reflete a realidade”

Especialistas em avaliação e monitoramento de programas sociais, escreveram uma série de cadernos que ensinam em linguagem simples sobre um assunto complexo


Dez perguntas para
Thereza Penna Firme e Vathsala Stone

Thereza Penna Firme é brasileira, professora, pesquisadora e psicóloga. Mestre e doutora pela Universidade Stanford (EUA), tem quarenta anos de experiência nacional e internacional como consultora e conferencista sobre o tema avaliação. Em 2018, foi eleita Educador do Ano pela Academia Brasileira de Educação. Aposentada da UFRJ (Universidade Federal do Rio de Janeiro), atua como coordenadora do Centro de Avaliação da Fundação Cesgranrio.

Vathsala lyengar Stone é indiana, professora e pesquisadora com formação em ciências físicas e educação. Mestre e doutora em metodologia de pesquisa e avaliação educacional (Universidade Estadual da Flórida, EUA), atuou por dezessete anos em instituições brasileiras e conta com quarenta anos de experiência em avaliação e tecnologia educacional. Aposentada da Universidade de Nova York, é diretora de pesquisa de um programa para pessoas com deficiência, no Centro de Tecnologia Assistiva.

Thereza e Vathsala: proposta prática para tornar mais acessível e bem-vinda a avaliação de programas socioeducacionais. Fotos: Ana Maria Andrade e Herrmann Studio

Por Maggi Krause, Rede Galápagos, São Paulo

“A avaliação é uma amiga, uma companheira dos profissionais, uma parceira para quem tem esse compromisso com justiça social”, destaca Thereza Penna Firme ao lançar a série de oito cadernos “Avaliação de Programas Socioeducacionais: como enfocar e pôr em prática — uma alternativa naturalística” publicada pelo Itaú Social. O conteúdo considera os direitos e o atendimento a crianças e adolescentes e pode ser aplicado em qualquer programa socioeducacional preocupado com a formação de indivíduos. A obra explica o conceito da avaliação, como planejar e colocar em prática as atividades de campo e ensina como avaliar seus resultados. Tem autoria de três pioneiros na área: além de Thereza, a indiana Vathsala lyengar Stone e o salvadorenho Juan Antonio Tijiboy, falecido em 2013. 

O trio de profissionais começou a trabalhar em conjunto depois de um pedido do UNICEF (Fundo das Nações Unidas para a Infância), em 1986, para que avaliassem projetos voltados a crianças em situação de rua. À época, todos atuavam profissionalmente no Brasil. “No final da década de 1980 até a de 90 havia muitas crianças de rua no Rio de Janeiro e nas grandes cidades do país; era um problema para campo social e educacional. O UNICEF propôs fazer um estudo para saber o que acontecia em um tipo de programa novo, que os reunia em um ponto de encontro, um centro, evitando a internação, e os deixava livres para voltar para a rua e sua comunidade”, explica Thereza. Em comum entre os três educadores havia um doutorado nos Estados Unidos no currículo e o background de culturas sensibilizadas com a pobreza (na Índia, em El Salvador e no Rio de Janeiro). E as expertises se complementavam: Vathsala era especialista em pesquisa e avaliação, Tijiboy tinha experiência em programas socioeducacionais, e Thereza, psicóloga clínica, estava acostumada a atender crianças e adolescentes. 

Juntos, eles coletaram e analisaram dados e avaliaram 11 programas no Brasil, o que serviu de base e inspiração para outro estudo. “Vimos que havíamos desenvolvido uma metodologia específica para programas sociais e quisemos traduzir isso de forma didática”, diz Vathsala. O que era uma edição caseira sobre a prática de investigação naturalística, o processo e a análise de resultados de avaliação, com o suporte do Itaú Social, passou por revisão, acréscimos e um projeto gráfico primoroso que fez nascer a coleção em 2021, quase 30 anos depois de entregues as avaliações ao UNICEF. 

“Em cada caderno tivemos o cuidado de apresentar a matéria por meio de um diálogo entre os envolvidos no processo de avaliação e com a linguagem mais simples possível”, ressaltam. Na entrevista a seguir, as especialistas contam como se avalia se um projeto socioeducacional está fazendo diferença para seu público e sobre a publicação, que tem por missão desmistificar a imagem da avaliação. Segundo as autoras, ela não deve ser vista como ameaça ou punição, e sim como uma ferramenta humanizada e acessível para quem trabalha no dia a dia de programas que influem na qualidade de vida de crianças e adolescentes. 

Avaliação em oito passos

A publicação “Avaliação de Programas Socioeducacionais: como enfocar e pôr em prática — uma alternativa naturalística” tem como objetivo a capacitação em avaliação, com foco nos direitos e no atendimento a crianças e adolescentes, especialmente aqueles em situação de risco. O conteúdo pode ser aplicado em qualquer programa socioeducacional preocupado com a formação de indivíduos e grupos humanos. Veja a sequência dos cadernos: 

  1. Apresentação
  2. Abrindo o diálogo: o que significa a avaliação?
  3. A conversa continua: que rumo tomar?
  4. Enxergando o alvo: como questionar?
  5. Rumo ao campo: a travessia
  6. No campo: coletando as informações
  7. Voltando do campo: construindo a resposta e dando a notícia
  8. Atuando como avaliador profissional: iluminação não tem fim

NNotícias da Educação — Como a avaliação pode trazer reflexos concretos à melhoria de programas socioeducacionais?

Vathsala Na vida, todo mundo se avalia informalmente e por vários motivos: para aprender, para sobreviver, se aprimorar, promover mudanças e tomar decisões. A avaliação acontece em vários contextos. Até os animais avaliam as situações. Um gato, por exemplo, antes de enfiar a cabeça entre grades, costuma estimar se passa por ali ou não. No caso dos programas socioeducacionais, sem avaliar você não sabe o que deve melhorar. E os interessados nisso são vários públicos: o financiador, os educadores, os pais das crianças e a própria comunidade. É preciso avaliar se o programa está indo bem, se tem recursos suficientes, qual rumo está tomando, em quais aspectos pode ser modificado ou aprimorado. 
Thereza — Os programas socioeducacionais precisam ser constantemente avaliados para continuar, pois não é possível mantê-los sem verificar sua relevância e o impacto que causam nas populações. Você precisa entender se o que faz é adequado, se tem sentido e, a partir disso, revisar sua prática. Tenho sido chamada no Brasil inteiro para fazer palestras para professores para complementar sua formação, pois no curso de graduação a questão da avaliação é muito precária. 

N“O espelho é a avaliação que mostra a realidade através da reflexão.” A metáfora do espelho, utilizada na narrativa dos cadernos, serve para explicar várias características da avaliação. Poderiam descrever quais os paralelos entre as duas coisas — o espelho e a avaliação?

T — Com o espelho na mão, nos vemos agora, e essa é a vantagem. Existe uma facilidade em você se ajeitar naquele momento, você vê o reflexo e sabe imediatamente o que pode alterar. Então esta é a metáfora: o espelho é a própria avaliação. Ela está sempre presente, diante de você ela reflete, o melhor possível, a imagem da realidade tal como ela é. 
V — A avaliação mostra, mas não melhora a realidade. Quem tem que melhorar é a pessoa que está no espelho… o aluno não vai aprender com a avaliação; o professor precisa ensinar e tomar a responsabilidade de ajudar o aluno a avançar… a base para a melhoria é o retrato no espelho. De nada adianta a instituição adotar a avaliação e ficar por isso mesmo, sem levar adiante ações que resultem em melhoria. 

NEm seu trabalho vocês enfatizam que o mérito e a relevância são aspectos que se complementam. Por que um não funciona sem o outro?

T — O mérito diz respeito à qualidade interna de um programa (ou projeto, instituição ou evento) e como ele está sendo conduzido, o que inclui os recursos disponíveis, as estratégias, a qualidade do ensino, a capacidade do professor, ou seja, são as variáveis fundamentais para que ele funcione. O impacto de todo esse empreendimento podemos chamar de relevância, e isso sempre para aquele grupo, para aquelas crianças, porque deve fazer sentido e ser relevante para as pessoas beneficiadas. O resultado precisa ter aplicabilidade e utilidade para quem passa pela avaliação e para quem a encomendou. 

NA pesquisa e a avaliação não são a mesma coisa, embora ambas sejam necessárias para o conhecimento da realidade. O que diferencia uma da outra?

V — Ambas são necessárias para o conhecimento da realidade, mas são diferentes nos seus propósitos. Ambas são processos de investigação, mas a pesquisa tem como foco conhecer a verdade. A avaliação quer conhecer a realidade para julgar o mérito e relevância do que está sendo avaliado. Sempre digo que a estatística é uma ferramenta de pesquisa, a pesquisa é uma ferramenta de avaliação, e metodologicamente parecem iguais, mas não são, pois a avaliação leva os resultados mais adiante. 
T — A pesquisa trabalha com variáveis, avaliação trabalha com valores. A pesquisa vai pela escada e a avaliação vai pelo elevador. A pesquisa conclui, a avaliação julga. A pesquisa descobre o mundo e a avaliação melhora o mundo — as duas se entrelaçam. A avaliação faz o trabalho de julgar comportamentos, providências, determinações e motiva a ação sobre os elementos. A pesquisa, a avaliação e a decisão não se separam, estão sempre juntas. Quer um exemplo? O professor sabe por meio de pesquisa que crianças que são elogiadas têm mais autoestima e usa essa informação para estabelecer ambiente positivo para a aprendizagem; ao avaliar a turma, ele verifica o próprio ensino e toma as decisões necessárias para ajustá-lo. A pesquisa apresenta variáveis, a avaliação conduz a um juízo de valor e, a partir dele, se decidem os próximos passos. 

“Minha definição da investigação naturalística é ‘metodologia de rua’. Nós tirávamos os indicadores da rua, do comportamento das crianças de rua. Foi uma interação agradável e eles não se sentiram acuados. E assim fomos coletando as informações.”

NVocês desenvolveram um método para tornar o processo avaliativo mais humanizado e acessível para quem está no dia a dia dos programas, que é baseado na pesquisa naturalística. Podem explicá-lo, em linhas gerais?

V — Escolhemos uma abordagem responsiva para o nosso estudo dos programas socioeducacionais com as crianças de rua. Ela leva em consideração as preocupações de todos os interessados, os participantes, o educador de rua, o coordenador… Então a abordagem responsiva é a que responde aos anseios de todos. Dentro dela, achamos que a investigação naturalística combinava muito bem, pois torna o processo avaliativo mais humanizado e acessível. Ela utiliza o ser humano como instrumento de coleta de dados, sem papel, questionário, lápis. Nós nos capacitamos como observadores, nós éramos os instrumentos humanos.
T — O avaliador, ou seja, a pessoa, era o instrumento por excelência. A investigação que fizemos nos anos 1990 não era invasiva, não assustava, fazia uma aproximação natural para que o avaliado — no caso, a criança de rua — não fugisse, não se assustasse. Um dos recursos que usávamos eram os fantoches, que deixávamos que eles escolhessem. Era sempre uma forma indireta de investigação. Uma menina, por exemplo, pegou o fantoche de uma mulher e outro de criança e fez um diálogo como quem fala com a própria mãe. Algumas crianças de rua, engraxates, fizeram um teatro de mímicas em que representaram como era a vida na rua antes do programa (com briga e violência), durante o programa (com as rotinas e o que estavam aprendendo) e depois dele (um deles encena já ser adulto, segura uma maleta de executivo e conversa com um menino de rua para levá-lo ao projeto). Nesse caso, nos deixou uma nota melancólica, de que no futuro ainda haveria crianças de rua para serem resgatadas por esses programas. Minha definição da investigação naturalística é “metodologia de rua”. Nós tirávamos os indicadores da rua, do comportamento deles. Foi uma interação agradável e eles não se sentiram acuados. E assim fomos coletando as informações.

NComo aconteciam na prática a observação naturalística e a avaliação dos programas?

T — A Vathsala é especialista em anotar tudo muito rápido e nós fazíamos uma boa triangulação entre nós três [as entrevistadas e Juan Antonio Tijiboy]. Cada um tinha pessoas diferentes para avaliar, fontes e métodos diferentes. Buscávamos evidências, em especial a redução de comportamentos violentos, e o indicador era marcado quando dois de nós identificavam essa mudança de forma intensa. Nós visitávamos o programa três vezes: a primeira era um reconhecimento, a segunda para construir indicadores e a terceira para coletar evidências. É bom ter pelo menos uma equipe de três pessoas para isso, mas muito mais do que isso atrapalha. Na época observamos ganhos no relacionamento humano, na aquisição de habilidades para o trabalho e na expressão de competências morais, em maior ou menor intensidade. Mostramos que os programas valiam a pena.

NQuais são os maiores desafios que vocês identificam na coleta de dados para a avaliação?

V — O maior desafio é escolher o meio adequado. Nós não pudemos tirar fotos, fazer gravações, para não ferir os sentimentos da criança. Usamos muita delicadeza, como a oferta dos fantoches. Era como reunir dados ocultos, por meio da observação, sem perguntas que pudessem ser um obstáculo. A escolha de fontes adequadas para dar informações autênticas também é importante.

“Um dos grandes desafios a vencer é tirar o medo da avaliação e torná-la um ato normal, prazeroso, revelador e motivador, e não uma coisa que assusta.”

NComo se identificam as questões que precisam integrar uma avaliação e qual é a melhor maneira de formulá-las?

V — Para ser democrático, primeiro é válido realizar um levantamento de todas as preocupações, seja por entrevista, grupo focal ou observação. Há vários modos de descobrir os anseios dos interessados, que podem ser o financiador, o coordenador, os educadores, membros da comunidade e os próprios beneficiários. O segundo passo é fazer uma lista das preocupações e aí escolher a quantas quer responder, montar o seu design de avaliação e implementar. É importante que toda questão avaliativa tenha foco. Sobre o que é: a criança, o educador, o programa? Quais são os dados e as informações que eu preciso coletar para avaliar o mérito ou a relevância daquelas ações? Uma dificuldade, nos anos 1990, é que não estava predefinido o que se esperava dos programas; era diferente de uma escola, que já tinha metas transparentes. Nos resultados, alguns programas promoviam mudanças mais visíveis do que outros, a redução de comportamentos violentos era uma delas.

NQuais são os padrões que devem orientar uma avaliação de boa qualidade?

V — O Joint Committee on Standards for Educational Evaluation, que é uma associação profissional da área, criada nos Estados Unidos, definiu os padrões de uma avaliação profissional. Eles são cinco: utilidade, viabilidade, ética, precisão e accountability, ou seja, uma prestação de contas que reforça e justifica o trabalho realizado. A utilidade está relacionada à relevância, e, para que seja relevante, um programa precisa ser valorizado pela sociedade; por isso a utilidade reina como padrão prioritário. 

NComo uma pessoa se forma para atuar como um avaliador profissional?

T — Existe uma certificação da American Evaluation Association, à qual cada vez mais brasileiros se associam. Mas queremos colaborar com os cadernos publicados, pois eles podem ser uma boa maneira de conhecer a teoria e a prática da avaliação. Os princípios para quem avalia incluem a indagação sistemática e uma lógica de procedimento, com passos, itinerários, cronogramas. Tudo isso depende da competência do avaliador, que é o segundo princípio. O terceiro é a de honestidade e integridade em relação ao trabalho; o quarto, o respeito ao direito das pessoas, colocando-se no lugar do avaliado na hora de dar as devolutivas, por exemplo; e o quinto, a responsabilidade pelo bem-estar geral das pessoas participantes no processo. Um dos grandes desafios a vencer — e isso propõem os cadernos — é tirar o medo da avaliação e torná-la um ato normal, prazeroso, revelador e motivador, e não uma coisa que assusta. É neutralizá-la como um processo bem-vindo.