Ir para o conteúdo Ir para o menu Ir para a Busca
Polo de desenvolvimento educacional

Avaliação da aprendizagem

Especialista em avaliação da Secretaria de Educação de Nova York, Jesse Margolis, concedeu entrevista à Fundação Itaú Social, em maio de 2010. Ele dedicou-se durante nove meses a pesquisar o sistema de ensino do estado de São Paulo, especificamente o sistema de avaliação escolar, comparando-o ao da cidade de Nova York. Margolis atuou em diversos aspectos da reforma educacional de Nova York, que teve início em 2002, e hoje se dedica prioritariamente à avaliação escolar.

Nessa entrevista, o especialista falou sobre a política de bônus por resultado, as diferenças entre a maneira como essa medida foi implementada em São Paulo e Nova York e as dificuldades em avaliar o real impacto da política na melhoria da educação, no estado de São Paulo. Margolis também comentou as marcantes diferenças entre as condições laborais dos professores, pontos de convergência entre os sistemas de avaliação, a importância da aproximação entre secretaria e sindicato para a tomada de decisões na gestão pública, entre outras questões.

Para quem deseja se aprofundar no tema, a Fundação Itaú Social e o Instituto Braudel produziram em parceria um estudo que detalha os aspectos da reforma do sistema educacional de Nova York. Para acessar a publicação “A Reforma Educacional de Nova York: Possibilidades para o Brasil”, clique aqui.

Fundação Itaú Social – Seu objetivo inicial foi fazer uma análise comparativa dos sistemas de avaliação da cidade de Nova York e da cidade de São Paulo, correto? Jesse Margolis – Exatamente. Ao mesmo tempo, tinha outro objetivo que ainda não consegui atingir plenamente. Pretendo continuar a pesquisar o impacto do bônus por resultado no estado de São Paulo. Tenho algumas perguntas que gostaria de investigar, como por exemplo: As escolas que ganham bônus têm resultados diferentes das que não ganham? É possível observar apenas impactos positivos, no que se refere à melhoria da educação, ou há impactos negativos? A pressão por um bom desempenho no IDESP (Índice de Desenvolvimento da Educação do Estado de São Paulo) acaba por desestimular os alunos mais fracos a fazerem a prova do SARESP (Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo)?

FIS – Não houve tempo suficiente para avaliar os impactos da bonificação?

JM – Não é somente uma questão de tempo. A maneira como a bonificação foi implementada no estado de São Paulo dificulta a avaliação. Não temos como atribuir uma melhora no IDESP apenas à política de bônus. Outros fatores podem interferir, como, por exemplo, materiais novos ou novas formas de capacitar professores. Como o bônus foi implementado para todas as escolas, não existe um grupo controle que permita concluir o real impacto da política.

FIS – Como a política de bônus foi implementada em Nova York?

JM – Em Nova York, nós trabalhamos com um grupo tratamento e um grupo controle, sendo 200 escolas em cada grupo, selecionadas aleatoriamente. O grupo tratamento participou do programa de bônus que prevê um adicional de 3 mil dólares, ao ano, para cada professor, cujas escolas alcancem as metas previstas no Progress Report (Boletim de Progresso). Dessa forma, conseguimos avaliar se a melhora nas escolas do grupo tratamento aconteceu por conta da política de bônus.

FIS – Como está essa avaliação?

JM – Em andamento. Estamos no terceiro ano e os resultados iniciais mostram que as escolas tratamento melhoraram, assim como as escolas controle. A princípio, podemos dizer que se existe um impacto do bônus no rendimento dos alunos, ele é muito pequeno, pois a diferença não foi significativa na melhora dos dois grupos. Como a avaliação não terminou, pode ser que, a longo prazo, seja possível identificar um impacto mais profundo nos resultados de aprendizagem.

FIS – Quando vocês avaliam o impacto da política de bônus, olham para o rendimento dos alunos, é isso?

JM – O rendimento dos alunos em provas estandardizadas é o principal. Também olharemos outros resultados, como taxa de graduação e taxa de aprovação dos alunos. Podemos ainda considerar os fatores relacionados aos professores, como rendimento e fluxo para avaliar o impacto da política de bônus. O estudo oficial ainda está em processo e vários fatores estão sendo analisados profundamente.

FIS – O que te chamou atenção na política de bônus adotada em São Paulo?

JM – Uma coisa que me interessou é que o valor do bônus máximo é cinco vezes maior do que o de Nova York. A maioria dos professores que recebe o bônus, ganha o máximo, ou seja, 2,9 salários mensais adicionais. Isso significa que o impacto do bônus em São Paulo pode ser muito mais significativo do quem em Nova York, embora seja mais difícil de medir, conforme já mencionei.

FIS – Além da análise do sistema de avaliação e do programa de bônus por resultado, quais outros aspectos sua pesquisa no Brasil contemplou?

JM – A questão das condições de trabalho dos professores não estava entre meus objetivos iniciais, mas acabou sendo um aspecto marcante para minha pesquisa. Quando cheguei ao Brasil, ouvi muitas reclamações sobre os professores, muitas pessoas se queixando da qualidade dos profissionais, do sindicato da categoria. Verifiquei que as condições laborais aqui são muito mais difíceis, os professores passam mais tempo em sala de aula, possuem pouco tempo de preparação, são responsáveis por uma quantidade maior de alunos e muitos deles trabalham em duas ou mais escolas. Em minha opinião, esta deveria ser uma das questões de enfoque da Secretaria de Educação do Estado.

FIS – Como viabilizar uma melhora nas condições de trabalho dos professores?

JM – Acredito que uma aproximação com o sindicato da categoria seria uma saída. Se a secretaria conseguisse o apoio do sindicato para algumas de suas políticas, como a valorização por mérito e a remuneração variável, poderia oferecer em troca melhores condições laborais. Nos últimos oito anos, tivemos um êxito muito grande em Nova York nas negociações com o sindicato para implementação das reformas. Eles concordaram com a extensão da jornada escolar, por exemplo, em troca de um aumento salarial relevante.

FIS – De quanto foi o aumento?

JM – Algo em torno de 43%, em quatro ou cinco anos. Um aumento bem acima das taxas de inflação

FIS – Então, você acredita que as negociações entre sindicato e secretaria podem garantir melhores condições de trabalho aos professores, de forma que haja um impacto positivo no rendimento dos estudantes?

JM – Exatamente, desde que haja flexibilidade de ambas as partes. Não é o que está acontecendo em São Paulo e a greve desse ano foi emblemática. De um lado, a secretaria dizendo que apenas 1% dos professores havia aderido à greve, do outro, o sindicato divulgando uma porcentagem de 40%. Nenhum dos números pode estar correto. Ficou claro que a secretaria estava tentando enfraquecer o sindicato, enquanto esse tentava mostrar sua força.

FIS – Ou seja, é uma queda de braço.

JM – Exatamente. As próprias políticas da secretaria, como o Programa Valorização pelo Mérito, dificultam a adesão dos professores a greves, o que acaba por enfraquecer o sindicato.

FIS – Alguns professores consideram o programa de bônus por resultado injusto, argumentando que não se trata de uma política para todos, excluindo os professores que enfrentam condições mais precárias de trabalho. Você concorda com essa visão, com esse argumento?

JM – Não concordo. Se eu fosse um professor tentaria negociar para ter o bônus, talvez um bônus menor para que uma parte do dinheiro pudesse ser investida em melhorias, como a contratação de mais professores, diminuindo assim a carga horária. Entendo o argumento dos que estão contra o bônus, mas eu não acho que o bônus em si seja o problema.

FIS – Falando um pouco sobre os sistemas de avaliação de aprendizagem, você verificou pontos de convergência entre São Paulo e Nova York?

JM – Um ponto de convergência é que nós avaliamos a língua inglesa e matemática. Em São Paulo, avalia-se língua portuguesa e matemática. Nós utilizamos essas disciplinas como a parte principal de nossa avaliação de escolas, no caso do ensino fundamental 1 e fundamental 2, assim como em São Paulo, onde os resultados de provas estandardizadas constituem a parte central da avaliação. Nós elaboramos um questionário para os pais, alunos e professores, assim como se faz no estado de São Paulo, por meio do SARESP.

FIS – Há alguma característica no sistema de avaliação de São Paulo que você considere inovadora e que seria possível incorporar ao de Nova York?

JM – Há vários aspectos muito interessantes. Eu sei que está sendo considerado em Nova York adotar um sistema de avaliação baseado na teoria de resposta ao item, como faz o Saresp. Outro ponto que posso ressaltar é o sistema de metas de longo prazo do IDESP. É uma ideia muito boa estabelecer metas para as escolas baseadas nos resultados educacionais de países que já estão bem avançados. Nós, em Nova York, tivemos dificuldade em estabelecer quais seriam as nossas metas. Optamos por comparar com os outros municípios do estado de Nova York que são menos urbanos, menos pobres e têm desempenho melhor. No entanto, em muitos casos, os resultados de aprendizagem já se igualaram. Então, é preciso pensar qual será a próxima meta para a cidade de Nova York. Seria muito interessante pensar em uma comparação com outros países porque são vários que apresentam resultados superiores aos dos Estados Unidos.

FIS – Seria possível incorporar alguns pontos do sistema de avaliação de Nova York ao sistema do estado de São Paulo?

JM – O primeiro ponto seria publicar os resultados dos questionários do Saresp que são dirigidos aos pais, alunos e professores. Os questionários permitem avaliar o âmbito escolar que está fortemente relacionado aos resultados de aprendizagem. A coisa mais simples a fazer seria publicar na internet, respeitando a confidencialidade de cada escola. Essa seria uma medida importante. Em Nova York, nós avaliamos as escolas de várias formas, usamos o boletim de progresso baseado em resultados, o questionário e temos ainda uma avaliação qualitativa.

FIS – Como funciona essa avaliação qualitativa?

JM – Um educador experiente visita uma escola por dois ou três dias, reúne-se com pais, professores, alunos e dirigentes, passa o tempo observando aulas e estudando o sistema e a organização da escola. Ao final do processo, o educador escreve um informe, descrevendo como a escola se organiza para garantir a aprendizagem dos alunos.

FIS – Vocês publicam isso?

JM – Publicamos tudo. Está tudo na internet. Poderíamos acessar agora os informes de todas as 1.500 escolas. Esta é uma grande diferença entre os dois sistemas de avaliação, pois publicamos todos os resultados a nível das escolas. A Secretaria de Educação do Estado de São Paulo publica alguns dos resultados, como os do Saresp e IDESP, mas ainda poderiam publicar algumas coisas adicionais, como os questionários. Acho que publicar o que já se tem, a um custo mínimo, seria um bom passo. Outra coisa que poderia ser considerada no estado de São Paulo seria olhar para o progresso individual dos alunos e não somente para o rendimento final. Em Nova York, o progresso individual dos alunos é o ponto chave da avaliação do boletim de progresso.

FIS – Em relação às escolas que não apresentam progresso nos resultados de aprendizagem e não cumprem as metas, elas possuem algum tipo de suporte para reverter a situação, antes de uma medida extrema, como o fechamento e a demissão da equipe escolar?

JM – Todas as escolas têm suporte, mas priorizamos as que apresentam dificuldades. As escolas escolhem que tipo de suporte querem ter, quem irá capacitá-las, quem vai supervisioná-las. É basicamente como escolher seu chefe.

FIS – Que tipo de apoio vocês oferecem?

JM – Depende de cada instituição. Nós não temos um programa de capacitação único, ele é customizado, de acordo com as necessidades de cada escola. Por exemplo, se uma escola está com dificuldades para lidar com alunos que tenham problemas físicos ou mentais, enviamos um especialista em educação especial para conversar com o diretor e com os professores, verificar se a escola está cumprindo os regulamentos, se existe uma forma de integrá-los melhor à rotina escolar.

FIS – Customizar o apoio às escolas deve custar mais ao sistema, certo?

JM – Não, necessariamente. Se as capacitações são direcionadas de acordo com os interesses específicos de cada escola, é possível racionalizar os recursos. Se os grupos são menores, em vez de contratar duas pessoas para um treinamento, eu posso contratar apenas uma, por exemplo, diminuindo custos. É uma questão de gerir os recursos de uma forma mais eficaz. Por exemplo, os diretores têm autonomia para decidir se participam ou não das reuniões da diretoria regional de ensino. Se julgarem que os temas discutidos no encontro serão proveitosos para a escola, eles comparecem. Caso contrário, permanecem em suas escolas e usam o tempo para alguma atividade que será mais útil naquele momento.

FIS – Quando uma escola chega a ser fechada, o que acontece com os professores e diretores?

JM – Os diretores podem voltar a atuar como professores em outras escolas, ou então passam a fazer trabalhos administrativos na secretaria. No caso dos professores, se eles estão nos primeiros três anos de contratação, são demitidos, não têm proteção da lei. Já os professores efetivos, depois de três ou quatro anos, entram para o que se chama de Absent Teacher Reserve. Nesse caso, são designados para outra escola, onde atuam como suplentes ou em funções administrativas. Esse grupo de professores representa um custo alto ao sistema, além de não estarem em funções adequadas às suas habilidades. Essa é uma questão delicada que a secretaria está tentando negociar com o sindicato. A proposta da secretaria é que os professores efetivos tenham um ano para conseguir outro emprego, caso não consigam, eles seriam excluídos do Absent Teacher Reserve.

FIS – O sindicato concorda com a proposta?

JM – O sindicato não está de acordo em mudar a política, afinal a segurança do emprego é um dos princípios dos sindicatos em todo o mundo. No entanto, essa não é uma situação confortável nem para o sindicato, nem para a secretaria. Em minha opinião, o sindicato deveria concordar com a proposta da secretaria, que me parece razoável, em troca de um aumento salarial, por exemplo. É muito problemático para o sistema gastar dinheiro com professores que não estão dando aula, especialmente nessa fase pós-crise financeira. Agora, em Nova York, as escolas que quiserem contratar terão de escolher entre os professores que fazem parte desse grupo, que concentra entre 1 e 2% do total de profissionais da cidade.

FIS – O sindicato chegou a apresentar uma contraproposta para a secretaria?

JM – Não sei dizer. Acredito que não. Ao menos, eles não reportaram nada aos jornais.