Qual desempenho é adequado nos testes da Prova Brasil?

O governo federal, ao divulgar, na semana passada, os resultados da Prova Brasil

, dividiu as notas dos estudantes em três níveis referidos como: Insuficiente, Básico e Adequado.  Esta síntese, ao usar adjetivos com claras interpretações pedagógicas, facilita o uso dos dados para o planejamento pedagógico das escolas e das redes de ensino, assim como a comunicação com a sociedade.

LEIA MAIS   Saeb: a diferença entre estados chega a 50 pontos em Matemática

No entanto, as escolhas de pontos de corte que definiram os níveis produziram uma mudança drástica no diagnóstico da realidade educacional brasileira. Experiências consideradas exemplares até 2015 se tornaram fracassos com a nova metodologia. Por exemplo, a cidade de Sobral, que era considerada exemplo nacional, passou a ter apenas 13,4% dos alunos com aprendizado adequado em língua portuguesa, ao invés de 79,8 % em 2015.

Na realidade não ocorreu nenhum desastre educacional nos últimos dois anos, mas apenas a introdução de uma forma  equivocada de sintetizar os dados da Prova Brasil.

A classificação das notas dos estudantes em níveis exige basicamente a definição de pontos de corte na escala usada para expressar as notas. Para estas escolhas, a técnica usada internacionalmente consiste, primeiramente, em  ordenar, por nível de dificuldade, os itens usados no teste. A seguir um painel de professores, depois de informados sobre quantos níveis serão criados, e a função pedagógica esperada de cada um, escolhem os pontos de cortes -- primeiramente de forma individual e depois em grupos. Várias rodadas de discussão são usualmente necessárias para a criação de um  consenso.

Infelizmente, a pesquisa necessária para uso desta tecnologia de definição ainda não foi feita de forma definitiva no Brasil, apesar de grandes avanços recentes. Diante disso, a definição de valores de referência para a escala do Saeb (Sistema de Avaliação da Educação Básica) tem sido feita de forma comparativa. Tanto na definição de metas para o Ideb (Índice de Desenvolvimento da Educação Básica), assim como as metas do movimento Todos Pela Educação e para a criação de níveis nos sistemas de avaliação estaduais, utilizou-se a experiência brasileira no Pisa (Programa Internacional de Avaliação de Estudantes, na sigla em inglês).

LEIA MAIS   Alunos chegam ao Ensino Médio sem saber divisão e interpretação de texto

Basicamente, mediu-se o aumento necessário nos valores obtidos pelos estudantes brasileiros no Pisa para que as notas do conjunto de estudantes brasileiros tivessem a mesma distribuição estatística que a dos estudantes de um país típico da OECD (Organização para a Cooperação e Desenvolvimento Econômico, que criou e aplica o Pisa). Este aumento, transformado em desvios-padrão, é utilizado para criar a distribuição de referência na escala do Saeb.

Nesta distribuição escolheu-se o ponto de 70% para definir o ponto de corte do nível adequado. Dois outros pontos de corte adicionais foram escolhidos, definindo-se quatro níveis: abaixo do básico, básico, adequado e avançado. Os níveis assim obtidos vêm sendo usado há anos em artigos, por muitos sistemas de ensino, em plataformas de acesso aos dados e por setores da sociedade civil. No entanto, é importante registrar que outras escolhas poderiam ser feitas.

Para a divulgação dos dados referentes à Prova Brasil de 2017, o governo federal optou por trabalhar com uma divisão estatística de níveis feita sem comparação externa. Em seguida, arbitrou, sem nenhuma  justificativa, valores para os pontos de corte muito maiores do que os que têm sido praticado. Como consequência, a nova síntese sugere que os resultados em língua portuguesa são melhores do que os resultados em matemática, em completo desacordo com o que tem sido aceito, e que os resultados de aprendizagem de todos os estudantes brasileiros estão em níveis catastróficos.

Usar evidências empíricas em relação aos resultados educacionais (acesso, permanência na escola e aprendizado, assim como indicadores das condições das escolas) é fundamental para a melhoria da educação. Mas isso exige a criação de consensos baseados em análises compartilhadas dos dados. O trabalho que vem sendo feito nessa direção mostra que o sistema educacional tem sérios problemas no aprendizado de seus estudantes, assim como de condições. Mas uma mudança abrupta de metodologia não ajuda no debate.

O governo federal deveria usar a oportunidade para não só corrigir o diagnóstico apresentado  como também para iniciar um processo público de definição dos níveis de referência oficiais para a análise dos dados de aprendizado obtidos pela Prova Brasil.  

José Francisco Soares é integrante do Conselho Nacional de Educação (CNE) e ex-presidente do Instituto Nacional de Estudos e Pesquisas Educacionais Inep)

Artigo compartilhado originalmente na rede de jornalistas de Educação - JEDUCA

Aprofunde sua leitura

Assuntos Relacionados