Nove motivos para desconfiar do Pisa

Ele dura só duas horas. É realizado apenas a cada três anos. Traz um recorte específico – por idade e por amostra – de uma faixa restrita de estudantes. Mas o barulho que ele provoca... Na Hungria, seus resultados incentivam pedidos de demissão do Ministro da Educação. Na Alemanha, apressam uma reforma completa do ensino. Por aqui, você sabe, a incômoda (e costumeira) lanterninha no ranking reforça a justificativa para modificar o Ensino Médio, nem que seja por Medida Provisória.

Estamos falando, claro, do Pisa, o badalado Programa Internacional de Avaliação de Alunos. Criado em 1997 pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE), conta com mais países a cada edição – a atual reúne 72 nações e inclui o Brasil, que participa das provas desde o ano 2000. Era para ser um simples exame, mas sua divulgação assume hoje ares de espetáculo planetário. A percepção é de que as notas nas provas aplicadas a jovens de 15 e 16 anos – somados aos cruzamentos dos questionários preenchidos por alunos, professores e gestores públicos – seriam um espelho preciso do nível do ensino em cada país.

Será mesmo?

Não há dúvida de que o Pisa é um instrumento útil. O programa oferece diagnósticos, identifica pontos de dificuldade e destaca bons exemplos. Vistos em conjunto, os dados são úteis para estudar as condições de Educação no mundo.

Mas não dá para perder de vista que, como qualquer outra prova, pode e deve ser questionado. Essa, aliás, é uma providência essencial para seu aprimoramento. Se no campo da política ou da mídia essa saudável desconfiança ainda é rara, na academia ela se manifesta com um pouco mais de força. Uma pesquisa na base Scielo, uma biblioteca eletrônica de periódicos científicos, aponta que uma a cada três pesquisas sobre o Pisa questiona aspectos variados da avaliação, da metodologia utilizada ao que classificam como influência excessiva do teste sobre as políticas públicas.

Nesta reportagem especial, você conhece um pouco mais desse lado crítico, que não pretende pôr em xeque a avaliação, mas mostrar a importância de contextualizar seus resultados. Agrupamos em nove tópicos as razões para desconfiar do Pisa.

1- O ranking não significa muita coisa

2- Há críticas às amostras de cada país

3- O exame avalia estudantes em diferentes etapas de escolarização

4- Outras avaliações internacionais têm resultados bem diferentes

5- Não dá para confiar nos dados dos questionários

6- É controverso comparar países desenvolvidos com países pobres

7- É muito difícil importar soluções de outros países

8- Em Educação, não há fórmula infalível para o sucesso

9- As questões podem não medir o que pretendem 

1- O ranking não significa muita coisa
Essa talvez seja a constatação principal. A lista de campeões – e lanterninhas, onde nos incluímos – não é um ranking totalmente preciso. Isso ocorre porque o Pisa é um exame amostral. Quer dizer que apenas uma parte dos estudantes do país faz a prova (no Brasil, foram 23 mil em 2015). Constrói-se a amostra tentando respeitar as características da população total (porcentagens de meninos e meninas, de estudantes na rede pública e particular, de alunos por estado e assim por diante), de modo que suas conclusões possam servir para todos os estudantes de cada nação.

Só que, toda vez que se tenta descobrir o que pensam as pessoas interrogando apenas um pequeno número delas, entra em cena a margem de erro. Igualzinho ao que acontece nas pesquisas eleitorais, quando o resultado, em geral, pode ser dois pontos para mais ou para menos. No caso do Pisa, as margens de erro são publicadas pela OCDE e, apesar de serem ignoradas pelos governos e pela imprensa, podem ser muito maiores que as margens das eleições.  A Finlândia, que ocupa o 13º lugar no ranking de Matemática, pela margem de erro pode estar entre o 10º e o 16º posto. Já as províncias da China, ranqueadas em 27º em leitura, pela margem de erro podem estar posicionadas entre o 17º e o 32º lugar.

A coisa complica ainda mais quando se analisam os subgrupos dentro de um país. Como a amostra diminui, a margem de erro aumenta. É o que ocorre na análise dos resultados por estado. O caso mais gritante é o do Pará. O estado é o 17º em Matemática e Ciências, mas, pela margem de erro, pode estar entre o 7º e o 27º (último lugar). Em Leitura, é o 16º, mas pode estar entre o 5º e o 26º (penúltimo). “Estatisticamente, a análise por rankings é limitada. Vale mais olhar os países por grupos: os de alto, médio e baixo desempenho”, afirma Ernesto Faria, gerente da área de qualidade da Fundação Lemann, mantenedora de NOVA ESCOLA.

 

2- Há críticas às amostras de cada país

Da forma como a amostra de um país é selecionada, os 23 mil estudantes brasileiros que fizeram o Pisa equivaleriam ao conjunto dos jovens de 15 anos do Brasil, certo?

Não exatamente. Primeiro, porque o teste não considera, obviamente, quem está fora da escola. Mas não é só isso: ficam excluídos, ainda, alunos que não tenham chegado, no mínimo, ao 7º ano. Esses dois fatores, somados às perdas amostrais, fazem com que o resultado não possa ser extrapolado para o conjunto da população. Segundo o relatório técnico do Pisa 2015, o grupo analisado correspondeu a 71% do total 3,4 milhões de jovens brasileiros de 15 anos.

Há ainda outros pontos de cautela em relação às amostras:

Taxa de não-resposta: Para evitar que apenas os alunos mais bem preparados de cada escola façam a prova, a OCDE estabelece patamares altos: é preciso participação de um mínimo de 85% das escolas selecionadas e 80% dos estudantes. Em alguns casos, porém, a entidade aceita índices inferiores, incluindo as notas nos resultados finais. Na última avaliação, Amapá e Paraná não alcançaram os percentuais requeridos, o que requer maior cuidado na análise dos resultados do Pisa 2015 para esses dois estados.

Exclusão de alunos: Cada país pode excluir até 5% do total da população da participação do exame. Há várias razões aceitas para a exclusão: escolas localizadas em regiões remotas ou inacessíveis, alunos com baixo entendimento da língua nacional ou com deficiências intelectuais severas. O Brasil, por exemplo, não aplicou o exame nas escolas indígenas, nas escolas rurais da região Norte e nas escolas internacionais.

Em 2012, oito nações ultrapassaram o limite de 5%: Dinamarca, Estônia, Noruega, Espanha, Estados Unidos, Suécia, Reino Unido e Luxemburgo – campeão da exclusão, com 8,4% do total de estudantes. A suspeita é que esses países estariam deixando de fora os estudantes com mais dificuldade, o que poderia aumentar artificialmente suas notas. É o que argumenta o físico e estatístico teórico Joachim Wuttke, do Jülich Centre for Neutron Science (JCNS), na Alemanha, no artigo Uncertanties and Bias in PISA (“Incertezas e vieses no Pisa”, na tradução em português).

Alunos com deficiência: Eles participam ou não da avaliação? A resposta varia de edição para edição e de país para país. No Pisa de 2003, o Reino Unido deixou de fora as escolas especiais, enquanto a Alemanha as incluiu. No artigo Cautions on OECD’s Recent Educational Survey (PISA) (“Cautelas na recente pesquisa educacional da OCDE (PISA)”, na tradução em português), publicado em 2003, o pesquisador estima que isso pode ter aumentado a média britânica em 8 pontos.

Um segundo aspecto se refere às provas simplificadas, versões mais curtas do teste normal (uma hora em vez de duas), desenhadas especialmente para estudantes de inclusão. No Pisa 2003, segundo Joachim Wuttke, do JCNS, apenas 0,9% dos austríacos fizeram essa modalidade, entre os húngaros o índice foi de 6,1% - o desempenho da Hungria no teste simplificado foi, em média, 200 pontos superior ao dos austríacos. A desconfiança, então, é que alguns países poderiam aplicar o teste em alunos que não possuem deficiência.

 

3- O exame avalia estudantes em diferentes etapas de escolarização

A ideia de estabelecer um corte na amostra por idade sofre críticas porque os sistemas educacionais não são uniformes no mundo. Em alguns países, a escolarização básica termina nessa idade. Em outros, como no Brasil, a maioria dos alunos ainda tem mais dois anos pela frente. Além disso, diversas nações apresentam diferentes modalidades de ensino. Aqui no Brasil, por exemplo, é possível falar na distinção entre o ensino técnico e o Ensino Médio regular.

Para completar, há ainda o problema da distorção idade-série, que costuma atingir mais fortemente os alunos das nações subdesenvolvidas. No Brasil, por exemplo, 10,2% dos estudantes que fizeram o exame estavam no 7º ou 8º ano, índice bem superior à média mundial (5,9%). A variação entre os estados também é grande: enquanto em São Paulo apenas 0,4% da amostra ainda estava no 7º ano, no Sergipe o número pula para 12%. A conclusão é que o Pisa mede alunos que podem estar aprendendo coisas muito diferentes no momento da prova.

 

4- Outras avaliações internacionais têm resultados bem diferentes

O Pisa não é a única avaliação internacional de larga escala. As duas mais conhecidas são a TIMSS (Estudo de tendências internacionais em Matemática e Ciências, em tradução livre) e a PIRLS (Progresso no Estudo Internacional de Alfabetização e Leitura, em tradução livre). O quadro abaixo resume diferenças e semelhanças entre os três testes:

Nome do exame	Pisa	TIMSS	PIRLS
Frequência	A cada três anos, desde 2000	A cada quatro anos, desde 1995	A cada cinco anos, desde 2001
Idade dos alunos	Entre 15 anos e 3 meses e 16 anos e 2 meses	10 e 14 anos	10 anos
Áreas	Leitura, Matemática e Ciências	Matemática e Ciências	Leitura
Foco	Competências para o século 21	Currículo dos países participantes	Currículo dos países participantes
Organizador	OCDE (Organização para a Cooperação e Desenvolvimento Econômico)	IEA (International Association for the Evaluation of Educational Achievement)	IEA (International Association for the Evaluation of Educational Achievement)
Número de países participantes	72, em 2015	49, em 2015	55, em 2011
Amostra mínima em cada país	4,5 mil estudantes	4 mil estudantes	3,5 mil estudantes

As diferenças de faixa etária dos alunos, de foco do exame e de amostra mudam muita coisa. O caso mais emblemático é o da Rússia. Em Matemática, o país aparece em 19º na lista do Pisa e em 6º na lista do TIMSS. O fosso aumenta entre Pisa e PIRLS, que mede Leitura. A Rússia é 28º no Pisa, mas alcança a vice-liderança no PIRLS.

 

5- Não dá para confiar nos dados dos questionários

Além da prova em si, o Pisa é composto por outros questionários preenchidos por alunos, professores e gestores. O objetivo deles é coletar dados para entender melhor as condições do ensino em cada país. A dificuldade, aqui, é que muitos deles estão incompletos, o que torna incerta qualquer análise.

Ao responder aos questionários detalhados sobre a situação das escolas em 2015, mais de um a cada quatro gestores brasileiros deixou de responder a perguntas tão básicas quanto a que indaga se a escola é pública ou privada. Quando se observa por Estado, não se sabe qual a rede de 59% das escolas da Bahia, 53% das do Piauí e 43% das do Maranhão. Outra fonte de inconsistências são divergências na maneira de responder a uma mesma questão. Quando se fala da proporção de professores por nível de formação, uma escola podia responder que tinha 20 professores, dos quais 20 tinham graduação e 20 tinham mestrado. Outra, no mesmo Estado, respondia que, dos seus 46 professores, 0 tinham graduação e 46 tinham mestrado.

Mas o problema não é só nosso. Na Suécia, um dos países mais bem colocados em todos os índices socioeconômicos mundiais, nenhuma escola respondeu essas e outras questões. Pela quantidade de questões com o mesmo padrão, trata-se de uma escolha deliberada.

 

6- É controverso comparar países desenvolvidos com países pobres

A OCDE afirma – acertadamente – que pobreza não é destino e que o impacto do contexto social no desempenho da Educação varia bastante em diferentes países e períodos. Mas é inegável que o topo da tabela é ocupado, em sua maioria, por países ricos. Já a rabeira, quase invariavelmente, está na mão dos países pobres ou em desenvolvimento. A recomendação básica, então, é que os pobres imitem os ricos.

Mas a opinião não é unânime. Em 2014, 83 professores e pesquisadores de universidades de diversos países publicaram uma carta aberta (link em inglês) publicada no jornal britânico The Guardian denunciando a prática como uma forma de “colonialismo educacional”. Eles  afirmaram que a influência de fatores como a desigualdade socioeconômica são determinantes no resultado do exame e defendem que é mais produtivo fazer comparações com países de realidades mais próximas. No caso do Brasil, vale observar nações como Uruguai, Argentina, México e Chile, os europeus Portugal e Espanha e até mesmo os Estados Unidos. “Apesar de ricos, os americanos possuem desigualdades sociais expressivas, além de terem um sistema educacional descentralizado no nível estadual, como nós”, afirma Tufi Machado Soares, professor da Universidade Federal de Juiz de Fora (UFJF), em entrevista ao canal de vídeos de NOVA ESCOLA.

 

7- É muito difícil importar soluções de outros países

Parece lógico imitar o que dá certo. Vamos pegar de novo o exemplo da Finlândia, que a OCDE apresenta como um caso a ser seguido. Alguns ingredientes de seu sucesso são a qualificação dos professores – por lá, a docência exige mestrado –, a escolarização gratuita para todos, um currículo básico com uma parte diversificada e um alto grau de autonomia para as escolas. Nada de outro mundo. Há, inclusive, características presentes no Brasil. Ocorre que essa mistura funciona tão bem na Escandinávia por outras razões.

O sistema educacional é parte de uma estrutura social mais ampla: um reduzido nível de desigualdade, continuidade de políticas públicas, famílias participativas, uma população pequena e relativamente rica e homogênea – aspectos socioculturais que se mantêm estáveis há décadas. Para resumir: no caso finlandês, a equidade na educação é mais um desdobramento da equidade na sociedade do que apenas o resultado de um conjunto de medidas da área, escrevem os pesquisadores Maija Salokangas, do Trinity College Dublin, na Irlanda, e Jaakko Kauko, da Universidade de Helsinki, na Finlândia, no artigo Tomar de Empréstimo o Sucesso Finlandês no Pisa?.

 

8- Em Educação, não há fórmula infalível para o sucesso

O Pisa dá visibilidade às boas práticas dos países com melhores resultados. Acontece que mesmo os campeões diferem enormemente entre si. O conjunto de países asiáticos de alto desempenho, por exemplo, tem uma Educação mais tradicional, baseada no ensino centralizado, na disciplina e com forte presença de lista de exercícios e testes. A Finlândia, de outro lado, segue um modelo bem diferente, com autonomia para escolas e professores e poucas avaliações – os alunos não passam por nenhum exame nacional até o fim da Educação Básica.

Em resumo: para saber o que dá certo, é preciso contextualizar as soluções adotadas. E isso o Pisa não faz – a produção de indicadores aparentemente neutros e transferíveis de um país a outro é um dos eixos de sustentação da avaliação internacional, como apontam os pesquisadores António Nóvoa, da Universidade de Lisboa, em Portugal, e Tali Yariv-Mashal, da Universidade Columbia, nos Estados Unidos no artigo Comparative Research in Education: a Mode of Governance or a Historical Journey? (“Pesquisa comparativa em Educação: um modo de governança ou uma jornada histórica?”, na tradução em português). E, no limite, a necessidade de contextualizar cada número obtido inviabilizaria a comparação – seria um exagero. Mas, antes de tirar conclusões baseadas nas notas dos alunos, não custa lembrar que pode haver muita coisa por trás dos números.

 

9- As questões podem não medir o que pretendem

A OCDE mantém em segredo a maioria das perguntas das provas. A justificativa é que muitas questões são usadas mais de uma vez, para que os países possam comparar sua performance ao longo do tempo. O que a entidade disponibiliza são questões modelo, já descartadas da avaliação. “Não vejo problema”, afirma o matemático Rubem Klein, consultor da Cesgranrio. “Ocorre o mesmo em outras avaliações que usam a metodologia da teoria de resposta ao item, como o Enem e a Prova Brasil. Os exemplos são suficientes para dar uma ideia de como as competências são medidas”, diz.

Se a divulgação parcial não incomoda tanto, o pouco que vem à tona suscita críticas – novamente, algo que ocorre em toda avaliação. A grande ambição da OCDE é realizar um teste que não foque em conteúdos curriculares, mas em competências necessárias para que os jovens de 15 anos possam se tornar “cidadãos ativos, reflexivos e inteligentes”. Pela definição da organização, uma competência envolve a capacidade de mobilizar recursos intelectuais para resolver problemas em contextos específicos. Mas, analisando as situações-problema nas provas de Matemática, os pesquisadores franceses Daniel Bart e Bertrand Daunay veem questões tipicamente escolares, descontextualizadas.

As questões conhecidas até o momento, dizem os pesquisadores, estão distantes de poder medir aspectos tão ambiciosos quanto as competências. Para alguns, isso seria virtualmente impossível. Na opinião de Yong Zhao, especialista em políticas públicas e avaliação da Universidade de Kansas, nos Estados Unidos, as qualidades necessárias para se sair bem no século 21 tem mais a ver com habilidades não cognitivas: confiança, resiliência, determinação, traquejo social e motivação, como ele explica em seu livro Who’s afraid of the big bad dragon? (“Quem tem medo do grande dragão mau?”, na tradução em português).

Assuntos Relacionados