Falta diversidade cultural ao Pisa? Pesquisadores dizem que sim

O Programa Internacional de Avaliação de Alunos (Pisa) é a maior avaliação de Educação em nível mundial. Cerca de 80 países participaram da edição deste ano do teste realizado pela  Organização para a Cooperação e Desenvolvimento Econômico (OCDE). Apesar do alcance e do prestígio, o teste também é alvo de críticas de muitos especialistas – e não é de hoje. Há argumentos fortes com relação à amostragem, dados e comparação entre países com desenvolvimento socioeconômico muito distintos

. As críticas mais recentes são relativas a tradução e cultura. “O Pisa constrói seus testes e divulga seus resultados como se eles pudessem, uns e outros, resistir a qualquer particularidade – de tempo, de lugar, de contexto, de língua e cultura”, dizem os pesquisadores Bertrand Daunay e Daniel Bart, da Universidade de Lille, na França. “A interculturalidade do Pisa é uma negação de toda a diversidade cultural”.

LEIA MAIS   Nove motivos para desconfiar do Pisa

A cada três anos, os testes do Pisa são aplicados em vários países – tendo como base um exame amostral do desempenho de alunos de 15 anos. A proposta é produzir indicadores de Leitura, Matemática e Ciências que contribuam para a discussão da qualidade da Educação Básica e que possam subsidiar políticas educacionais. Acontece que a divulgação do ranking gera um frenesi sobre a classificação dos melhores e piores países. Na última edição, que contou com 72 países, o Brasil ocupou a 59ª posição em leitura, 66ª em Matemática e ficou com o 63º lugar em Ciências.

LEIA MAIS   Pisa: Brasil estaciona em Ciências e Leitura e cai em Matemática

Essa lógica geral do programa e a constante comparação entre os países não consideram as questões locais e nem sistemas muito diferentes de Educação, como Finlândia e Brasil, por exemplo. E aí está o erro, apontam os professores Bertrand Daunay e Daniel Bart. “O Pisa não busca descobrir as especificidades e as semelhanças dos sistemas escolares e culturas. Pelo contrário, ele faz comparações entre países para abordar as competências dos alunos limitando os possíveis efeitos das peculiaridades culturais”, afirma Daunay. Para o pesquisador, que expressou suas ideias no evento “O discurso do Pisa: questionando a interculturalidade de uma avaliação internacional”, realizado na Faculdade de Educação da Universidade de São Paulo (FE-USP), a construção da avaliação deveria considerar alguns pontos com maior atenção. Entre eles, excluir itens muito locais, mas também se basear em figuras estereotipadas e capturar competências genéricas, desconexas da realidade.

Falta de conexão com a realidade
As questões usadas no Pisa não são divulgadas. Como elas são utilizadas em mais de uma edição, é possível ter acesso apenas às que já foram descartadas. A análise dos pesquisadores se baseia nessa amostra. De acordo com o programa, a proposta não seria avaliar conteúdos curriculares, mas competências necessárias à “vida real”. No entanto,  para Bertrand Daunay, o teste traz exercícios escolares tradicionais com propostas descontextualizadas da realidade. Veja abaixo um exemplo apresentado pelo professor (confira aqui as questões liberadas pelo Pisa):

Além disso, Bertrand também fortalece o argumento do antropólogo e crítico do Pisa Jack Goody sobre a existência de competências que atendam de forma genérica todas as nações. “[Elas são] contestáveis porque diferentes países têm diferentes modos de vida”, escreveu Goody. “O objetivo não pode ser a competência para ‘uma vida individual e socialmente útil’ em abstrato, uma vez que tais vidas diferem enormemente tanto dentro das culturas como entre elas”, segue o antropólogo.

Para Ocimar Alavarse, professor especialista em avaliação da FE-USP, esse seria um problema das avaliações mundiais. “Para avaliar em larga escala, é preciso definir um objeto em comum. Talvez não tenhamos em larga escala a definição desse objeto”, analisa Ocimar. E completa: “Se estamos analisando Educação de padrão mundial, começamos a formar um padrão e construções discursivas”.

LEIA MAIS   Avaliação Nacional de Alfabetização e Prova Brasil sofrem alterações em 2019

No caso da questão citada acima, Bertrand questiona as figuras fictícias construídas como “realistas”, já que a prova se propõe a considerar contextos baseados em experiências e práticas verdadeiras. “Esse curioso fazendeiro, insensível às necessidades da circulação e agricultura mecanizada, se impôs incríveis restrições para plantar um pomar com a aparência de um rigoroso jardim francês, regido apenas pelas leis da geometria e da matemática… É isso a vida real?”, questiona.

Problemas de traduções
O Pisa conta com protocolos de tradução. A proposta desses protocolos é garantir que os materiais sejam equiparáveis em suas diferenças linguísticas e semânticas. Mas alguns fatores de tradução podem interferir na interpretação e desempenho dos alunos. Um deles é a extensão dos textos. Uma questão baseada em um trecho do livro “Cem anos de solidão”, do escritor colombiano Gabriel García Márquez, por exemplo, tem 195 palavras na prova em Língua Espanhola. Na Língua Inglesa, são 226. “Pode parecer uma pequena diferença, mas quando você considera todas as questões da avaliação, esse aumento pode gerar um fator de cansaço de leitura mais forte em uma país do que em outro”, considera Ocimar.

LEIA MAIS   “Cem Anos de Solidão”: como usar um livro de 50 anos na sua aula?

O teste é aplicado na língua da instituição que aplica a prova. Assim, em países em que mais de uma língua é utilizada, isso significa que a língua usada nas questões (e até o alfabeto) podem ser diferentes das utilizadas cotidianamente pelos estudantes. Bertrand Daunay traz o exemplo da Tunísia. “A maioria dos  alunos que faz os exames do Pisa [na Tunísia] é do Ensino Médio. Nessa etapa, a língua de ensino nas áreas técnica, científica e matemática é o francês, mas as perguntas foram feitas em árabe, e os alunos deveriam responder em computadores equipados com teclados em alfabeto latino”, relata o professor.

O problema se estende na correção. Neste mesmo país em que as perguntas estavam formuladas em árabe, as instruções de correção estavam em francês. “Isso é realmente um problema quando pensamos que o que está em questão é a qualidade da resposta do aluno a uma questão de compreensão”, ressalta. Em 2016, Claude Meisch, ministro da Educação Nacional, da Infância e da Juventude de Luxemburgo, questionou a participação do país na avaliação justamente pela variedade das línguas usadas no território e dos fluxos migratórios.

Linguagem figurada é mesmo universal?
Outro ponto questionado por Bertrand Daunay e Daniel Bart é o uso da linguagem figurada no teste, que seria considerada “universalmente familiar” e com “conotação similar em todas as culturas”, de acordo com a própria OCDE. Essa suposição poderia também impactar os resultados de interpretação de texto. “Supor certas figuras literárias como familiares a qualquer pessoa exige excluir do processo de compreensão, ao mesmo tempo, o autor, a língua, o contexto, a cultura e o discurso”, defende a dupla de pesquisadores.

Não se pode usar o Pisa sem questionar
Tanto para Bertrand quanto para Ocimar Alavarse, seria preciso considerar os resultados com mais cautela e olhar além do ranking. “Os relatórios da OCDE tiram conclusões que não poderiam ser tiradas das provas. É preciso reconhecer as limitações dela”, diz Ocimar. Apesar disso, as conclusões são usadas de diferentes formas conforme o país. Na Europa, por exemplo, o teste influencia mudanças em políticas públicas. “Todas as questões políticas educacionais são justificadas pelo Pisa”, comenta Bertrand. Seu alerta é que o teste não tem uma concepção de Educação aprofundada e pode promover diferentes modelos ao longo dos anos. Além disso, haveria o problema já citado da divergência entre discurso e prática. As críticas, de acordo com o francês, seriam justamente para discutir os problemas da avaliação e abrir espaço para corrigi-los.

Aprofunde sua leitura

Assuntos Relacionados