O Pisa além do ranking
Um retrato dos resultados e das questões do exame de leitura mostra em que precisamos avançar
POR: Fernanda SallaNo ranking geral do Programa Internacional de Avaliação de Alunos (Pisa), o Brasil é o 53º colocado entre os 65 países participantes. Se compararmos o desempenho em relação à primeira edição, em 2000, os cerca de 20 mil alunos de 15 anos que realizaram o exame conseguiram elevar em 9% a média brasileira, melhoria insuficiente, entretanto, para nos distanciar das últimas posições da lista. Repercutidos em jornais e revistas, esses números geram reações que variam do espanto ao desânimo. Mas não vão além disso. Para que essa espécie de Copa do Mundo da Educação ajude, de alguma forma, a aperfeiçoar o ensino, é preciso mergulhar no oceano de informações que a Organização para Cooperação e Desenvolvimento Econômico (OCDE), clube das nações mais ricas do planeta e responsável pela realização da prova, disponibiliza assim que os resultados são publicados.
O principal recurso é o relatório Pisa 2009 Results: What Students Know and Can Do (Resultados do Pisa 2009: O Que os Estudantes Sabem e Podem Fazer), um compêndio de 276 páginas com dezenas de tabelas, estatísticas e análises sobre o exame. NOVA ESCOLA esquadrinhou o material com a ajuda das especialistas Maria Teresa Tedesco, do Colégio de Aplicação da Universidade do Estado do Rio de Janeiro (UERJ), Gisele Gama, consultora do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e diretora-presidente da Abaquar Consultores, em Brasília, e Kátia Lomba Bräkling, coautora dos Parâmetros Curriculares Nacionais (PCNs) e professora do Instituto Superior de Educação Vera Cruz (Isevec), em São Paulo.
Esta reportagem é o resultado desse trabalho. Aqui, você confere detalhes sobre diversos aspectos do exame de leitura, a ênfase da edição de 2009 (o que, na prática, significa que a prova tem mais questões dessa área em relação às outras duas avaliadas, Matemática e Ciências). Um quadro-resumo sintetiza o que a prova avalia e como isso é feito (leia na próxima página). Um estudo dos gráficos mostra quem são os alunos que mais precisam de ajuda - infelizmente, eles são mais do que se imagina (leia o quadro abaixo). Três textos da prova de 2009 são comentados para exemplificar como o conhecimento é aferido pelas questões. Por fim, apresentamos um histórico da avaliação, o que ela revela sobre o ensino brasileiro e suas vantagens e limitações.
Pior do que se pensa
Quase 60% dos alunos brasileiros têm baixa proficiência - ou nem sequer fizeram a prova
Quando se fala do mau desempenho brasileiro do Pisa, costuma-se mencionar a quantidade de alunos nos níveis mais baixos de proficiência. Na prova de leitura, quase metade tirou no máximo nota 2. É muita gente, mas a situação verdadeira é ainda pior: falta considerar quem está fora da escola ou em situação de atraso escolar (pelos critérios da OCDE, alunos de 15 anos que nem mesmo chegaram à 7ª série). No caso brasileiro, esse grupo corresponde a 19,4% da população na faixa etária avaliada - índice alto em relação aos países líderes do ranking (veja o gráfico abaixo). A soma do contingente fora da escola com o de baixa proficiência dá 59,4%. Ou seja: seis em cada dez jovens de 15 anos ou não reúne condições para fazer a prova ou não é capaz de compreender textos relativamente simples.
Alunos fora da escola ou com desempenho ruim são a regra na América Latina
* População de 15 anos não matriculada ou cursando pelo menos a 7ª série.
Fonte: PISA 2009
Como funciona a prova de leitura
Realizado a cada três anos, o Pisa tem como objetivo determinar em que medida os estudantes na faixa de 15 anos possuem conhecimentos para uma inserção participativa na sociedade. A aferição utiliza como metodologia a Teoria da Resposta ao Item (TRI), que exige a repetição de perguntas em diversas edições para criar uma série de comparação. Na parte de leitura, o desempenho é avaliado em três competências: identificação e recuperação de informações, integração e interpretação, reflexão e avaliação. A escala avaliativa - usada para medir a dificuldade da questão e a nota dos alunos - comporta sete níveis de proficiência: 1b, 1a, 2, 3, 4, 5 e 6, sendo 1b o mais baixo, e 6, o maior. Um mesmo texto pode conter questões que exijam diferentes capacidades e avaliem diversos níveis de proficiência.
"A prova do Pisa é extensa e requer fôlego de leitura. Aí já aparecem as primeiras dificuldades dos nossos estudantes, pois é preciso que eles sejam capazes de entender e não apenas decodificar o que está escrito", afirma Gisele. Nesse ponto, conta muito o contato constante com diferentes gêneros e seus portadores (jornais, revistas, enciclopédias, livros etc.), o que permite antecipações sobre o que se pode encontrar. Por exemplo: num texto jornalístico, sabe-se que o título da reportagem traz (ou deveria trazer) o fato mais importante. Saber isso agiliza a localização de dados e o entendimento global. Trabalhar essas competências não é uma tarefa exclusiva do professor de Língua Portuguesa. "Ao reproduzir a variedade de tipos de textos que existem na vida real (mapas, tabelas, lista de instruções etc.), o Pisa apresenta elementos presentes em várias disciplinas. A leitura faz parte de todas elas", afirma Gisele.
A situação piora quando se pede que os jovens brasileiros reflitam sobre o que está escrito. Um sintoma disso são as inúmeras respostas em branco nas questões discursivas. Para a especialista, esse problema pode estar sendo agravado pelo tipo de exame que estamos habituando nossos alunos a fazer. Na Prova Brasil, por exemplo, há apenas questões de múltipla escolha, o que não incentiva a prática de exprimir as reflexões por escrito. "Essa falta de familiaridade faz com que os estudantes não estejam acostumados a dar opinião sobre o que aprendem", completa.
Apesar de sua inegável influência nas políticas públicas e nas salas de aula, o Pisa não está isento de ressalvas. No artigo La Internacionalización de la Evaluación de los Aprendizajes en la Educación Básica, a argentina Emilia Ferreiro aponta que é bom tê-las em mente para não "aplicar cegamente as receitas dos organismos internacionais, aqueles que atuam como se soubessem de tudo de antemão". Uma primeira crítica mira o interesse principal do exame: a aquisição de competências. De acordo com a especialista, essa perspectiva coloca o ensino de conteúdos em segundo plano, o que é um erro, já que é fundamental conhecer as teorias e ideias estruturantes de cada área. Assinalando a falta de diálogo dos exames internacionais com as culturas latino-americanas, Emilia afirma que a prova não consegue medir o que, de fato, se ensina. Para que isso ocorra, seria preciso que o exame considerasse o currículo de cada país. Por fim, a pesquisadora considera injusto responsabilizar apenas as instituições escolares pelos maus resultados, uma vez que os problemas da Educação têm raízes que vão da desigualdade social à falta de capacitação. Um bom caminho, diz Emilia, seria inspirar-se no exemplo da Finlândia, onde a profissão docente é valorizada. "Quando poderemos dizer algo assim na América Latina?", questiona ela.
Como funciona a prova de leitura
Aplicado a cada três anos, exame afere competências de alunos de 65 países
Objetivo
Avaliar a capacidade dos jovens de 15 anos de entender textos, interpretá-los e refletir sobre eles, de modo a conseguir atender aos objetivos específicos da leitura, desenvolver seu conhecimento e participar da sociedade.
Foco em interpretação e não na decodificação ou na busca de informações literais
Formatos de textos
Contínuo Inclui diferentes tipos de prosa e seus gêneros: textos informativos (reportagens e verbetes), argumentativos (editoriais e artigos) e ficcionais (fábulas, contos etc.).
Não contínuo Texto em que o conteúdo se encontra disperso em diferentes blocos: gráficos, mapas, diagramas e listas. Se vier acompanhado de um texto contínuo (como uma reportagem), torna-se um texto misto.
Múltiplo Composto de textos independentes (que podem ou não ter o mesmo gênero) reunidos em coletânea para propósitos específicos (comparar opiniões, mostrar diferentes formas de apresentar uma informação etc.).
Textos não contínuos e múltiplos são pouco trabalhados no Brasil
Competências avaliadas
Acessar e recuperar informações Afere a capacidade de encontrar e coletar informações específicas, que podem estar explícitas ou exigir que se relacionem dados do texto.
Integrar e interpretar o que se lê Envolve fazer a relação entre diferentes partes do texto para processar o que foi lido e entender o assunto tratado. Inclui identificar relações de causa e efeito, equivalência e comparação.
Refletir e avaliar o sentido de um texto Exige relacionar o que está escrito com informações e valores externos ao material, como experiências pessoais e conhecimento específico sobre o tema tratado.
Um mesmo texto pode servir para avaliar diferentes competências
Quer saber mais?
CONTATOS
Gisele Gama
Katia Lomba Bräkling
Maria Teresa Tedesco
INTERNET
Artigo La Internacionalización de la Evaluación de los Aprendizajes en la Educación Básica, de Emilia Ferreiro (em espanhol)
Relatório Pisa 2009 Results: What Students Know and Can Do (em inglês)
Tags