Entenda como funciona a Teoria de Resposta ao Item, m?todo de avaliação do Enem

Entenda como funciona a Teoria de Resposta ao Item, método de avaliação do EnemObjetivo da TRI é possibilitar que o Enem seja, futuramente, um teste de proficiência que possa ser realizado a qualquer momento

Qualquer disciplina das matrizes que compõem o conteúdo programático do Exame Nacional do Ensino Médio (Enem) não tem tanta capacidade de gerar dúvidas quanto o método de avaliação adotado pelo exame, a Teoria de Resposta ao Item (TRI). Divulgado como um método capaz de calcular a probabilidade da proficiência dos alunos examinados, a TRI ainda causa estranhamento em candidatos e professores acostumados com a avaliação pelo percentual de acerto de questões.

A TRI também considera os acertos, mas, mais do que isso, aplica o critério da dificuldade dos itens — que são as questões — para, com o uso de uma base probabilística, conseguir dizer que grau de desempenho cada aluno tem diante das questões que se apresentam. O método é novo no Enem, que utilizará a TRI pela segunda vez, no exame deste ano. Mas a forma de avaliação é aplicada com sucesso em testes de proficiência em língua inglesa, que permitem o ingresso em cursos no exterior. De acordo com o pesquisador do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (UFJF), Manuel Palácios, o método é eficaz em apontar o nível de desempenho que um examinado tem sobre qualquer assunto.

"Esse tipo de exame, avaliado com o uso da TRI, tenta extrair do aluno, a partir do padrão de respostas que se apresentam, a estimativa de sua proficiência. Então, se você acerta uma questão de nível 2, quer dizer que você tem uma provável proficiência superior a 2 em determinado conteúdo." A partir daí, o teste vai propor questões de dificuldades diversas para ver até onde o aluno mantém um índice de acertos em questões do mesmo nível. As respostas dadas aos itens vão calibrar a dificuldade das questões e também a proficiência do aluno. "Aí sim, chega-se a um índice que irá apontar a proficiência do examinado."

• Desatenção aos detalhes pode desclassificar candidatos do Enem
• Enem e 2ª fase da UFJF têm níveis de dificuldade distintos
• Controle da ansiedade e da alimentação são importantes para garantir bons resultados no Enem

Tomemos como exemplo, que a proficiência de um primeiro aluno, no final do exame, fique em 250, numa escala de 100 a 500. Isso quer dizer que ele foi capaz de responder corretamente a questões que também tem a dificuldade por volta de 250, na mesma escala. Já um segundo examinado que for avaliado com 450 é capaz de responder corretamente questões mais difíceis que o primeiro aluno, que teve nota 250. "O resultado tenta ir além de uma contagem simples. Por isso, pode acontecer de um aluno que acertar 17 questões, na nota final, ter mais pontos que o examinado que acertou 18."

Questões calibradas apontam a proficiência

As contas para se chegar aos números finais da nota são feitas por um software. O programa utiliza os itens já calibrados em pré-exames e na última edição do Enem, com sua dificuldade estimada definida. O analista de dados do CAEd, Luís Fajardo Pontes, explica como se dá a calibragem das perguntas. "Uma gama de questões é apresentada para alunos de diferentes níveis, inclusive para estudantes de séries distintas. Muitos desses itens se repetem para todos os examinados. Naturalmente, a probabilidade de acerto da resposta vai subir conforme a habilidade — a proficiência — do aluno. Essa relação vai formar uma curva que, inicia próxima de zero e se estabiliza em 1 [veja gráfico abaixo]." Segundo Pontes, cada uma das questões é levada para o gráfico e, quanto mais para a direita, mais difícil é a questão. "Com as questões calibradas, é possível começar a medir o desempenho dos examinados. Eles vão aparecer na curva, em posições mais altas ou mais baixas, conforme sua proficiência."

Analisando o gráfico abaixo, é possível perceber a explicação. Suponhamos que os círculos são alunos do quinto ano do ensino fundamental, os quadrados são estudantes do sétimo ano e que os triângulos são alunos do nono ano. Uma determinada questão de matemática será difícil para os alunos do quinto ano, que aparecem próximo do zero, mediana para alunos do sétimo ano, próximos de 0,5, e fácil para alunos do nono ano, que se aproximam de um. "Se juntarmos os desempenhos de todos em um novo gráfico, que mostra a curva da média das notas, você teria um gráfico sino, cuja média é estabelecida como zero e quem está acima da média avança positivamente na escala numérica. Aqueles que estão abaixo ficam com valores negativos."

Ocorre uma transformação numérica linear, que vai dar nota do Enem. "Por exemplo, todos os examinados partem com a nota 100 e, então, aqueles que estão na média continuam com 100. Quem está um ponto acima fica com 101 e quem está com um ponto negativo, fica com 99." Segundo Pontes, a TRI possibilita que mesmo com a aplicação de provas com questões diferentes é possível obter índices de proficiência equivalentes. "Ocorre uma rotação de itens na prova, mas há uma preocupação em equilibrar a dificuldade das questões, levando em conta a calibragem. Além disso, é preciso uma boa distribuição dos temas das perguntas." Pontes explica que, mesmo que um aluno receba uma prova mais difícil, é mais vantagem usar o TRI que a simples contagem. "O examinado que responder a uma prova mais difícil fica prejudicado no método da porcentagem de acertos."

Os textos são revisados por Thaísa Hosken