Como as questões do Enem são feitas

O Inep divulgou nesta quarta-feira (20) os nomes que irão compor uma nova comissão do instituto, criada para avaliar se as questões do Banco Nacional de Itens (BNI) são “pertinentes com a realidade social” e, portanto, poderiam aparecer no Enem. Os escolhidos foram Marco Antônio Barroso Faria (secretário de Regulação e Supervisão da Educação Superior do MEC), Antonio Maurício Castanheira das Neves (diretor de estudos educacionais do Inep) e Gilberto Callado de Oliveira (procurador de justiça de Santa Catarina, representante da sociedade civil). 

A medida chamou atenção porque é a primeira vez desde a criação do Enem que a prova passa por esse tipo de crivo. E foi polêmica porque o exame já tem um sistema de seleção próprio.

O Banco Nacional abriga questões elaboradas ao longo de muitos anos e que passaram por dez etapas antes de serem consideradas adequadas para aparecer em alguma edição do exame. Portanto, as questões da prova do Enem não são feitas ano a ano, como em outros vestibulares.

Nessa seleção, são considerados fatores como os resultados obtidos nas fases de teste (antes do item ir para o BNI), o conteúdo e a temática abordada, visando sempre o equilíbrio da prova em termos de temática e de níveis de dificuldade.

A diferença, agora, é que a seleção de questões não se pautava pela “pertinência com a realidade social”. A partir de agora, questões não escolhidas podem ser reavaliadas. Antes, aquelas que iam para o banco já eram consideradas aptas para irem para o Enem.

Todo o processo de elaboração das questões foi divulgado em novembro de 2018, depois de o recém-eleito presidente Jair Bolsonaro ter criticado uma das perguntas da prova, sobre o dialeto pajubá, linguagem criada pela comunidade LGBT a partir de termos do nagô e do iorubá. Bolsonaro declarou que tomaria conhecimento do conteúdo da prova antes da aplicação das próximas edições.

Segundo o Inep, os dez passos seguidos na elaboração das questões podem levar anos. O primeiro deles começa na seleção, por meio de um edital, da equipe que formulará as perguntas.

Esses colaboradores selecionados passam por um treinamento dado por equipes das quatro áreas do conhecimento que são avaliadas no Enem (Ciências da Natureza e suas Tecnologias, Ciências Humanas e suas Tecnologias, Linguagens e Códigos e Matemática). Eles serão instruídos sobre os critérios para a elaboração e a revisão dos itens.

Então, as questões são elaboradas conforme os parâmetros determinados pelo Inep. Um revisor técnico-pedagógico vai conferir cada uma delas, analisando se os critérios foram atendidos e se há necessidade de modificação.

Caso o revisor faça alguma modificação, especialistas de cada área do conhecimento serão convidados para aprovarem ou não essas mudanças. Eles são guiados por uma ficha de revisão dos itens. Por fim, esses especialistas avaliarão se as questões estão aptas, de acordo com os conhecimentos de cada área, para compor o BNI.

Depois dessas etapas mais teóricas, as questões passam por uma fase de testes empíricos, que fornecerão material para que outros especialistas avaliem a pertinência pedagógica de cada uma — se elas se adequam ao público-alvo do Enem, se são “possíveis” de serem resolvidas, se fazem sentido dentro do modelo da prova e outros critérios.

A fase de pré-teste dos itens é feita com uma amostra populacional com características semelhantes às dos estudantes que fazem o Enem. Além da adequação ao público-alvo, esse “pré-teste” permite avaliar a dificuldade da questão e a probabilidade de acertar a questão “chutando”.

A partir dos resultados dessa etapa é que os últimos especialistas vão fazer análises psicométricas e pedagógicas. Os itens aprovados são então encaminhados ao BNI, ficando à disposição para serem usados nas próximas edições do Enem. Ou, de acordo com a nova medida do Inep, serem reavaliados. 

Finalmente, o último passo é a seleção dessas questões a cada ano, que considera os aspectos já mencionados de conteúdo e temática. Além da questão pedagógica, a equipe que seleciona precisa ficar atenta também à estatística, já que a prova precisa ter um número similar de questões fáceis, difíceis e médias.

Todo o processo de formulação e armazenagem das questões é feito em sigilo, no  Ambiente Físico Integrado Seguro, um espaço de segurança máxima em Brasília. Só é possível acessar esse espaço após uma série de autorizações e procedimentos de segurança, que inclui até identificação por biometria. O acesso é restrito a poucos servidores do Inep e aos colaboradores selecionados pelo edital.

Agora, também à comissão que reavaliará as questões do Banco Nacional de Itens.