ChatGPT derrapa na interpretação, mas acerta 80% do 1º dia do Enem 2023

O ChatGPT também fez a prova do Enem 2023! Assim como os 2,8 milhões de estudantes que estiveram presentes no primeiro dia de provas desta edição, o especialista em Inteligência Artificial Felipe Pacheco colocou a Inteligência Artificial (IA) para trabalhar pedindo que ela resolvesse as 90 questões de Ciências Humanas e Linguagens do exame. No teste realizado, o ChatGPT acertou 80% do primeiro dia de provas do Enem 2023. A experiência foi relatada na conta de Pacheco no X (antigo Twitter).

+ Com textos longos e temáticas sociais, Enem 2023 exigiu menos conteúdo

Foram dois testes, o primeiro com o caderno em que as 5 questões de idioma estrangeiro eram de inglês, e o segundo com as de espanhol. Na prova com as questões em inglês, o robô acertou 73 das 90 questões, o equivalente a 81% do exame. Já na prova com espanhol, o número de acertos cai para 72, isto é, 80%.

Para realizar o teste, Pacheco tirou um print de todas as questões escaneadas da prova e enviou para a versão paga do ChatGPT-4, que consegue ler textos escritos em imagens. Nos comandos personalizados, o especialista instruiu que o robô agisse como se fosse um “professor que dá aula de preparação para o Enem”, e solicitou que ele respondesse a alternativa correta de cada questão.

O gabarito usado para comparação foi a correção extraoficial realizada pelo Curso Anglo, publicado também aqui no GUIA DO ESTUDANTE.

🤓 QUANTAS QUESTÕES O CHATGTP ACERTARIA NO ENEM?

Bom, eu passei questão por questão dessa primeira fase do ENEM 2023 no ChatGPT e ele faria…

73/90 na prova com inglês (81%)
72/90 na prova com espanhol (80%)

(Segundo o gabarito do G1 para a prova branca)

Vamos analisar! pic.twitter.com/bd05zMDPI0

— Felipe Pacheco (@fepacheco) November 6, 2023

Pacheco conta em sua thread no X, que a maior porcentagem de acertos foi na prova de Ciências Humanas, em que o ChatGPT acertou 41 de 45 questões – isto é, 91% do caderno. Na prova de Linguagens e Códigos, a porcentagem de acertos caiu significativamente. O robô errou mais que o triplo do que em Ciências Humanas, com 32 de 45 questões corretas, 71% da prova. 

“A maior parte dos erros do ChatGPT, ele culpa a erros de interpretação no que a pergunta realmente queria”, explica o profissional. Em uma questão de Linguagens, o robô marca a alternativa incorreta e, ao ser solicitado para analisar novamente a pergunta, admite que “houve um erro na interpretação”. 

Já em outra questão que marcou a alternativa incorreta, também no caderno de Linguagens, aparenta não estar convencido de que tenha errado. Chega a afirmar que “torna-se um desafio interpretar a intenção do autor ou a intenção da questão”.

Outros testes mostram que o ChatGPT também erra

Mais cedo neste ano, o GUIA DO ESTUDANTE fez uma série de textos envolvendo a Inteligência Artificial mais famosa do mundo. Ao corrigir redações que receberam nota 1000 da banca do Enem, por exemplo, a IA teve dificuldade de chegar na mesma nota – mesmo recebendo previamente o manual de redação disponibilizado no Inep. Em um dos casos, deu nota 900 e depois se corrigiu, dizendo que era, na verdade, 1000. 

Em outro cenário, pegamos uma redação também já avaliada pelo Inep, e, sem dizer a verdadeira nota, solicitamos que o robô corrigisse seguindo os critérios do Enem. O mesmo pedido foi feito para um professor de redação de um cursinho de São Paulo. Ambos não chegaram à nota dada pela banca oficial, mas o professor foi quem mais se aproximou.

Também em 2023, o jornal Folha de S. Paulo realizou testes com questões do Enem, passando para a IA as provas das edições de 2017 a 2021. A conclusão é que o melhor desempenho do robô é na prova de Ciências Humanas, seguido da de Linguagens. Ele derrapa na Matemática – ficando, inclusive, abaixo da média de acertos dos candidatos. 

Entre no canal do GUIA no WhatsApp e receba conteúdos de estudo, redação e atualidades no seu celular!

Prepare-se para o Enem sem sair de casa. Assine o Curso GUIA DO ESTUDANTE ENEM e tenha acesso a todas as provas do Enem para fazer online e mais de 180 videoaulas com professores do Poliedro, recordista de aprovação nas universidades mais concorridas do país.