Duelo: colocamos um professor e o ChatGPT para avaliar uma redação do Enem

A essa altura, você provavelmente já deve ter se esbarrado, pelo menos uma vez, com a febre da inteligência artificial (IA). Com a popularização de plataformas como o ChatGPT, o usuário comum da web pôde ver na prática as mais diversas funções que uma IA pode assumir. E, acredite se quiser, corrigir redações do Enem é uma delas. A presença de IA corretoras de redação já não é novidade em alguns cursinhos online ou plataformas de correção de texto. Mas com tantas polêmicas envolvendo a eficácia das inteligências artificiais, será que daria mesmo para confiar nessas notas?

+ ChatGPT avalia em 900 redação nota 1000 no Enem e depois se arrepende

O GUIA DO ESTUDANTE foi atrás da resposta. A partir de uma redação cedida por uma candidata que prestou o Enem 2022, pedimos que uma professora de redação de um cursinho presencial e o ChatGPT, uma das plataformas de IA mais popular do momento, avaliassem o texto como se fossem corretores do exame. Isto é, sem terem conhecimento do desempenho real da candidata, solicitamos que os dois avaliassem o texto com uma nota de 0 a 1000 seguindo os mesmos critérios das cinco competências cobradas na prova.

Também vamos mostrar a nota atribuída pelo Inep, assim como a vista pedagógica disponibilizada no boletim da participante. A nota oficial é calculada pela média de avaliações de dois corretores (humanos).

Para começar, leia abaixo a redação na íntegra da candidata que disponibilizou seu texto para o teste, Gabriela Eutran da Silva, de 18 anos. Ela é de São Paulo (SP) e prestou o Enem pela primeira vez no ano passado. Com a sua nota, conseguiu entrar no curso de Lazer e Turismo na Universidade de São Paulo (USP), por meio do sistema Enem-USP.

Em 2022, o tema proposto na redação foi “Desafios para a valorização de comunidades e povos tradicionais no Brasil“.

A nota da redação do Enem é gerada a partir da soma da nota de cada uma das cinco competências avaliadoras do exame. O corretor, dessa forma, avalia cada uma de 0 a 200 pontos, seguindo os critérios estabelecidos pela banca. Na “Cartilha do Participante Enem 2022“, documento disponibilizado publicamente pelo Inep, é especificado quais são as cinco competências e o que é esperado do candidato em cada uma.

+ Como estudar cada competência da redação do Enem

Antes de olhar para as correções da professora, do ChatGPT e a oficial dada pelo Inep, alguns esclarecimentos.

Ao solicitarmos a correção à IA, perguntamos se ela sabia quais eram as competências avaliadoras do Enem. A ferramenta confirmou e mandou a descrição de cada uma. Em seguida, perguntamos se ela seria capaz de avaliar uma redação como se fosse um corretor do exame; a resposta foi positiva. As únicas orientações dadas para a IA antes de enviar a transcrição do texto foram estas. Assim como para Jéssica Dorta, professora de redação da Oficina do Estudante, de Campinas (SP), que concordou em avaliar o texto seguindo os critérios do exame.

Vale lembrar que no Enem toda redação passa por, no mínimo, dois corretores, que calculam uma média para a nota final do candidato.

+ Como é feita a correção da redação do Enem?

Competência 1: domínio da modalidade escrita formal

Professora Jéssica: “A redação é avaliada no nível 4 porque apresenta estrutura sintática boa e poucos desvios. A redação não é avaliada no nível 5 porque, embora apresente apenas uma falha de estrutura sintática no 4º parágrafo, há mais do que dois desvios. Nota: 160 pontos.”

ChatGPT: “O texto apresenta uma linguagem adequada, com poucos desvios gramaticais e boa estruturação de frases e parágrafos. Há um bom domínio da norma culta da língua, mas alguns deslizes pontuais podem ser encontrados. Nota: 160 pontos.”

Inep: “O participante demonstra bom domínio da modalidade escrita formal da língua portuguesa e de escolha de registro, com poucos desvios gramaticais e de convenções da escrita, ou seja, apresenta um texto com boa estrutura sintática, com poucos desvios de pontuação, de grafia e de emprego do registro exigido. Nota: 140 pontos.” (Os corretores do Inep podem apenas atribuir notas múltiplas de 40. Para chegar aos 140 pontos indicados, um dos corretores avaliou esta competência com 120 pontos, e o outro com 160 – assim como a professores Jéssica e a IA -, e então chegou-se a essa média.)

+ Enem: os erros mais cometidos na competência 1 da redação

Competência 2: compreensão da proposta de redação

Professora Jéssica: “A redação é avaliada no nível 5 porque apresenta as 3 partes do texto (nenhuma delas embrionária) e aborda o tema de forma completa, a partir de repertório legitimado e pertinente ao tema, com uso produtivo. A participante, no primeiro parágrafo, por exemplo, introduz o tema por meio de uma contextualização histórica ao mencionar a colonização brasileira. Nota: 200 pontos.”

ChatGPT: “O autor demonstra uma compreensão clara da proposta de redação, abordando o apagamento e desvalorização da cultura dos povos tradicionais no contexto da colonização do Brasil pelos portugueses. O texto mantém o foco no tema proposto ao longo da argumentação de forma consistente. Nota: 180 pontos.”

Inep: “O participante desenvolve o tema por meio de argumentação consistente, a partir de um repertório sociocultural produtivo e apresenta excelente domínio do texto dissertativo-argumentativo, ou seja, em seu texto, o tema é desenvolvido de modo consistente, por meio do acesso a outras áreas do conhecimento, com progressão fluente e articulada ao projeto do texto. Nota: 200 pontos.”

+ Redação do Enem: os erros mais cometidos na competência 2

Competência 3: seleção e organização de informações

Professora Jéssica: “A redação é avaliada no nível 4 porque aborda o tema de forma completa, possui projeto de texto com poucas falhas e desenvolvimento de informações, fatos e opiniões com poucas lacunas. Em relação ao projeto de texto, a participante o inicia destacando que, além da exploração ambiental, a colonização europeia no Brasil provocou a desvalorização dos povos originários. Em seguida, aponta que houve a extinção de costumes, tradições e religiões desses povos, exemplificando esse processo por meio de dados a respeito da redução do número de línguas indígenas faladas no território. Logo após, argumenta que os colonizadores exploraram o território a partir da extração de Pau-Brasil e defende que esse não foi o único caso de exploração. Além disso, argumenta que os povos originários têm relação íntima com a temática ambiental por lutarem por sua valorização. Por fim, na proposta de intervenção, elabora um enfrentamento para a valorização dos povos originários, mas não apresenta proposta em relação à exploração ambiental. Quanto ao desenvolvimento, nota-se que algumas informações, fatos e opiniões apresentam lacunas, como quando, no segundo parágrafo, a participante menciona o processo de apagamento cultural sofrido pelos povos originários, mas não explica como isso se deu. No terceiro parágrafo, afirma que a exploração ambiental afeta diretamente esses povos, mas não explica de que forma. Além disso, no 4º parágrafo, menciona o folclore brasileiro sem desenvolver a relação das lendas com a valorização do meio ambiente. Nota: 160 pontos.”

ChatGPT: “O texto apresenta uma seleção adequada de informações, abordando tanto a exploração ambiental quanto a desvalorização dos povos tradicionais. No entanto, alguns trechos poderiam ser mais desenvolvidos e aprofundados, buscando uma maior articulação dos argumentos. Nota: 150 pontos.“

Inep: “Em defesa de um ponto de vista, o texto apresenta informações, fatos e opiniões relacionados ao tema, de forma organizada, com indícios de autoria, ou seja, os argumentos, embora ainda possam ser previsíveis, estão organizados e relacionados de forma consistente ao ponto de vista defendido e ao tema proposto, e há indícios de autoria. Nota: 140 pontos.” (Esta nota é novamente fruto de uma média dos dois corretores)

+ Enem: os erros mais cometidos na competência 3 da redação

Competência 4: conhecimento e argumentação

Professora Jéssica: “A redação é avaliada no nível 4 porque se caracteriza pela presença constante de elementos coesivos. Embora não haja repetições ou inadequações, a redação não é avaliada no nível 5 porque não apresenta operadores argumentativos interparágrafos em, pelo menos, 02 momentos do texto. Além disso, não há a presença expressiva de recursos coesivos. Nota: 160 pontos.”

ChatGPT: “O autor demonstra um bom conhecimento sobre o tema abordado, apresentando informações históricas relevantes sobre a colonização do Brasil e suas consequências para os povos tradicionais. Os argumentos são consistentes e sustentados por exemplos, mostrando uma capacidade de argumentação satisfatória. Nota: 170 pontos.”

Inep: “O participante articula as partes do texto com poucas inadequações e apresenta repertório diversificado de recursos coesivos. Nota: 140 pontos.” (Esta nota é novamente fruto de uma média dos dois corretores)

+ Redação do Enem: os erros mais cometidos na competência 4

Competência 5: elaboração de proposta de intervenção

Professora Jéssica: “A redação é avaliada no nível 4 porque apresenta abordagem completa do tema e proposta de intervenção mais completa, no último parágrafo, com 4 elementos válidos: o agente (‘Ministério da Educação e o Ministério da Cultura’), a ação (‘uma parceria que promova programas de inclusão e integração da cultura tradicional nas escolas’), efeito (‘introduzindo a relevância desse povo à crianças e jovens’) e detalhamento do efeito (‘E desse modo, os povos tradicionais terão o devido valor para a história brasileira’). Nota: 160 pontos.”

ChatGPT: “O autor apresenta uma proposta de intervenção que envolve a parceria entre o Ministério da Educação e o Ministério da Cultura, promovendo programas de inclusão e integração da cultura tradicional nas escolas. A proposta é viável e busca valorizar a cultura dos povos tradicionais, mas poderia ser mais detalhada quanto às ações específicas a serem tomadas. Nota: 160 pontos.”

Inep: “O participante elabora bem proposta de intervenção relacionada ao tema, decorrente da discussão desenvolvida no texto, articulada e abrangente, ainda que sem suficiente detalhamento. Nota: 160 pontos.”

+ Redação do Enem: os erros mais cometidos na competência 5

Correções humanas e por IA se aproximam

Somando as cinco notas apresentadas por cada corretor, concluímos que, para a professora do curso pré-vestibular, o texto da candidata tem como nota final 840 pontos. O ChatGPT avalia quase que igualmente, com apenas 20 pontos de diferença: 820 pontos. Na avaliação oficial do Inep, a redação ganhou 780 pontos.

+ 4 segredos dos corretores da redação do Enem

Alguns pontos que valem levar em consideração dizem respeito, principalmente, à correção feita pela IA. Observe que nas competências 3 e 4, o robô avaliou como 150 e 170 pontos, respectivamente. Números estes que são impossíveis de serem dados por corretores do Enem. Para a banca do exame, a correção de cada competência é feita de 40 em 40 pontos. Veja abaixo, por exemplo, como é a divisão de níveis de acerto da competência 1 – e as suas respectivas pontuações.

Repare, portanto, que os números 150 e 170 simplesmente não seriam possíveis de serem obtidos. Neste sentido, a correção da professora Jéssica é a que mais se adequa aos critérios do Enem. A docente ainda esclarece qual é o nível de acerto da candidata em cada competência.

+ Confissões de uma corretora de redações do Enem

No entanto, por mais que o ChatGPT e ela tenham dado notas muito semelhantes, o robô, ao fim da correção (e ainda sem saber a nota real da candidata), esclareceu que sua avaliação é “aproximada”, e que pode “variar de acordo com os critérios e avaliadores oficiais”. Seu erro na quantificação da nota de cada competência, no entanto, demonstra que sua correção talvez não seja tão confiável – uma vez que o documento com a cartilha que especifica as competências é público e disponível na web, portanto, ao alcance da ferramenta.