Como detectar redações e trabalhos feitos com IA?

Textos corretos, porém sem inspiração. Os assuntos exigidos estão todos lá, as frases fazem sentido – há alguma repetição de palavras e de ideias, mas isso é comum em redações ou trabalhos de faculdade. Mas há alguma coisa estranha. O texto não apresenta nem um único erro gramatical sequer, nenhuma crase errada, as vírgulas estão todas corretas – e isso não é corriqueiro. Também há algo de mecânico nas palavras: elas aparecem sempre na mesma ordem, não citam autores originais, não tem um termo usado fora de contexto, nenhum vocabulário inusitado. A dúvida aparece: será que estamos diante de um texto criado por Inteligência Artificial?

Esse é um problema novo, com o qual professores, avaliadores e corretores de redação vêm se deparando com cada vez mais frequência. Pudera: com a chegada das LLMs (Large Language Models) ou Grandes Modelos de Linguagem – como é o caso do ChatGPT, por exemplo, ou do seu concorrente do Google, o Bard – ficou extremamente fácil produzir um texto com começo meio e fim, e sem grandes esforços intelectuais. Basta alimentar o robô com o enunciado da redação e ver o milagre acontecer: parágrafo atrás de parágrafo aparecendo na tela, gerados por uma máquina.

+ Duelo: colocamos um professor e o ChatGPT para avaliar uma redação do Enem

Por isso, professores e o mercado estão correndo atrás de técnicas para detectar trabalhos feitos com IA. Há diversas versões online disponíveis, uma delas inclusive do próprio ChatGPT – mas nem todas funcionam de forma eficiente em português. “Existem diferentes estratégias para detecção de textos produzidos por IA, que vão desde métricas simples e técnicas de PLN (Processamento de Linguagem Natural), até modelos estatísticos que calculam a probabilidade de co-ocorrência das palavras ou a probabilidade de uma palavra aparecer dada uma sequência anterior de milhares de outras palavras”, explica Amanda Pontes Rassi, linguista computacional da Redação Nota Mil, plataforma que corrige redações online, que desenvolveu um modelo computacional para detectar redações feitas com robôs.

De fato, entre fevereiro e março deste ano, a plataforma detectou um crescimento de 65% no número de textos classificados como “parcialmente gerados por IA”. São alunos que estavam supostamente treinando suas habilidades de redação para o Enem e outros vestibulares e resolveram usar uma ajudinha dos robôs. De acordo com Amanda Rassi, para um corretor humano, ainda é muito difícil identificar os padrões tipicamente presentes em redações feitas por IA – as máquinas ainda fazem um serviço melhor. Outro problema é a velocidade com a qual as LLMs vêm avançando, já que é quase impossível uma pessoa se manter o tempo todo atualizada.

+ ChatGPT faz prova do Enem e tem resultado melhor que 79% dos candidatos

Não errar é um erro?

Ainda assim, há alguns padrões comuns em textos gerados por robôs, que podem ser detectados por olhos bem treinados, de acordo com Amanda. Eis alguns:

• os robôs costumam retomar excessivamente os elementos do enunciado e da frase temática, em todos os parágrafos, o que é um sinal de alerta
• IAs têm a tendência a iniciar a introdução da redação sempre com uma definição, 
• há o uso excessivo de recursos coesivos principalmente no início dos parágrafos, 
• a ausência (ou quase ausência) de erros ortográficos ou de sintaxe
• a articulação das frases é quase perfeita, mecânica,
• um robô jamais cita uma experiência pessoal ou opiniões subjetivas
• no geral, os textos ficam sem charme ou personalidade
• faltam repertórios culturais
• as propostas de intervenção são vagas ou incompletas
• é comum que IAs simplesmente inventem fatos, frases, pessoas e teorias que não existem

Em casos assim, não fica difícil desconfiar dos textos. Para quem está se preparando para o vestibular ou o Enem, usar esse tipo de ferramenta, na verdade, não faz muito sentido. No dia da prova, a produção de textos é feita em ambientes controlados, offline, sem a possibilidade de acesso às máquinas. Passar o ano usando o ChatGPT para criar suas redações, portanto, acaba se tornando um imenso tiro no pé.

Isso não quer dizer, porém, que as IAs não possam ser úteis para treinar a produção de textos. “O Chat é útil para fazer revisão ortográfica e gramatical, por exemplo. Ele também pode avaliar a redação de forma global ou por competência, ou dar dicas de como melhorar partes específicas de um texto. Vai ser preciso avaliar a relevância da resposta, mas a IA pode colaborar para o processo de reescrita, que é inerente ao processo de aprendizagem”, diz Amanda Rassi. 

+ 7 profissões que vão surgir com a Inteligência Artificial

Robôs na educação

Na verdade, os alunos não são os únicos a incorporarem os robôs nos seus trabalhos. Quase na mesma medida, faculdades e universidades vêm recorrendo às inteligências artificiais para corrigirem os trabalhos de seus estudantes – às vezes nem sequer avisá-los de que isso está acontecendo. De fato, já em 2020, a Secretaria Nacional do Consumidor (Senacon), vinculada ao Ministério da Justiça, notificou duas faculdades particulares a avisaram – e a pediram autorização aos alunos – para usar robôs para corrigir os trabalhos dos cursos EAD. A única certeza, nessa área, é que educação e IA terão de aprender a conviver.

Ainda em 2012, um cientista da computação chamado Ben Goertzel propôs uma polêmica: o dia em que um robô for capaz de se matricular em uma faculdade, escrever todos os trabalhos e ser aprovado, esse será o momento em que teremos uma máquina verdadeiramente inteligente. Considerando que as IAs avançam em um ritmo atordoante, parece que não estamos tão distantes assim desse futuro distópico de robôs graduados.