A IA corrige bem respostas reais de estudantes?
Testamos modelos de IA com mais de 30 mil respostas de estudantes corrigidas por corretores, incluindo respostas escritas à mão, e estamos abrindo o conjunto de dados ao público.
Nesta página
Correção de provas por IA x corretores humanos: o que 30 mil respostas corrigidas revelam
19 de junho de 2026
Muitas ferramentas dizem que a IA delas corrige questões de prova. A pergunta mais difícil é quão bem ela corrige respostas reais de estudantes. Um tutor com IA só ensina bem se corrigir com precisão, e as respostas reais não se parecem em nada com as respostas-modelo, limpas e organizadas, com que esses sistemas estão acostumados.
O trabalho de um estudante de verdade é bagunçado. As contas ficam espalhadas pela página, a primeira tentativa está riscada e a resposta final aparece circulada quase como se fosse um detalhe.
Acabamos de publicar nosso primeiro artigo científico sobre o tema e estamos abrindo ao público uma amostra do conjunto de dados por trás dele, para que toda a área possa melhorar a forma como a IA corrige e, com isso, a forma como ela ensina.
Por que corrigir respostas reais é a parte difícil
Não dá para simular respostas de estudantes com IA. Não há motivo para treinar um modelo de linguagem com respostas erradas, então o trabalho real de estudantes, por definição, fica de fora dos dados de treinamento. Os modelos estudaram o livro didático e os critérios de correção. Eles nunca viram o que um aluno do Year 11 (o ano em que os estudantes britânicos, com 15 ou 16 anos, fazem os exames nacionais do GCSE) escreve de verdade com o tempo correndo.
Essa lacuna é o motivo pelo qual montamos o maior banco de respostas reais de estudantes corrigidas por corretores humanos especialistas em Língua Inglesa, Matemática e Ciências.
Por dentro do conjunto de dados
Reunimos mais de 30 mil respostas de provas de mais de 900 estudantes, e cada uma foi corrigida duas vezes, por dois corretores qualificados. Depois, passamos as mesmas respostas por vários modelos de IA.
O conjunto de dados abrange cinco matérias (Língua Inglesa, Matemática, Biologia, Química e Física), com respostas de todos os níveis, dos melhores alunos da turma aos que têm mais dificuldade. Ele também é multimodal. Mais de 5.200 respostas foram escritas à mão, o que pesa mais em matérias como Matemática, em que quase metade das respostas foi escrita à mão.
Como medimos
Como cada resposta foi corrigida duas vezes, conseguimos medir o quanto os dois corretores discordavam. Essa discordância nos dá uma faixa: o intervalo de notas que conta como julgamento humano especializado para uma determinada resposta.
Depois, rodamos os modelos de IA com as mesmas respostas e vimos onde eles caíam em relação a essa faixa humana. O padrão foi diferente em cada matéria.
O que descobrimos
Em Língua Inglesa, não deu para distinguir a correção da IA da correção humana. Todos os modelos de raciocínio que testamos ficaram dentro da faixa humana, até os menores. Isso combina com o que se espera de uma matéria subjetiva, em que os corretores muitas vezes já discordam entre si.
Matemática e Ciências foram um teste mais difícil. Matemática teve a maior concordância entre os corretores, o que deixou a faixa mais estreita para acertar, e os melhores modelos acertaram mesmo assim. Eles se igualaram aos corretores humanos em todas essas matérias.
A principal conclusão é que os melhores modelos de IA já conseguem corrigir com a mesma precisão que corretores humanos especialistas. Mas nem todo modelo consegue, e não em todas as matérias. O estudo também mostrou que a precisão sobe muito quando o modelo trabalha dentro da estrutura certa. Ou seja, a precisão da correção depende de como a questão, os critérios de correção e a resposta do estudante são apresentados ao modelo, e de como o julgamento dele é conferido.
O que isso significa para professores e escolas
Dá para confiar na IA para corrigir provas? Sim, mas com critério. Os modelos variam, e o mesmo vale para a forma de montar a correção e para as matérias. Sem um benchmark como este, não haveria como saber qual combinação é confiável e qual só parece ser.
Por isso defendemos medir a correção com trabalhos reais de estudantes, em vez de exemplos arrumados. Assim fica claro onde a correção por IA já merece confiança hoje e onde um ser humano ainda precisa acompanhar o processo.
Abrindo uma amostra dos dados
Esta é a nossa primeira contribuição para a pesquisa em educação, e queremos que ela seja útil além do Medly. Estamos começando com um subconjunto público, para que qualquer pessoa possa testar a correção por IA em respostas reais de estudantes com os próprios modelos.
Você pode ler o artigo (em inglês) aqui e explorar o conjunto de dados aberto aqui.
Corrigir é o primeiro passo
Este conjunto de dados é só o começo. Estamos construindo um tutor com IA que conhece o currículo e também entende como os estudantes pensam de verdade, onde erram e como ajudá-los a avançar. A correção é o primeiro passo, e os dados que estamos gerando agora alimentam diretamente esse trabalho.
O motivo por trás disso é simples. Um corretor que funciona com a escrita real dos estudantes, inclusive a letra à mão, permite que qualquer estudante receba na hora um feedback no nível de um corretor de banca, tenha ou não uma família que possa pagar um professor particular.
Experimente o Medly AI grátis
Sem cartão de crédito. Comece a estudar grátis hoje.