O Medly melhora mesmo as notas?
Um estudo randomizado controlado independente com 644 estudantes de ciências do GCSE. O que ele descobriu e o que vamos testar a seguir.
Nesta página
Todo app de estudo diz que funciona. Pouquíssimos deixam alguém de fora conferir.
As evidências de sempre não conseguem separar a ferramenta do estudante. Se alguém estuda quatro noites por semana e as notas sobem, isso diz tanto sobre a pessoa quanto sobre nós. O único jeito de responder direito é pegar um grupo de estudantes, sortear quem vai usar a ferramenta e comparar.
Por isso o Medly passou por um estudo randomizado controlado, e quem conduziu o estudo não fomos nós. Ele foi planejado, randomizado e analisado pela WhatWorked Education, com o professor Steve Higgins, da Universidade de Durham. A WhatWorked Education é uma organização de pesquisa que conduz estudos randomizados em escolas da Inglaterra, junto com professores, e que já trabalhou com a Education Endowment Foundation (uma fundação britânica que financia e avalia pesquisas em educação) em projetos de estudos randomizados controlados. Foram eles que planejaram o estudo, fizeram o sorteio dos alunos e conduziram a análise. A pesquisa publicada (em inglês) está aqui.
Como funcionou
Trinta e nove professores conduziram, cada um, um estudo com a própria turma de Biologia, Química ou Física. Dentro de cada turma, os estudantes foram sorteados para usar o Medly num tema definido, trinta minutos por semana durante quatro semanas, ou para revisar o mesmo tema pelo mesmo tempo com os métodos que normalmente usariam.
Esse segundo grupo faz diferença. A comparação foi com estudantes que também estavam estudando. Os estudantes do grupo de controle usaram guias de revisão, anotações, vídeos e, na maioria das turmas, outras plataformas online de revisão. Mesmo tempo, mesmo conteúdo. Só a ferramenta mudava.
Todos fizeram um teste antes e, depois, outro teste diferente, com dificuldade equivalente: cinco questões no estilo do GCSE (os exames nacionais que os estudantes britânicos fazem por volta dos 16 anos), valendo 35 pontos no total. Nenhuma delas estava disponível no Medly durante o estudo.
O que eles descobriram
Ao todo, 929 estudantes fizeram o primeiro teste, e 644 fizeram os dois. Entre esses 644, os estudantes que usaram o Medly tiraram notas 22% mais altas no teste final do que estudantes comparáveis que revisaram com seus métodos habituais, levando em conta o ponto de partida de cada um: 2,56 pontos a mais, numa prova de 35. Esse resultado foi estatisticamente significativo.
O tamanho de efeito foi de 0,33. Na escala que a Education Endowment Foundation usa para converter tamanhos de efeito em meses de progresso, isso equivale a cerca de quatro meses. Essa conversão é uma regra prática. O estudo mediu as notas ao longo de quatro semanas e não mediu meses de progresso diretamente. Mesmo assim, é o jeito mais claro de explicar o que significa um efeito de 0,33.
O ganho se manteve nas três ciências: Biologia 0,52, Química 0,32, Física 0,31. Biologia teve o resultado mais forte.
A parte que mais nos importa
O desempenho subiu de forma consistente com o uso. Quanto mais os estudantes usaram o Medly, maior foi o efeito: cada questão a mais que um estudante respondeu valeu cerca de 0,18 ponto no teste final, e os estudantes mais engajados tiveram os maiores ganhos estimados.
É esse padrão que nos faz pensar que o efeito vem do ensino. O efeito de novidade não cresce com o uso. A prática cresce.
Essa parte da análise é exploratória e não vem de uma comparação randomizada, então vamos continuar reunindo evidências sobre ela. Como padrão, é o que mais queríamos ver.
Funcionou para todo mundo?
O tamanho de efeito não variou conforme a situação socioeconômica. Os estudantes elegíveis ao Pupil Premium (a verba extra que as escolas da Inglaterra recebem para cada aluno em situação de vulnerabilidade socioeconômica) avançaram no mesmo ritmo que os colegas. Isso é animador do ponto de vista da equidade, e é a parte do resultado que vamos acompanhar mais de perto conforme o trabalho continua.
Este é o começo
Acreditamos que este é o primeiro estudo randomizado controlado a medir o desempenho escolar com uma plataforma de revisão com IA especificamente em ciências do GCSE. Há evidências razoáveis sobre tutoria com IA em matemática no ensino fundamental II e no ensino médio, e um estudo recente sólido em física na universidade, mas as ciências do GCSE eram uma lacuna.
O motivo de fazer desse jeito é simples. Muitos estudantes sempre tiveram alguém que corrige o trabalho deles direito e explica o que deu errado. Essa pessoa costuma custar de £30 a £40 por hora. Se uma plataforma consegue fazer parte desse trabalho, deve ser possível mostrar isso em condições nas quais ela poderia ter falhado.
Isso faz deste estudo um primeiro dado positivo sobre o potencial da IA para ampliar o acesso ao ensino personalizado. Vamos dar sequência a ele no próximo ano letivo, com novos estudos em mais matérias, períodos mais longos para as ciências e amostras maiores.
Leia o artigo no arXiv (em inglês): Evaluating AI Tutoring at the Speed of Innovation: Practitioner-Led Micro-Randomised Trials of an AI Tutoring Platform in GCSE Science (Harrison, Khowaja, Dobson, Uwimpuhwe e Higgins, 2026).
Experimente o Medly AI grátis
Sem cartão de crédito. Comece a estudar grátis hoje.