Como medimos a precisão
Cada número da nossa página inicial vem da medição abaixo — as provas, as notas e os erros, incluindo os nossos.
O conjunto de respostas: respostas publicadas do Cambridge 19 com nota de examinador, mais as respostas de exemplo Band 9 publicadas pela IDP. Todas são públicas — o Cambridge 19 está em qualquer livraria com as notas do examinador impressas dentro, e a IDP publica seus exemplos de Band 9 no próprio site.
O protocolo: cada sistema recebeu um único prompt de avaliação idêntico — mesmo texto, mesmo formato, sem direcionamento — e avaliou cada resposta três vezes em 9 Aug 2026. Cada número é a mediana daquele sistema; os nossos passam pelo mesmo caminho de correção que nossos usuários recebem.
Publicamos erros tanto quanto acertos: nosso erro médio é 0.22 de band, lemos a resposta de 8.0 como 7.5 enquanto o Gemini acertou em cheio, e nenhum sistema — o nosso incluído — chega ao 9 publicado pela IDP. É assim que uma medição honesta se parece, e dizemos isso em vez de prometer “±0.5”.
Não é uma redação de sorte.
Em todas as nove respostas pontuadas por examinadores — nosso erro médio: 0.22 de band. Gemini 0.72 · ChatGPT 0.94 · DeepSeek 0.94 · Claude 1.50. Nove de nove ficamos dentro de meio band, com zero viés para qualquer lado — todo chatbot lê para baixo.
Erro médio em relação ao band do examinador — quanto menor, melhor.
Pior desvio numa única prova: IELTS Ace 0.5 · ChatGPT 1.0 · DeepSeek 1.5 · Gemini 2.0 · Claude 2.5 bandas.
As provas, uma a uma
| Prova | Band do examinador | ChatGPT | Gemini | DeepSeek | Claude | IELTS Ace |
|---|---|---|---|---|---|---|
| Cambridge 19 · Test 2 · Task 1 | 4.0 | 3.0 (−1.0) | 2.0 (−2.0) | 3.0 (−1.0) | 1.5 (−2.5) | 4.5 (+0.5) |
| Cambridge 19 · Test 1 · Task 1 | 5.5 | 5.0 (−0.5) | 5.0 (−0.5) | 5.5 (0.0) | 4.5 (−1.0) | 5.5 ✓ |
| Cambridge 19 · Test 1 · Task 1 | 6.0 | 5.0 (−1.0) | 5.0 (−1.0) | 4.5 (−1.5) | 4.5 (−1.5) | 6.0 ✓ |
| Cambridge 19 · Test 2 · Task 2 | 7.0 | 6.0 (−1.0) | 6.5 (−0.5) | 5.5 (−1.5) | 5.5 (−1.5) | 7.0 ✓ |
| Cambridge 19 · Test 1 · Task 2 | 8.0 | 6.5 (−1.5) | 8.0 (0.0) | 6.5 (−1.5) | 6.5 (−1.5) | 7.5 (−0.5) |
| IDP · published Band 9 sample · Task 1 | 9.0 | 7.0 (−2.0) | 8.0 (−1.0) | 6.5 (−2.5) | 5.5 (−3.5) | 8.0 (−1.0) |
As quatro respostas mostradas na página inicial. A tabela completa de nove provas com as saídas brutas chega com a repetição simétrica.
← Voltar à página inicial