Как мы измеряем точность
Каждое число на нашей главной странице взято из измерения ниже — работы, баллы и промахи, включая наши собственные.
Набор работ: опубликованные работы Cambridge 19 с оценками экзаменаторов плюс опубликованные IDP образцовые ответы на Band 9. Все они общедоступны — Cambridge 19 есть в любом книжном с напечатанными оценками экзаменатора, а IDP публикует свои образцы Band 9 на собственном сайте.
Протокол: каждая система получила один и тот же промпт для оценивания — тот же текст, тот же формат, без подсказок — и оценила каждую работу трижды 9 Aug 2026. Каждое число — медиана этой системы; наши проходят через тот же путь оценивания, что получают наши пользователи.
Мы публикуем промахи наравне с попаданиями: наше среднее отклонение — 0.22 балла, работу на 8.0 мы прочитали как 7.5, а Gemini попал точно, и ни одна система — включая нашу — не достигает опубликованной IDP девятки. Так выглядит честное измерение, и мы говорим об этом прямо, вместо того чтобы обещать «±0.5».
Не одно везучее эссе.
По всем девяти работам, оценённым экзаменаторами, — наше среднее отклонение: 0.22 балла. Gemini 0.72 · ChatGPT 0.94 · DeepSeek 0.94 · Claude 1.50. В девяти случаях из девяти мы попали в пределы полубалла, без перекоса в какую-либо сторону — а каждый чат-бот занижает.
Среднее отклонение от балла экзаменатора — чем меньше, тем лучше.
Худшее отклонение на одной работе: IELTS Ace 0.5 · ChatGPT 1.0 · DeepSeek 1.5 · Gemini 2.0 · Claude 2.5 балла.
Работы, одна за другой
| Работа | Балл экзаменатора | ChatGPT | Gemini | DeepSeek | Claude | IELTS Ace |
|---|---|---|---|---|---|---|
| Cambridge 19 · Test 2 · Task 1 | 4.0 | 3.0 (−1.0) | 2.0 (−2.0) | 3.0 (−1.0) | 1.5 (−2.5) | 4.5 (+0.5) |
| Cambridge 19 · Test 1 · Task 1 | 5.5 | 5.0 (−0.5) | 5.0 (−0.5) | 5.5 (0.0) | 4.5 (−1.0) | 5.5 ✓ |
| Cambridge 19 · Test 1 · Task 1 | 6.0 | 5.0 (−1.0) | 5.0 (−1.0) | 4.5 (−1.5) | 4.5 (−1.5) | 6.0 ✓ |
| Cambridge 19 · Test 2 · Task 2 | 7.0 | 6.0 (−1.0) | 6.5 (−0.5) | 5.5 (−1.5) | 5.5 (−1.5) | 7.0 ✓ |
| Cambridge 19 · Test 1 · Task 2 | 8.0 | 6.5 (−1.5) | 8.0 (0.0) | 6.5 (−1.5) | 6.5 (−1.5) | 7.5 (−0.5) |
| IDP · published Band 9 sample · Task 1 | 9.0 | 7.0 (−2.0) | 8.0 (−1.0) | 6.5 (−2.5) | 5.5 (−3.5) | 8.0 (−1.0) |
Четыре работы, показанные на главной странице. Полная таблица из девяти работ с сырыми выводами выйдет вместе с симметричным перезамером.
← Назад на главную