Как мы измеряем точность
Каждое число на нашей главной странице взято из измерения ниже — работы, баллы и промахи, включая наши собственные.
Набор работ: опубликованные работы Cambridge 19 с оценками экзаменаторов плюс опубликованные IDP образцовые ответы на Band 9. Все они общедоступны — Cambridge 19 есть в любом книжном с напечатанными оценками экзаменатора, а IDP публикует свои образцы Band 9 на собственном сайте.
Протокол: каждая система получила один и тот же промпт для оценивания — тот же текст, тот же формат, без подсказок — и оценила каждую работу трижды 9 Aug 2026 (chatbots) · 2 Sep 2026 (ours). Каждое число — медиана этой системы; наши проходят через тот же путь оценивания, что получают наши пользователи.
Мы публикуем промахи наравне с попаданиями: наше среднее отклонение — 0.30 балла, работу на 8.0 мы прочитали как 7.5, а Gemini попал точно, и ни одна система — включая нашу — не достигает опубликованной IDP девятки. Так выглядит честное измерение, и мы говорим об этом прямо, вместо того чтобы обещать «±0.5».
С 6 сентября 2026 года каждый отчёт показывает диапазон рядом с наиболее вероятным баллом — интервал, в который попадал балл экзаменатора при похожих проверках, например 6.5–8.0 · наиболее вероятно 7.0. Баллы в таблице ниже — наиболее вероятный балл каждой проверки.
Не одно везучее эссе.
По всем десяти работам, оценённым экзаменаторами, — наше среднее отклонение: 0.30 балла. Gemini 0.70 · DeepSeek 0.90 · ChatGPT 0.95 · Claude 1.50. Девять из десяти укладываются в полбалла. Десятая — работа на 4.0, которую мы прочли как 5.0, — наш худший результат в наборе, и он учтён в этом среднем.
Среднее отклонение от балла экзаменатора — чем меньше, тем лучше.
Худшее отклонение на одной работе: IELTS Ace 1.0 · ChatGPT 1.5 · DeepSeek 1.5 · Gemini 2.0 · Claude 2.5 балла.
Работы, одна за другой
| Работа | Балл экзаменатора | ChatGPT | Gemini | DeepSeek | Claude | IELTS Ace |
|---|---|---|---|---|---|---|
| Cambridge 19 · Test 2 · Task 1 | 4.0 | 3.0 (−1.0) | 2.0 (−2.0) | 3.0 (−1.0) | 1.5 (−2.5) | 4.0 ✓ |
| Cambridge 20 · Test 3 · Task 1 | 5.0 | 4.0 (−1.0) | 4.5 (−0.5) | 4.5 (−0.5) | 3.5 (−1.5) | 5.5 (+0.5) |
| Cambridge 19 · Test 1 · Task 1 | 5.5 | 5.0 (−0.5) | 5.0 (−0.5) | 5.5 (0.0) | 4.5 (−1.0) | 6.0 (+0.5) |
| Cambridge 19 · Test 1 · Task 1 | 6.0 | 5.0 (−1.0) | 5.0 (−1.0) | 4.5 (−1.5) | 4.5 (−1.5) | 6.0 ✓ |
| Cambridge 19 · Test 2 · Task 2 | 7.0 | 6.0 (−1.0) | 6.5 (−0.5) | 5.5 (−1.5) | 5.5 (−1.5) | 7.0 ✓ |
| Cambridge 19 · Test 1 · Task 2 | 8.0 | 6.5 (−1.5) | 8.0 (0.0) | 6.5 (−1.5) | 6.5 (−1.5) | 7.5 (−0.5) |
| IDP · published Band 9 sample (line graph) · Task 1 | 9.0 | 7.0 (−2.0) | 8.0 (−1.0) | 6.5 (−2.5) | 5.5 (−3.5) | 7.5 (−1.5) |
Четыре работы, показанные на главной странице. Полная таблица из девяти работ с сырыми выводами выйдет вместе с симметричным перезамером.
← Назад на главную