Doğruluğu nasıl ölçüyoruz
Açılış sayfamızdaki her sayı aşağıdaki ölçümden gelir — kâğıtlar, puanlar ve sapmalar, bizimkiler dahil.
Cevap seti: yayımlanmış, değerlendirici puanlı Cambridge 19 cevapları artı IDP’nin yayımladığı Band 9 örnek cevapları. Hepsi kamuya açık — Cambridge 19, değerlendirici puanları içinde basılı hâlde her kitapçıda; IDP ise Band 9 örneklerini kendi sitesinde yayımlıyor.
Protokol: her sistem birebir aynı puanlama komutunu aldı — aynı metin, aynı format, yönlendirme yok — ve her cevabı 9 Aug 2026 tarihlerinde üç kez puanladı. Her sayı o sistemin medyanı; bizimkiler, kullanıcılarımızın geçtiği aynı puanlama yolundan geçiyor.
İsabetler kadar sapmaları da yayımlıyoruz: ortalama sapmamız 0.22 band; 8.0 cevabı 7.5 okuduk, Gemini tam tutturdu ve hiçbir sistem — bizimki dahil — IDP’nin yayımladığı 9’a ulaşamıyor. Dürüst ölçüm böyle görünür; “±0.5” vaat etmek yerine bunu açıkça söylüyoruz.
Tek bir şanslı kompozisyon değil.
Değerlendirici puanlı dokuz cevabın tamamında ortalama sapmamız: 0.22 band. Gemini 0.72 · ChatGPT 0.94 · DeepSeek 0.94 · Claude 1.50. Dokuz cevabın dokuzunda da yarım bandın içinde kaldık, iki yönde de sıfır önyargı — her chatbot düşük okuyor.
Değerlendiricinin bandına göre ortalama sapma — küçük olan iyidir.
Tek bir kâğıttaki en kötü sapma: IELTS Ace 0.5 · ChatGPT 1.0 · DeepSeek 1.5 · Gemini 2.0 · Claude 2.5 band.
Kâğıtlar, tek tek
| Kâğıt | Değerlendirici bandı | ChatGPT | Gemini | DeepSeek | Claude | IELTS Ace |
|---|---|---|---|---|---|---|
| Cambridge 19 · Test 2 · Task 1 | 4.0 | 3.0 (−1.0) | 2.0 (−2.0) | 3.0 (−1.0) | 1.5 (−2.5) | 4.5 (+0.5) |
| Cambridge 19 · Test 1 · Task 1 | 5.5 | 5.0 (−0.5) | 5.0 (−0.5) | 5.5 (0.0) | 4.5 (−1.0) | 5.5 ✓ |
| Cambridge 19 · Test 1 · Task 1 | 6.0 | 5.0 (−1.0) | 5.0 (−1.0) | 4.5 (−1.5) | 4.5 (−1.5) | 6.0 ✓ |
| Cambridge 19 · Test 2 · Task 2 | 7.0 | 6.0 (−1.0) | 6.5 (−0.5) | 5.5 (−1.5) | 5.5 (−1.5) | 7.0 ✓ |
| Cambridge 19 · Test 1 · Task 2 | 8.0 | 6.5 (−1.5) | 8.0 (0.0) | 6.5 (−1.5) | 6.5 (−1.5) | 7.5 (−0.5) |
| IDP · published Band 9 sample · Task 1 | 9.0 | 7.0 (−2.0) | 8.0 (−1.0) | 6.5 (−2.5) | 5.5 (−3.5) | 8.0 (−1.0) |
Açılış sayfasında gösterilen dört cevap. Ham çıktılarla tam dokuz kâğıtlık tablo, simetrik yeniden ölçümle birlikte gelecek.
← Açılış sayfasına dön