เราวัดความแม่นยำอย่างไร
ตัวเลขทุกตัวบนหน้าแรกของเรามาจากการวัดผลด้านล่างนี้ — ข้อสอบ คะแนน และครั้งที่พลาด รวมถึงของเราเองด้วย
ชุดคำตอบ: คำตอบ Cambridge 19 ที่ตีพิมพ์พร้อมคะแนนกรรมการ บวกคำตอบตัวอย่าง Band 9 ที่ IDP เผยแพร่ ทุกฉบับเป็นสาธารณะ — Cambridge 19 มีขายทุกร้านหนังสือพร้อมคะแนนกรรมการพิมพ์อยู่ข้างใน และ IDP เผยแพร่ตัวอย่าง Band 9 บนเว็บไซต์ของตัวเอง
ขั้นตอน: ทุกระบบได้รับ prompt ให้คะแนนชุดเดียวกันเป๊ะ — ข้อความเดียวกัน รูปแบบเดียวกัน ไม่มีการชี้นำ — และให้คะแนนทุกคำตอบสามครั้งเมื่อ 9 Aug 2026 ตัวเลขทุกตัวคือค่ามัธยฐานของระบบนั้น ของเราวิ่งผ่านเส้นทางการให้คะแนนเดียวกับที่ผู้ใช้ของเราได้รับ
เราเผยแพร่ทั้งครั้งที่พลาดและครั้งที่ตรง: ค่าเบี่ยงเบนเฉลี่ยของเราคือ 0.22 band เราอ่านคำตอบ 8.0 เป็น 7.5 ขณะที่ Gemini ทายถูกเป๊ะ และไม่มีระบบไหน — รวมทั้งของเรา — แตะ 9 ที่ IDP เผยแพร่ได้ การวัดผลที่ซื่อสัตย์หน้าตาเป็นแบบนี้ และเราพูดตรง ๆ แทนที่จะสัญญา “±0.5”
ไม่ใช่เรียงความฟลุกแค่ฉบับเดียว
ตลอดคำตอบที่กรรมการให้คะแนนทั้งเก้าชุด — ค่าเบี่ยงเบนเฉลี่ยของเรา: 0.22 band · Gemini 0.72 · ChatGPT 0.94 · DeepSeek 0.94 · Claude 1.50 เก้าจากเก้าครั้งเราอยู่ในระยะครึ่ง band โดยไม่เอนเอียงไปทางไหนเลย — แชตบอตทุกตัวให้คะแนนต่ำ
ค่าเบี่ยงเบนเฉลี่ยจาก band ของกรรมการ — ยิ่งน้อยยิ่งดี
ค่าคลาดเคลื่อนสูงสุดในข้อสอบฉบับเดียว: IELTS Ace 0.5 · ChatGPT 1.0 · DeepSeek 1.5 · Gemini 2.0 · Claude 2.5 แบนด์
ข้อสอบ ทีละฉบับ
| ข้อสอบ | Band ของกรรมการ | ChatGPT | Gemini | DeepSeek | Claude | IELTS Ace |
|---|---|---|---|---|---|---|
| Cambridge 19 · Test 2 · Task 1 | 4.0 | 3.0 (−1.0) | 2.0 (−2.0) | 3.0 (−1.0) | 1.5 (−2.5) | 4.5 (+0.5) |
| Cambridge 19 · Test 1 · Task 1 | 5.5 | 5.0 (−0.5) | 5.0 (−0.5) | 5.5 (0.0) | 4.5 (−1.0) | 5.5 ✓ |
| Cambridge 19 · Test 1 · Task 1 | 6.0 | 5.0 (−1.0) | 5.0 (−1.0) | 4.5 (−1.5) | 4.5 (−1.5) | 6.0 ✓ |
| Cambridge 19 · Test 2 · Task 2 | 7.0 | 6.0 (−1.0) | 6.5 (−0.5) | 5.5 (−1.5) | 5.5 (−1.5) | 7.0 ✓ |
| Cambridge 19 · Test 1 · Task 2 | 8.0 | 6.5 (−1.5) | 8.0 (0.0) | 6.5 (−1.5) | 6.5 (−1.5) | 7.5 (−0.5) |
| IDP · published Band 9 sample · Task 1 | 9.0 | 7.0 (−2.0) | 8.0 (−1.0) | 6.5 (−2.5) | 5.5 (−3.5) | 8.0 (−1.0) |
คำตอบสี่ชุดที่แสดงบนหน้าแรก ตารางครบเก้าฉบับพร้อมผลลัพธ์ดิบจะมาพร้อมการวัดซ้ำแบบสมมาตร
← กลับไปหน้าแรก