Süni intellektlə IELTS Speaking qiymətləndirməsi həqiqətən işləyirmi? Nəyi düzgün, nəyi səhv edir

Bəli, amma yalnız Speaking nitqinin obyektiv ölçülə bilən hissələri üçün. Süni intellektlə IELTS Speaking qiymətləndirməsi duruxmanı, nitq tempini, söz ehtiyatının genişliyini və təkrarlanan qrammatik qanunauyğunluqları izləməkdə bir qayda olaraq etibarlıdır; arqumentin ardıcıllığını, mədəni incəlikləri və təcrübəli insan ekzaminatorun sərhəddə olan cavaba göstərdiyi kontekstə uyğun güzəşti qiymətləndirməkdə isə nəzərəçarpacaq dərəcədə zəifdir. Ondan istifadənin dürüst yolu onu tək bir cavab üzərində hökm kimi deyil, çoxlu cavabda nələrin baş verdiyini göstərən qanunauyğunluq axtaran alət kimi görməkdir.

Avtomatik nitq qiymətləndirməsi nəyi yaxşı ölçür

Müasir nitq təhlili modelləri müəyyən ölçülə bilən siqnallarda həqiqətən yaxşı olan texnologiya üzərində qurulub, IELTS Speaking qiymətləndirmə alətləri də bu güclü cəhətləri birbaşa miras alır.

Səlislik üzrə vaxt göstəriciləri və duruxma avtomatik təhlil üçün ideal istifadə halına yaxındır. Model fasilələrin uzunluğunu və tezliyini, özünü düzəltmə tezliyini, cavabın cümlənin ortasında nə qədər tez-tez yavaşladığını və ya yenidən başladığını real vaxtda qulaqla dinləyən insanın izləyə biləcəyindən xeyli ardıcıl ölçə bilər. Bu, Fluency and Coherence (səlislik və ardıcıllıq) meyarının cümlə səviyyəsində nəyi dinlədiyi ilə sıx üst-üstə düşür.

Söz ehtiyatının genişliyi avtomatik alətlərin yaxşı olduğu başqa sahədir. Eyni ümumi sözlərin nə qədər tez-tez təkrarlandığını, cümlə başlanğıclarının nə qədər müxtəlif olduğunu və cavabın dar bir «təhlükəsiz» ifadələr dəstinə söykənib-söykənmədiyini saymaq qanunauyğunluq axtarışıdır, onlarla cavab üzrə qanunauyğunluq axtarışı isə bu sistemlərin məhz bunun üçün qurulduğu işdir. İnsan ekzaminator bunu da eşidir, amma yalnız qarşısındakı tək cavabda; avtomatik alət isə onu əvvəlki seanslarda dediyiniz hər şeylə də müqayisə edə bilər.

Təkrarlanan qrammatik qanunauyğunluqlar xüsusi güclü cəhətdir. Bir cümlədəki tək qrammatik diqqətsizliyi hər kəsin gözdən qaçırması və ya bağışlaması asandır, amma cavablarınızdan bir neçəsini qiymətləndirmiş model, məsələn, on cavabın doqquzunda üçüncü şəxs «-s» şəkilçisini buraxdığınızı və ya şərt cümləsi qurmağa çalışdığınız hər dəfə onu səhv qurduğunuzu etibarlı şəkildə üzə çıxara bilər. Təsadüfi küyü deyil, belə təkrarlanan, quruluşla bağlı qanunauyğunluğu görmək avtomatik qiymətləndirmənin ötəri öz-özünə yoxlamadan üstün olduğu yerdir, çünki meyarı aşağıda saxlayan məhz təkrarlanan səhvdir, təcrid olunmuş diqqətsizlik yox.

Ayrı-ayrı sözlər səviyyəsində tələffüz aydınlığı, yəni ayrı-ayrı səslərin və hecaların tanınmaq üçün kifayət qədər aydın tələffüz edilib-edilmədiyi də güclü sahədir, çünki bu, standart nitq tanıma sahəsinə yaxındır: akustik siqnal gözlənilən sözə başa düşülmək üçün kifayət qədər yaxındırmı.

Avtomatik qiymətləndirmənin hələ də insan ekzaminatordan zəif olduğu yerlər

Bunların heç biri o demək deyil ki, avtomatik qiymətləndirmə Speaking testinin ölçdüyü hər şeyi əhatə edir; boşluqlar barədə dürüst olmaq güclü cəhətləri sadalamaqdan daha vacibdir.

Arqumentin ardıcıllığını qiymətləndirmək model üçün cümlənin ardıcıllığını qiymətləndirməkdən daha çətindir. Cavab səlis və qrammatik cəhətdən düzgün dildən istifadə edə bilər, eyni zamanda fikri məntiqi şəkildə inkişaf etdirməyə bilər, özünə zidd çıxa bilər və ya verilən sualdan bir az fərqli suala cavab verə bilər. Cümlə səviyyəsindəki səlissizlikdən fərqli olaraq, belə yüksək səviyyəli ardıcıllıq pozuntusunu tanımaq çox daha çətin məsələdir və insan ekzaminatorun məhz diqqət etməyə hazırlandığı şeylərdən biridir.

Mədəni incəliklər və üslub da həqiqətən çətindir. Bir kontekstdə təbii və yerində qeyri-rəsmi səslənən ifadə başqa kontekstdə qəribə dərəcədə rəsmi və ya kobud səslənə bilər; bu mühakimənin çoxu etibarlı şəkildə kodlaşdırılması çətin olan ortaq mədəni kontekstdən asılıdır. İnsan ekzaminator, xüsusilə müxtəlif mühitlərdən olan namizədləri eşitməyə öyrəşmiş ekzaminator, bunu intuitiv hiss edir; avtomatik qiymətləndirmə isə bunu təkrarlamır, yalnız ona yaxınlaşır.

İnsan ekzaminatorun bal sərhədinə yaxın göstərdiyi güzəşt modelləşdirilməsi ən çətin olan şeydir. Səhv sayı eyni olan iki cavab, cavabın qalan hissəsinin nə qədər təbii axdığından, namizədin səhvdən necə çıxdığından və ya ssenarisiz əlavə suala nə qədər yaxşı cavab verdiyindən asılı olaraq, insan dinləyicidə fərqli təəssürat yarada bilər. Bütün cavabın ayrı-ayrı səhvlərin cəmindən artıq olduğu bu cür bütöv qiymətləndirmə ekzaminatorluğun məhz düstura endirilməyə müqavimət göstərən hissəsidir.

Bal aralığı tək rəqəmdən niyə daha dürüstdür

Bu iki çox fərqli etibarlılıq səviyyəsini, yəni ölçülə bilən xüsusiyyətlərdə güclü, bütöv mühakimədə isə zəif olmağı nəzərə alsaq, Speaking balınız üçün tək dəqiq rəqəm verən alət əsas təhlilin dəstəklədiyindən çox əminlik iddia edir. İki bal arasındakı sərhəddə olan cavabı iki fərqli təlim keçmiş ekzaminator həqiqətən hər iki cür qiymətləndirə bilər və bu, bal deskriptorlarının necə işlədiyinin məlum xüsusiyyətidir, qiymətləndirmə prosesinin qüsuru deyil. Bu real qeyri-müəyyənliyi tək inamlı rəqəmə sıxışdıran avtomatik alət sizə daha çox məlumat vermir, məlumatı gizlədir.

Aralığa əsaslanan yanaşma daha dürüstdür, çünki bu qeyri-müəyyənliyin mövcud olmadığını iddia etmək əvəzinə onu görünən edir. Məsələn, IELTS Mentor AI sınaq cavablarını tək düz rəqəm əvəzinə sərt qiymətləndirmədən yumşaq qiymətləndirməyədək bal aralığı qaytarmaqla qiymətləndirir; məqsəd sərhəddə olan cavabın saxta dəqiqliklə örtülmək əvəzinə sərhəddə olan cavab kimi göstərilməsidir. Hansı alətdən istifadə etsəniz də, eyni cavabın sərt və yumşaq oxunuşları arasındakı geniş fərq özlüyündə faydalı məlumatdır: o, nitqin hələ sabit olmadığını bildirir, tək rəqəm isə bunu sadəcə gizlədərdi.

Süni intellektlə Speaking qiymətləndiricisindən düzgün necə istifadə etməli

Avtomatik qiymətləndirmədən real fayda götürmək hər hansı tək nəticəyə inanmaqdan çox, nəticələri zaman ərzində necə oxumağınızdan asılıdır.

Tək bala deyil, zaman ərzində ardıcıllığa baxın. Tək seansın nəticəsinə hansı mövzuların düşməsi, həmin gün özünüzü necə hiss etməyiniz və ya mikrofonun fon küyünü tutması təsir edə bilər. Daha vacib olan odur ki, eyni problem, yəni eyni qrammatik səhv, eyni söz ehtiyatı boşluğu, eyni duruxma qanunauyğunluğu çoxlu seanslarda təkrar ortaya çıxırmı. Əsasında addım atmağa dəyər siqnal məhz bu təkrardır.

Ballara deyil, qanunauyğunluqlara baxın. Rəqəmin özü onu yaradan şeydən az vacibdir. Lexical Resource (söz ehtiyatı) balınızın «6» olduğunu deyən alət, bu balı aşağıda saxlayan konkret vərdişi, məsələn, daha dəqiq və təbii alternativlər əvəzinə «very good» ifadəsini təkrarlamağınızı göstərən alətdən daha az faydalıdır. Rəqəm xülasədir; qanunauyğunluq isə həqiqətən məşq edə biləcəyiniz şeydir.

Rəyi dərc olunmuş deskriptorlarla özünüz müqayisə edin. Açıq şəkildə əlçatan bal deskriptorları hər bal səviyyəsinin dörd meyarın hamısı üzrə necə səsləndiyini sadə dillə təsvir edir. Alətin rəyini bu təsvirlə müqayisə edərək oxumaq faydalı yoxlamadır: balın arxasındakı əsaslandırma həmin bal üçün deskriptorun (band descriptor) dediyi ilə üst-üstə düşmürsə, buna fikir verməyə dəyər.

Qiymətləndirmə alətində diqqət ediləcək xəbərdarlıq işarələri

Bir neçə əlaməti arxayınlıq deyil, xəbərdarlıq işarəsi kimi qəbul etmək lazımdır.

Qeyri-müəyyənliyi etiraf etmədən tək rəqəm vəd edən alət etibarlı şəkildə ölçə biləcəyindən çoxunu iddia edir. Meyarlar üzrə bölgüsü olmayan alət, yəni Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy (qrammatik müxtəliflik və dəqiqlik) və Pronunciation (tələffüz) üzrə ayrı görünüşü olmayan alət, növbəti nəyi məşq edəcəyinizi bilmək üçün lazım olan məlumatı məhz gizlədir, çünki Speaking balı yalnız bu dördün orta balıdır. Heç bir izahı olmayan, yəni heç nə ilə əsaslandırılmayan quru rəqəm verən alət isə əsasında addım ata biləcəyiniz heç nə vermir; əsaslandırması olmayan rəqəm eyni problemin təkrarlanıb-təkrarlanmadığını, yoxsa bir dəfəlik hal olduğunu deyə bilməz.

Bunların heç biri avtomatik qiymətləndirmənin faydasız olduğunu demək deyil: yuxarıda təsvir olunan ölçülə bilən xüsusiyyətlər üçün o, açıq-aydın faydalıdır. Bunun mənası odur ki, ona dürüst yanaşmanın yolu onu bəzi şeylərdə çox yaxşı, digərlərində açıq şəkildə məhdud olan, ardıcıl və yorulmaz qanunauyğunluq axtaran alət kimi qəbul etməkdir; düstura endirilməyə müqavimət göstərən nitq hissələrində sertifikatlı insan ekzaminatorun gətirdiyi mühakimənin əvəzi kimi yox.