Жасанды интеллект IELTS Speaking бөлімін шынымен бағалай ала ма? Ол нені дұрыс, нені қате көрсетеді

Иә, бірақ Speaking жауабының тек объективті өлшенетін жақтары бойынша: жасанды интеллект (ЖИ) арқылы IELTS Speaking бағалайтын құрал кідіріс, сөйлеу қарқыны, сөздік қордың ауқымы және қайталанатын грамматикалық заңдылықтарды бақылауда негізінен сенімді, ал дәлелдің жүйелілігін, мәдени реңкті және тәжірибелі тірі емтихан алушы шекарадағы жауапқа контекске қарай көрсететін төзімділікті бағалауда байқаларлықтай әлсіз. Оны пайдаланудың адал жолы — бір жауаптың үкімі ретінде емес, көптеген жауапта не болып жатқанын көрсететін заңдылық іздегіш ретінде қолдану.

Автоматты сөйлеуді бағалау нені жақсы өлшейді

Заманауи сөйлеуді талдау модельдері белгілі бір өлшенетін сигналдарды шынымен жақсы танитын технологияға сүйенеді, ал IELTS Speaking бағалайтын құралдар бұл күшті жақтарды тікелей мұра етеді.

Сөйлеу еркіндігінің уақыттық белгілері мен кідіріс автоматты талдау үшін тамаша мысалға жақын. Модель үзілістердің ұзақтығы мен жиілігін, өзін-өзі түзету жиілігін, жауаптың сөйлем ортасында қаншалықты жиі баяулайтынын немесе қайта басталатынын өлшей алады, және мұны нақты уақытта құлақпен тыңдап отырған адамға қарағанда әлдеқайда тұрақты орындайды. Бұл Fluency and Coherence (сөйлеу еркіндігі және жүйелілік) критерийінің сөйлем деңгейінде нені тыңдайтынымен тығыз сәйкес келеді.

Сөздік қордың ауқымы — автоматты құралдар жақсы жұмыс істейтін тағы бір сала. Бірдей жалпы сөздердің қаншалықты жиі қайталанатынын, сөйлем бастамаларының қаншалықты әртүрлі екенін және жауаптың шектеулі қауіпсіз тіркестер жиынына сүйенетінін санау — заңдылық іздеу тапсырмасы, ал ондаған жауап бойынша заңдылық іздеу бұл жүйелер нақ соған арналған. Тірі емтихан алушы да мұны естиді, бірақ тек алдындағы бір жауап ішінде; автоматты құрал оны сіздің алдыңғы сессияларда айтқан бәрімен де салыстыра алады.

Қайталанатын грамматикалық заңдылықтар — ерекше күшті жағы. Бір сөйлемдегі бір грамматикалық қатені кез келген адам байқамай қалуы немесе кешіруі оңай, ал бірнеше жауабыңызды бағалаған модель, мысалы, он жауаптың тоғызында үшінші жақтағы «-s» жалғауын түсіріп кеткеніңізді немесе conditional формаларын қолданбақ болған сайын қателескеніңізді сенімді көрсете алады. Жеке кездейсоқ шуды емес, осындай қайталанатын құрылымдық заңдылықты байқауда автоматты бағалау кездейсоқ өзін-өзі тексеруден шынымен озып түседі, өйткені критерийді төмен ұстап тұрған — қайталанатын қате, жеке кездейсоқ қате емес.

Жеке сөздердегі дыбыстау айқындығы — жеке дыбыстар мен буындардың танылатындай анық айтылуы — да күшті жақ, өйткені ол стандартты сөйлеуді тану саласына жақын: акустикалық сигнал күтілген сөзге түсінуге жететіндей жақын келе ме.

Автоматты бағалау тірі емтихан алушыдан әлі қай жерде әлсіз

Мұның ешқайсысы автоматты бағалау Speaking тесті өлшейтін бәрін қамтиды дегенді білдірмейді, ал олқылықтар туралы адал айту күшті жақтарды тізіп шығудан маңыздырақ.

Дәлелдің жүйелілігін бағалау модельге сөйлемнің жүйелілігін бағалаудан қиынырақ. Жауап еркін, грамматикалық тұрғыдан дұрыс тілмен айтылса да, идеяны логикалық түрде дамытпауы, өзіне қайшы келуі немесе қойылған сұраққа сәл басқа сұраққа жауап беруі мүмкін. Сөйлем деңгейіндегі тұтығудан бөлек, осындай жоғары деңгейдегі жүйесіздікті тану әлдеқайда қиын міндет, және тірі емтихан алушы нақ осыны тыңдауға арнайы үйретіледі.

Мәдени реңк пен стиль де шынымен қиын. Бір контексте табиғи әрі орынды бейресми көрінетін тіркес басқа контексте біртүрлі ресми немесе тым тікелей естілуі мүмкін, ал мұндай бағалаудың көбі сенімді түрде кодтау қиын ортақ мәдени контекстке байланысты. Тірі емтихан алушы, әсіресе әртүрлі ортадан шыққан үміткерлерді тыңдауға үйренген адам, мұны іштей сезеді; автоматты бағалау бұл сезімді қайталамайды, тек шамалап жақындайды.

Тірі емтихан алушының балл шекарасына жақын жердегі төзімділігін модельдеу — бәрінен қиыны. Қателер саны бірдей екі жауап тірі тыңдаушыда әртүрлі әсер қалдыруы мүмкін: жауаптың қалған бөлігі қаншалықты табиғи өткеніне, үміткер қатеден қалай шыққанына немесе алдын ала дайындалмаған қосымша сұраққа қалай жауап бергеніне байланысты. Жауап жеке қателердің қосындысынан артық нәрсе ретінде тұтас бағаланатын мұндай салмақтау емтихан алудың формулаға түсірілуге көнбейтін дәл сол бөлігі.

Балл аралығы бір саннан неге адалырақ

Сенімділіктің осы екі өте әртүрлі деңгейін — өлшенетін белгілерде күшті, тұтас пайымда әлсіздеу — ескерсек, Speaking бойынша балыңыз үшін бір дәл сан беретін құрал негізгі талдау қолдайтыннан гөрі көбірек сенімділік мәлімдеп отыр. Екі балл арасындағы шекарада тұрған жауапты екі түрлі оқытылған емтихан алушы екі жаққа да бағалауы шынымен мүмкін; бұл — бағалау критерийлерінің (band descriptors) жұмыс істеу тәсіліндегі белгілі ерекшелік, бағалау үрдісінің кемшілігі емес. Нақты белгісіздікті бір сенімді цифрға түйіп тастайтын автоматты құрал сізге көбірек ақпарат бермейді, керісінше ақпаратты жасырады.

Аралыққа негізделген тәсіл адалырақ, өйткені ол белгісіздікті жоқ дегендей көрсетпей, көрінетін етеді. Мысалы, IELTS Mentor AI сынақ жауаптарын бір тұрақты санмен емес, қатаң бағалаудан жұмсақ бағалауға дейінгі аралықпен береді: шекарада тұрған жауап жалған дәлдікке айналдырылмай, шекарада тұрғаны көрсетілуі үшін. Қандай құралды пайдалансаңыз да, бір жауапты қатаң және жұмсақ бағалау арасындағы үлкен алшақтықтың өзі пайдалы ақпарат: ол сөйлеуіңіздің әлі тұрақты еместігін көрсетеді, ал бір сан мұны жай ғана жасырар еді.

ЖИ-бағалаушыны қалай дұрыс пайдалануға болады

Автоматты бағалаудан нақты пайда алу кез келген жеке нәтижеге сенуге емес, нәтижелерді уақыт бойы қалай оқитыныңызға байланысты.

Бір балға емес, уақыт бойындағы тұрақтылыққа қараңыз. Бір сессияның нәтижесіне қандай тақырыптар түскені, сол күні өзіңізді қалай сезінгеніңіз немесе микрофонның фондық шуды алып қалуы әсер етуі мүмкін. Маңыздысы — бірдей мәселе (бірдей грамматикалық қате, бірдей сөздік қордағы олқылық, бірдей кідіріс заңдылығы) көптеген сессияда қайта шығып жүр ме. Іс-әрекет етуге тұрарлық белгі — осы қайталану.

Балды емес, заңдылықтарды іздеңіз. Санның өзі оны қозғап тұрған нәрседен гөрі аз маңызды. Lexical Resource (сөздік қор) бойынша «6» екенін айтатын құрал, сол балды төмен ұстап тұрған нақты әдетті, мысалы, дәлірек әрі табиғи баламалардың орнына «very good» дегенді қайталауды атайтын құралдан гөрі аз пайдалы. Сан — қорытынды; ал нақты жаттығуға болатыны — заңдылық.

Кері байланысты жарияланған критерийлермен өзіңіз салыстырыңыз. Жалпыға қолжетімді бағалау критерийлері әр балл деңгейінің төрт критерийдің бәрі бойынша нақты қалай естілетінін қарапайым тілмен сипаттайды. Құралдың кері байланысын осы сипаттамамен салыстырып оқу — пайдалы жылдам тексеру: егер балдың артындағы дәлел сол балл деңгейінің критерийінде айтылғанмен сәйкес келмесе, бұған назар аударған жөн.

Бағалау құралынан сақтандыратын белгілер

Кейбір белгілерді сенімділік емес, ескерту ретінде қабылдаған жөн.

Белгісіздікті мойындамай, бір ғана сан уәде ететін құрал сенімді өлшей алатынынан асыра айтып тұр. Критерийлер бойынша бөлінбеген құрал — Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy (грамматикалық әралуандық пен дәлдік) және Pronunciation (дыбыстау) бойынша жеке көрініс жоқ — келесіде нені жаттығу керектігін білуге қажет ақпаратты нақ жасырып тұр, өйткені Speaking бойынша балл тек осы төрттің орташа мәні. Ал балға ешқандай түсіндірме бермейтін, оны негіздейтін ештеңесі жоқ шикі сан ғана беретін құрал сізге іс-әрекет етуге ештеңе бермейді: негіздемесіз сан бірдей мәселенің қайталанып жатқанын немесе бір реттік болғанын айта алмайды.

Мұның ешқайсысы автоматты бағалау пайдасыз дегенді білдірмейді — жоғарыда сипатталған өлшенетін белгілер үшін ол анық пайдалы. Оған адал қараудың жолы — оны кейбір нәрседе өте мықты, кейбірінде ашық шектеулі, тұрақты, талмайтын заңдылық іздегіш деп қабылдау, ал сертификатталған тірі емтихан алушы жауаптың формулаға түсірілуге көнбейтін бөліктерін бағалағанда шығаратын пайымның орнын басатын нәрсе деп қабылдамау.