Công cụ AI chấm IELTS Speaking có thực sự hiệu quả không? Chúng làm đúng gì và sai gì

Có, nhưng chỉ với những phần của bài nói có thể đo khách quan. Công cụ AI chấm IELTS Speaking nhìn chung đáng tin khi theo dõi sự ngập ngừng, tốc độ nói, độ đa dạng từ vựng và các kiểu lỗi ngữ pháp lặp lại. Nó yếu hơn rõ rệt khi đánh giá tính mạch lạc của một lập luận, sắc thái văn hoá, hay mức độ châm chước theo ngữ cảnh mà một giám khảo được đào tạo dành cho câu trả lời sát ranh giới. Cách dùng trung thực là coi nó như công cụ tìm ra những điểm lặp lại qua nhiều câu trả lời, chứ không phải bản phán quyết cho một câu.

Việc chấm giọng nói tự động đo tốt điều gì

Các mô hình phân tích giọng nói hiện đại được xây trên nền công nghệ vốn rất giỏi ở một nhóm tín hiệu đo được, và các công cụ chấm IELTS Speaking thừa hưởng trực tiếp những điểm mạnh đó.

Nhịp thời gian của độ trôi chảy và sự ngập ngừng gần với trường hợp lý tưởng nhất của phân tích tự động. Một mô hình có thể đo độ dài và tần suất của những quãng ngắt, tần suất tự sửa lời, và mức độ thường xuyên một câu trả lời chậm lại hay bắt đầu lại giữa câu. Tất cả đều nhất quán hơn nhiều so với một người vừa nghe vừa theo dõi bằng tai theo thời gian thực. Điều này khớp sát với những gì tiêu chí Fluency and Coherence (độ trôi chảy và mạch lạc) lắng nghe ở cấp độ câu.

Độ đa dạng từ vựng là một mảng khác mà công cụ tự động làm tốt. Đếm xem những từ chung chung lặp lại bao nhiêu lần, phần mở đầu câu đa dạng đến đâu, và câu trả lời có chỉ dựa vào một nhóm nhỏ cụm từ an toàn hay không là việc đối chiếu mẫu, và đối chiếu mẫu qua hàng chục câu trả lời chính là việc những hệ thống này được xây dựng để làm. Giám khảo thật cũng nghe ra điều này, nhưng chỉ trong một câu trả lời đang có trước mặt. Công cụ tự động còn có thể so nó với mọi điều bạn đã nói ở các buổi trước.

Các kiểu lỗi ngữ pháp lặp lại là một thế mạnh đặc biệt. Một lỗi ngữ pháp đơn lẻ trong một câu thì ai cũng dễ bỏ sót hoặc bỏ qua. Nhưng một mô hình đã chấm nhiều câu trả lời của bạn có thể chỉ ra một cách đáng tin cậy rằng, chẳng hạn, bạn bỏ mất “-s” ở ngôi thứ ba trong chín trên mười câu trả lời, hay xử lý sai dạng câu điều kiện mỗi lần bạn thử dùng. Phát hiện kiểu lỗi lặp lại, mang tính cấu trúc này, thay vì nhiễu một lần, là chỗ chấm tự động thực sự vượt trội cách tự xem lại qua loa, vì một lỗi lặp lại mới là thứ kìm một tiêu chí, không phải một lỗi nhất thời riêng lẻ.

Độ rõ của phát âm ở cấp độ từng từ, tức các âm và âm tiết riêng lẻ có được phát ra đủ rõ để nhận ra hay không, cũng là một mảng mạnh, vì nó gần với lĩnh vực nhận dạng giọng nói thông thường: tín hiệu âm thanh có khớp với từ dự kiến đủ sát để được hiểu hay không.

Chỗ chấm tự động vẫn yếu hơn giám khảo thật

Không điều nào ở trên có nghĩa là chấm tự động bao quát mọi thứ bài thi Speaking đo. Thẳng thắn về những chỗ còn thiếu quan trọng hơn việc liệt kê điểm mạnh.

Đánh giá tính mạch lạc của một lập luận khó với mô hình hơn việc đánh giá tính mạch lạc của một câu. Một câu trả lời có thể dùng ngôn ngữ trôi chảy, đúng ngữ pháp mà vẫn không triển khai được ý một cách logic, tự mâu thuẫn, hoặc trả lời một câu hơi khác với câu được hỏi. Nhận ra kiểu thiếu mạch lạc ở tầng cao hơn này, khác với sự thiếu trôi chảy ở cấp độ câu, là bài toán khó hơn nhiều, và đó là một trong những thứ giám khảo thật được đào tạo riêng để lắng nghe.

Sắc thái văn hoá và văn phong cũng khó không kém. Một cụm từ nghe tự nhiên và thân mật đúng mức trong ngữ cảnh này có thể nghe trịnh trọng đến lạ hoặc thẳng thừng đến lạ trong ngữ cảnh khác. Phần lớn phán đoán đó phụ thuộc vào bối cảnh văn hoá chung, thứ rất khó mã hoá cho đáng tin. Một giám khảo thật, nhất là người quen nghe thí sinh từ nhiều nền tảng khác nhau, có cảm nhận trực giác về điều này, còn chấm tự động chỉ xấp xỉ chứ không tái tạo được.

Mức độ châm chước của giám khảo thật gần ranh giới band là thứ khó mô hình hoá nhất. Hai câu trả lời có số lỗi giống hệt nhau có thể đến tai người nghe thật theo hai cách khác nhau, tuỳ phần còn lại của câu trả lời trôi chảy tự nhiên đến đâu, thí sinh sửa lại sau một lỗi ra sao, hoặc xử lý một câu hỏi nối tiếp không soạn trước tốt đến mức nào. Kiểu cân nhắc tổng thể này, khi cả câu trả lời được đánh giá là nhiều hơn tổng các lỗi riêng lẻ, chính là phần của việc chấm thi khó bị rút gọn thành công thức.

Vì sao một khoảng band trung thực hơn một con số

Với hai mức độ đáng tin rất khác nhau đó (mạnh ở những đặc điểm đo được, yếu hơn ở phán đoán tổng thể), một công cụ đưa ra một con số chính xác cho band Speaking của bạn đang tuyên bố độ chắc chắn nhiều hơn mức phân tích bên dưới thực sự hỗ trợ. Một câu trả lời nằm sát ranh giới giữa hai band hoàn toàn có thể được hai giám khảo được đào tạo chấm khác nhau. Đó là một đặc điểm đã biết trong cách band descriptors (tiêu chí chấm điểm) vận hành, không phải một lỗi của quy trình chấm. Một công cụ tự động gộp sự không chắc chắn có thật đó thành một chữ số tự tin duy nhất là đang giấu bớt thông tin, chứ không cho bạn thêm thông tin.

Cách tiếp cận theo khoảng trung thực hơn vì nó làm cho sự không chắc chắn hiện ra thay vì giả vờ nó không tồn tại. Chẳng hạn, IELTS Mentor AI chấm các câu trả lời trong bài thi thử bằng cách trả về một khoảng, từ cách đọc khắt khe đến cách đọc nới tay, thay vì một con số cố định, chính là để một câu trả lời sát ranh giới được hiển thị là sát ranh giới, thay vì bị làm tròn thành độ chính xác giả tạo. Dù bạn dùng công cụ nào, một khoảng cách rộng giữa cách đọc khắt khe và cách đọc nới tay của cùng một câu trả lời tự nó đã là thông tin hữu ích: nó cho bạn biết bài nói chưa ổn định, điều mà một con số duy nhất sẽ giấu đi.

Cách dùng công cụ AI chấm Speaking cho tốt

Muốn dùng chấm tự động cho có giá trị thật, điều quan trọng không phải là tin vào một kết quả đơn lẻ mà là cách bạn đọc các kết quả theo thời gian.

Nhìn vào sự nhất quán theo thời gian, không phải một điểm số. Kết quả của một buổi luyện có thể bị ảnh hưởng bởi chủ đề nào xuất hiện, hôm đó bạn thấy thế nào, hay việc micro thu phải tiếng ồn nền. Điều quan trọng hơn là cùng một vấn đề (cùng một lỗi ngữ pháp, cùng một lỗ hổng từ vựng, cùng một kiểu ngập ngừng) có cứ xuất hiện qua nhiều buổi hay không. Sự lặp lại đó là tín hiệu đáng để hành động.

Tìm kiểu lỗi, đừng chỉ nhìn điểm số. Bản thân con số ít quan trọng hơn thứ đang tạo ra nó. Một công cụ nói Lexical Resource (vốn từ vựng) của bạn là “6” thì kém hữu ích hơn một công cụ chỉ rõ thói quen cụ thể nào đang kìm điểm đó, chẳng hạn cứ lặp lại “very good” thay vì những cách nói chính xác và tự nhiên hơn. Con số là phần tóm tắt; kiểu lỗi mới là thứ bạn có thể luyện tập.

Tự đối chiếu nhận xét với band descriptors công khai. Band descriptors công khai mô tả, bằng lời đơn giản, mỗi band nghe như thế nào ở cả bốn tiêu chí. Đọc nhận xét của một công cụ đối chiếu với mô tả đó là một phép kiểm tra hữu ích: nếu lý lẽ đứng sau một điểm số không khớp với điều band descriptors của band đó nói, thì đó là điều đáng để ý.

Những dấu hiệu cảnh báo ở một công cụ chấm điểm

Có vài kiểu đáng coi là tín hiệu cảnh báo, chứ không phải tín hiệu đáng yên tâm.

Một công cụ đưa ra lời hứa bằng một con số duy nhất mà không thừa nhận sự không chắc chắn là đang nói quá những gì nó đo được một cách đáng tin. Một công cụ không có phân tích theo tiêu chí, tức không có phần xem riêng Fluency and Coherence, Lexical Resource, Grammatical Range and Accuracy (độ đa dạng và chính xác của ngữ pháp) và Pronunciation (phát âm), đang giấu đúng thông tin bạn cần để biết nên luyện gì tiếp theo, vì band tổng chỉ là trung bình của bốn tiêu chí đó. Và một công cụ không giải thích điểm số, chỉ có một con số trơn mà không có gì biện minh, thì không cho bạn thứ gì để hành động; một con số không có lý lẽ không thể cho bạn biết cùng một vấn đề có đang lặp lại hay chỉ là chuyện một lần.

Không điều nào trong này có nghĩa là chấm tự động không hữu ích. Rõ ràng là hữu ích, đúng ở những đặc điểm đo được đã mô tả ở trên. Nó có nghĩa là cách trung thực để đối xử với nó là coi đó như một công cụ phát hiện lỗi lặp lại nhất quán, không biết mệt, rất giỏi một số việc và giới hạn công khai ở những việc khác, chứ không phải thứ thay thế cho phán đoán mà một giám khảo thật có chứng chỉ mang đến cho những phần của bài nói khó bị rút gọn thành công thức.