speakingAI評分
· 閱讀時間6分鐘

AI的雅思IELTS口說評分工具真的有用嗎?它們做對與做錯的地方

本頁內容

有,但只限於口說表現中可以客觀量測的部分。AI的IELTS(雅思)Speaking(口說)評分工具,通常能可靠地追蹤遲疑、語速、詞彙範圍和反覆出現的文法模式,但在判斷論點是否連貫、文化上的細微差異,以及訓練有素的真人考官面對臨界回答時依情境給予的那種寬容上,明顯較弱。比較誠實的使用方式,是把它當成找出模式的工具,標示出許多回答中反覆發生的狀況,而不是對單一回答下的結論。

重點整理

  • AI評分最擅長可量測的特徵:流暢度的時間表現、遲疑、詞彙範圍、反覆出現的文法模式,以及單字層級的發音清晰度。
  • 它較弱的是論點的連貫性、文化上的細微差異,以及真人考官對臨界回答所給予的寬容。
  • 分數區間比單一數字更誠實,因為它反映的是邊界附近真實存在的不確定性,而不是虛假的精確。
  • 把AI評分用在長期的一致性和找出模式,而不是對單一回答下結論。
  • 對任何只給一個很有把握的數字、沒有分項說明也沒有解釋的工具,都要保持懷疑。

自動口說評分真正量得準的是什麼

現代的語音分析模型建立在一項技術之上,這項技術確實擅長一組特定的可量測訊號,而IELTS Speaking的評分工具直接繼承了這些強項。

流暢度的時間表現與遲疑,幾乎是自動分析的理想用途。模型可以量測停頓的長度和頻率、自我修正的比率,以及回答在句子中途變慢或重新開始的次數,一致性遠高於真人即時用耳朵追蹤的程度。這與Fluency and Coherence(流暢度與連貫性)評分項目在句子層級實際聆聽的內容高度吻合。

詞彙範圍是自動工具另一個做得好的領域。計算同樣的通用詞出現了幾次、句子開頭有多少變化,以及回答是否依賴一小組安全的片語,這是比對模式的工作,而在幾十個回答之間比對模式,正是這類系統被打造出來要做的事。真人考官也聽得出這一點,但只限於眼前這一個回答;自動工具還能把它和你在之前每一次練習中說過的內容比較。

反覆出現的文法模式是特別突出的強項。單一句子中的一個文法失誤,任何人都很容易漏掉或原諒,但評過你好幾個回答的模型,可以可靠地指出,例如你在10個回答中有9個漏掉第三人稱單數的「-s」,或是每次嘗試使用條件句都用錯形式。找出這種反覆出現的結構性模式,而不是一次性的雜訊,正是自動評分真正勝過隨意自我檢視之處,因為真正拉低評分項目分數的,是反覆出現的錯誤,而不是單一的一時失誤。

單字層級的發音清晰度,也就是個別的音和音節是否發得夠清楚、能被辨認,同樣是強項,因為這接近標準的語音辨識範圍:聲音訊號是否與預期的單字足夠吻合,而能被理解。

自動評分仍不如真人考官的地方

這並不表示自動評分涵蓋了Speaking考試實際量測的所有內容,坦白說明這些缺口,比列出強項更重要。

判斷論點的連貫性,對模型來說比判斷句子的連貫性更難。一個回答可以使用流暢、文法正確的語言,卻仍然沒有合乎邏輯地發展想法、自相矛盾,或是回答了與題目略有不同的問題。辨認這種較高層次的不連貫,而不是句子層級的不流暢,是困難得多的問題,也是真人考官受過專門訓練要去聽的事。

文化上的細微差異與語體也確實很難。同一個片語,在某個情境讀起來自然而且恰如其分地輕鬆,在另一個情境可能顯得奇怪地正式或奇怪地直接,而這種判斷很大一部分取決於共同的文化背景,很難可靠地編碼。真人考官,特別是習慣聽來自許多不同背景的考生說話的考官,帶有一種直覺的敏感度,自動評分只能近似,無法複製。

真人考官在分數等級邊界附近的寬容,是最難建立模型的一件事。2個錯誤數量相同的回答,聽在真人耳裡可能結果不同,取決於回答的其餘部分流動得多自然、考生如何從錯誤中恢復,或是對沒有準備的追問應對得多好。這種整體性的權衡,也就是把整個回答看成比個別錯誤的總和更多的東西,正是考試評分中最抗拒被簡化成公式的部分。

為什麼分數區間比單一數字更誠實

既然這2種可靠度差異這麼大,一邊是可量測特徵上很強,一邊是整體判斷上較弱,那麼對你的Speaking分數給出一個精確數字的工具,宣稱的確定性就超過了底層分析實際能支撐的程度。一個落在2個分數等級邊界附近的回答,確實可能被2位受過訓練的考官評成不同的分數,這是評分標準運作方式的一個已知特點,並不是評分過程的缺陷。把這種真實的不確定性壓縮成一個很有把握的數字的自動工具,是在隱藏資訊,而不是提供更多資訊。

以區間為基礎的做法比較誠實,因為它讓這種不確定性看得見,而不是假裝它不存在。例如IELTS Mentor AI為模擬考試的回答評分時,給的是從嚴格到寬鬆的分數區間,而不是一個單一的數字,目的就是讓臨界的回答被顯示為臨界,而不是被硬套成虛假的精確。不論你使用哪一種工具,對同一個回答的嚴格判讀與寬鬆判讀之間差距很大,本身就是有用的資訊:它告訴你這個表現還不穩定,而單一數字只會把這件事藏起來。

如何善用AI口說評分

要從自動評分中得到真正的價值,重點不在於相信任何單一的結果,而在於你如何長期解讀這些結果。

看長期的一致性,不要只看一次分數。 單次練習的結果,可能受到出現的主題、你當天碰巧的狀態,或是麥克風收到背景噪音的影響。更重要的是,同一個問題,也就是同一個文法錯誤、同一個詞彙缺口、同一種遲疑模式,是否在許多次練習中一再出現。這種重複才是值得採取行動的訊號。

看模式,不要只看分數。 數字本身不如驅動它的原因重要。只告訴你Lexical Resource(詞彙資源)是「6」的工具,不如告訴你是哪一個具體習慣拉低了這個分數的工具有用,例如一再說「very good」,而不用更精準、更自然的替代說法。數字是摘要,模式才是你可以實際練習的東西。

自己把回饋和公開的評分標準對照。 公開的評分標準用淺白的方式,描述每個分數等級在4個評分項目上實際聽起來是什麼樣子。把工具的回饋和那段描述對照,是一個有用的合理性檢查:如果一個分數背後的理由,與該分數等級的評分標準實際所說的內容對不上,就值得留意。

評分工具要注意的警訊

有幾種情況,應該視為警訊,而不是令人放心的徵象。

給你單一數字保證、完全不承認有不確定性的工具,是在誇大它能可靠量測的範圍。沒有分項說明的工具,也就是看不到Fluency and Coherence、Lexical Resource、Grammatical Range and Accuracy(文法多樣性與準確度)和Pronunciation(發音)各自的結果,隱藏的正是你判斷下一步該練什麼所需要的資訊,因為Speaking的分數只是這4項的平均。而沒有任何解釋的工具,只給一個沒有任何理由支持的單純數字,也沒有給你任何可以採取行動的依據;沒有理由的數字,無法告訴你同一個問題是否反覆出現,還是只出現一次。

這並不表示自動評分沒有用,對於上面說明的那些可量測特徵,它顯然有用。這是要說,比較誠實的態度,是把它當作一個穩定、不知疲倦的模式偵測工具,在某些事情上非常出色,在其他事情上有明確的限制,而不是取代經認證的真人考官,對於表現中那些抗拒被簡化成公式的部分所做的判斷。

用AI即時回饋來練習

在App中錄下你的回答,幾秒內就能得到文法、詞彙、流暢度和發音的分析。

付費App:費用說明 · 帳務與退款 · 客服

App的介面是英文;本網站用中文為你說明。

常見問題

AI可以準確預測我的IELTS Speaking分數嗎?

它可以給出合理的估計,尤其是在比較容易量測的部分,例如遲疑、詞彙範圍和反覆出現的文法錯誤,但在口說中比較主觀的部分,它無法取代經認證考官的判斷。請把任何AI分數當作有根據的估計,而不是你考試當天成績的保證。

為什麼有些AI評分給單一數字,有些給區間?

單一數字暗示了一種自動評分其實沒有的精確度,尤其是對處在臨界的表現。區間比較誠實,因為它反映了分數等級邊界附近真正的不確定性,而這同樣的不確定性,也會讓2位真人考官對同一個回答的評分略有出入。

AI的口說回饋比老師的回饋更不可信嗎?

它們各有擅長的事,並不是其中一方單純比較好。AI工具在每一次練習中都保持一致,也不會因為一再聽到同樣的錯誤而厭倦,而老師能判斷情境、意圖和論點是否連貫,這是目前任何自動系統都無法完全做到的。

選AI的IELTS Speaking工具時,我到底該看什麼?

要看它是否依4個公開的評分項目分項說明,而不是只給一個整體的數字;是否解釋某個錯誤為什麼重要;以及是否能讓你看出某個問題是在多次練習中反覆出現,還是只出現一次。只給分數、背後沒有任何理由的工具,沒有給你足夠的資訊可以採取行動。

更多部落格文章

本網站相關內容

所有文章 →