travesti
travesti
travesti
2007-12-25
心測中心研發中文寫作自動化評分系統 保障考生權益
圖
電腦輔助作文閱卷 保障考生權益

  【12/25公關室提供】國中基測作文評分方式可望重大突破!在師大心測中心與交大資工系合作下,第一套針對中文寫作評分的自動化系統研發完成,只要輸入學生作文內容,輕鬆按下一個鍵,電腦就能自動根據文章取材、組織結構、修辭技巧能評分項目仔細分析,並評定分數。未來實際應用大型考試,不僅將大大縮短閱卷時間,透過電腦與閱卷老師雙重評閱,更可保障考生權益。

  這套中文寫作自動化評分系統ACES(Automated Chinese Essay Scoring),由心測中心研究團隊與資訊人員合作,歷經四年開發,集合自然語言處理、資訊擷取技術與人工智慧設計。心測中心研究員張道行表示,利用電腦評判寫作成績,在英文世界早已是成熟的技術,包括ETS的e-rater、美國大學理事會使用Intellimetric等都已經實際上線運作,然而中文語言結構與英文差異很大,因此相關技術研發也格外困難。

  目前這套系統設計真正讓電腦評分前,必須先蒐集足夠資料訓練電腦學習,然後再依據基測作文評分標準逐一評分。張道行舉例,以目前已經訓練完成的作文題目「下課十分鐘」為例,研究人員在真正讓電腦評分前,先輸入689筆經過閱卷老師評閱的考卷,然後進行測試,發現所有答案卷評分結果與老師人工批閱相比,一致性高達91.6%,只有千分之一答案卷出現兩者相差三分以上嚴重偏離情形,讓研究團隊相當興奮。心測中心有信心,未來系統技術更成熟,考試前不需要建立或公佈題庫,只要利用現行閱卷前抽取樣卷審查結果輸入,即可正式加入協助閱卷行列。

  不過這套系統目前也還有許多亟待突破的地方,張道行坦承,其中像是最困難的「文章立意」或「符合題旨」等標準,到底要如何判斷,就是很大的挑戰,此外,建立電腦評分標準和判斷依據後,如何避免評分規則被破解,造成考生僥倖得到高分,也是研究團隊下一歩要努力的目標。而這套系統要運用國中基測真正落實,在不可能讓31萬考生通通上機寫作文的情形下,如何克服大量試卷掃描進入電腦並且正確判讀轉檔的技術問題,也是未來運用電腦評分必須解決的關鍵。

  至於這套系統究竟什麼時候可以上路,心測中心主任宋曜廷表示,現階段心測中心一方面要克服技術問題,另一方面也要得到社會家長老師的支持才能實施,畢竟現在基測結果牽涉層面很廣,在家長對電腦評分作業沒有信心前,心測中心不會貿然推出。但他也強調,就算未來基測以電腦輔助作文評分,頂多也只是第三人角色,當考生分數出現電腦與兩位老師人工閱卷結果差異過大時,會再請其他老師評閱,考生權益不僅不會減少,反而得到更公平的保障。

  了解國中基測最新方向,教育部次長吳財順25日也親自出席研發成果發表會,關心這套系統發展情形。吳次長肯定師大心測中心的努力,不過教育部才剛開始接觸這項技術,對於國中基測寫作測驗是否採行電腦輔助評分,目前還沒有任何討論。

上一筆
下一筆
上一筆