電腦化大學生基本素養測驗簡介
文／陳柏熹（國立臺灣師範大學教育心理與輔導學系副教授兼國家華語測驗推動工作委員會執行長）
2014.1 評鑑雙月刊第47期
隨著近代教育成效評鑑中，學生學習成效評量（outcome evaluation）日漸受到重視，學生基本素養的評量已成為當代大型教育評量計畫所關心的重要議題。
大學生基本素養測驗的源起
在「21世紀技能評量與教學計畫」（Assessment & Teaching of 21st CenturySkills, ATC21S）（ATC21S, 2012）中，提出了21世紀現代學生所需具備的十項基本素養，包含創意、資訊、生涯、公民、問題解決、關鍵思考能力等，並首度使用數位化評量系統與電腦實作題型來進行評量。而國際學生評量計畫（Programme for International Student Assessment, PISA）中，也將數學、閱讀、資訊、科學等素養的評量列為了解各國教育成效現況的主要評估項目，並將從2015年起使用與ATC21S類似的評量方式與情節式題型（scenario-based item）來進行評量。臺灣的高等教育評鑑中心（2010）也在100年度校務評鑑實施計畫中，將「學校規劃與評核學生達成基本素養與核心能力的機制（4-2）」列入評鑑學校是否盡到確保學生學習之績效責任。由此可知，以學生學習成效為指標的教育評鑑方式已是當代教育評鑑中相當重要的作法。
然而，各大學的教育目標及重點特色不同，要發展出能評量各校大學生基本素養的工具實屬不易。有鑒於此，國立臺灣師範大學於2011年9月開始組成團隊，發展大學生基本素養測驗，並以能同時測量認知能力與情意態度之教育目標的電腦化測驗工具，作為此測驗發展的主要任務。歷經兩年多的發展，於2013年10月正式推出大學生基本素養評量計畫，並開放全國大專校院加入評量計畫，讓各大學能了解該校基本素養教育目標的培育成效，並使學生能檢核其各項基本素養的學習情形，作為未來選課規劃與生涯發展之參考。
測驗發展歷程與相關問題探討
此測驗是依據標準化測驗編製流程所發展的測驗（郭生玉，2004；陳柏熹，2011），先從定義測驗目標與決定測驗內容細目開始進行，歷時約半年。接著決定測驗的題型，根據測驗的內容細目編製範例試題與命題手冊，並訓練命題人員開始命題。命題後，先進行動畫或影片等多媒體內容編輯，再經過各素養的相關內容專家與測驗專家進行題目審查與修改，並組成多套預試題本。自2012年10月起，在臺灣師大與臺北醫學大學進行三次預試，並以試題反應理論（item response theory）進行分析（Embretson & Reise, 2000），作為修題與等化測驗結果之理論基礎。修審題後再重新編製成正式題本。
此測驗發展過程中面臨以下幾項問題，也因此決定了大學生基本素養測驗的風貌：
● 大學生基本素養的內涵
大學生基本素養應該包含哪些？其內涵為何？這是本測驗在發展之初面臨的最大挑戰。為了讓大學生基本素養測驗的內涵能符合國內多數大學的教育目標，並與國際趨勢接軌，本測驗參考21世紀技能評量與教學計畫白皮書所提出的十項基本技能，融合臺灣師大與多所國內大專校院的基本素養與核心能力，整合成為九項大學生基本素養，並整理出各素養在認知能力層面與情意態度層面的內涵，如表一所示。
表一 大學生基本素養測驗的認知能力層面與情意態度層面
此九項素養主要是與日常生活較有關聯的通識基本素養（general literacy），用以區別語文、數學、科學等與學科學習較有關聯的學術基本素養（academic literacy）。每項素養也已經根據內涵定義發展出四至六項重要的內容面向，作為發展測驗題庫與分析測驗題目之依據。
由於許多學校在訂定基本素養或核心能力目標時，常將認知能力與情意態度的教育目標混合於各項素養的內涵中，這將使基本素養的評量變得很困難，因為認知能力層面較適合採用最大表現評量（maximum performance assessment），而情意態度層面較適合使用典型表現評量（typical performance assessment），兩者的內涵與適用的評量題型有極大的差異。因此，本測驗的主要特色之一就是分別界定出這兩種不同層面的內涵與內容面向，以便對各層面發展出適合的評量題目。
● 大學生基本素養測驗的題型
題型的設計是本測驗另一項重點特色。目前國內有少數大專校院發展出基本素養評量工具，但全部都是學生自我陳述式的李克特量表（Likert scale）。李克特量表對於評量情意態度還算適合，但並不適合用來評量認知能力。因為認知能力評量有表現好壞與答對答錯之分，而學生評估自己在某一項素養上的表現無法展現出學生在面對問題時是否真正知道正確作法或較佳選擇。以表一中的美感素養為例，一個關心周遭細節且注重生活品味的人（美感的情意態度），不見得能注意到或區辨出生活中具美感的事物，或了解各種藝術價值及其文化脈絡（美感的認知能力）。
為了改善過去基本素養評量工具的問題，本測驗參考國際學生評量計畫（PISA）的題型，使用認知題型與態度量表兩類題型來設計題目，並採用情境題組（testlet items）來提供問題情境，並引導出此兩類試題讓受測者填答，以評量大學生的基本素養，其中認知能力題目範例如圖一所示。每個情境題組皆有一個大學生經常遇到的生活問題，接著會請受測學生回答3~4題選擇題（multiple choice item）或叢集是非題（cluster true-false item），以評量受測者的認知能力，並且加入3~5題Likert量表題目來評量受測者的情意態度。每個素養至少需作答2~3組題組，包含該素養中所有內容面向，使各項素養的評量具有內容代表性。
圖一 大學生基本素養測驗範例：溝通合作素養題組
根據對1,174位大學生樣本進行三次預試的結果顯示，學生在大學生基本素養測驗中，認知能力層面的分數與情意態度層面的分數相關介於-0.01~0.12，顯示此二層面並沒有很高的關聯，也就是說，學生在各素養上的情意態度與其實際的認知能力表現之間是有落差的，因此，認知能力與情意態度二層面分開進行評量是有必要的。
● 大學生基本素養測驗結果與用途
大學生基本素養評量的主要目的是提供學生自我評估，以作為檢視學習成效與發展生涯之參考，並提供學校進行教育目標教學成效的檢測，作為課程調整與改進之參考。因此，測驗結果也應該要能提供這些資訊。圖二呈現大學生基本素養測驗所提供的學生成績回饋與學校成績回饋部分內容。在學生回饋部分，不僅能讓學生了解自己在各素養上的認知能力與情意態度表現，還能提供學生多次測量的長期追蹤變化趨勢，讓學生檢視自己在各素養上的學習成長情形；在學校回饋部分，不僅可以呈現出每個科系在各素養上的表現，還可以讓學校了解該校與全國其他學校平均數的相對高低，以及學校在各素養上的長期追蹤變化趨勢，以了解學校教育目標的達成情形。
圖二 大學生基本素養測驗的成績回饋資訊
根據對1,174位大學生樣本進行三次預試的結果顯示，三、四年級大學生在多項素養上的認知能力成績明顯高於一、二年級大學生。如圖三所示。顯示出大學生基本素養測驗能有效評量出不同年級學生在各素養上的成績差異情形，其中終身學習與生涯發展兩項素養從低年級到高年級的過程中有較大的改變，而創新領導與美感素養則較沒有明顯的改變。不過目前資料僅為部分學校學生自願施測的分析結果，未來需要做更有代表性的大規模施測，才能對臺灣地區或各大專校院的實際情況做更精準的評估。
大學生素養評量計畫的未來發展
大學生基本素養測驗在內容發展方面，除了已經發展出的九項基本素養題庫外，目前正新增人文素養、量化素養等其他重要的素養，以使本測驗能為更多學校提供更豐富的資訊。在本測驗的推廣方面，自2013年10月臺灣師大開放各大學加入基本素養評量計畫起，一個月內就已經有國立中山大學、中原大學、國立臺中教育大學、國立成功大學、銘傳大學、高雄醫學大學等31所大專校院加入評量計畫，未來預計將有更多學校加入此計畫。
除此之外，目前臺灣師大與國立中山大學、香港教育學院、中國嘉興學院、北京大學、新加坡教育學院等幾所大學教授共同研擬華人地區大學生素養評量計畫，希望藉由共同的評量工具暨評量模式的研發，一起來關心華人地區大學生的基本素養教育問題。
◎致謝
本文感謝臺灣師大邁向頂尖大學計畫經費支持，以及本計畫團隊蕭顯勝教授、許純瑜、黃馨瑩、李柏瑋、楊傳億、葉泰廷、陳郁欣、張榮龍等多位助理的協助。
◎參考文獻
高等教育評鑑中心(2010)。100年度校務評鑑實施計畫。取自http://www.heeact.edu.tw/lp.asp?ctNode=1370&CtUnit=843&BaseDSD=7&mp=2
郭生玉(2004)。教育測驗與評量。臺北市：精華書局。
陳柏熹(2011)。心理與教育測驗：測驗編製理論與實務。新北市：精策教育。
Assessment & Teaching of 21st Century Skills[ATC21S].(2012). 21st Century Skills white paper. Retrieved from http://atc21s.org/index.php/resources/white-papers/
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
.png)
新聞投稿
