travesti
travesti
travesti
點閱人次:1169人
圖 新聞投稿
2020-11-28
探討AI生成中文新聞幾可亂真 圖資所學者發表全球首篇論文
圖
國立臺灣師範大學圖書資訊學研究所教授曾元顯與學生林郁綺運用AI,進行電腦自動生成中文經濟新聞試驗。
圖
圖

近年來人工智慧(AI, Artificial Intelligence)技術進展快速,可讓電腦產生擬真的英文文章,而國立臺灣師範大學圖書資訊學研究所教授曾元顯與學生林郁綺運用AI,進行電腦自動生成中文經濟新聞試驗,結果發現,不但1分鐘產出4篇產能超高,部分文章內容與語料庫比對後,幾可亂真。此全球首篇有關中文自動化處理的論文,近期已刊登於「Journal of Library & Information Studies」期刊。

歐美國家科技界最近熱烈討論,今年8月加州柏克萊大學學生以電腦生成的英文文章「Feeling unproductive?Maybe you should stop overthinking」發文,登上知名技術論壇Hacker News的熱門文章頭條。又如,9月英國衛報(The Guardian)發佈了一篇名為「A robot wrote this entire article. Are you scared yet, human?」的文章,內容呈現電腦自動生成的文字,以英文論說人類對AI沒什麼好害怕的多項理由。

上述的案例都是透過OpenAI公司發展的GPT-3人工智慧技術生成的文字,經過少許的人工潤飾,甚至沒有潤飾,即完成的英文文章。

未來,此類人工智慧技術是否有被誤用的風險?在中文世界中,是否AI技術也達類似的效果?其對未來的社會有何影響?

電腦生成的中文新聞有多真?有多容易生成?對社會有何影響?

為瞭解文字生成技術在中文方面的能力,感受電腦生成的中文到何者程度,臺師大圖資所教授曾元顯與學生林郁綺,利用開源碼GPT-2 Chinese軟體,將30萬篇共1.5億字的經濟日報新聞拿來訓練,然後進行自動生成新聞的試驗,訓練電腦學習30萬篇經濟新聞,總共花費了75小時,訓練完後平均每分鐘可產生4篇新聞。

讓電腦產生四萬筆新聞後,參考經濟日報網站之分類:金融、證券、期貨、商情、產業、理財、兩岸、國際共8類,從中按類隨機抽樣出90篇,再以人工逐筆檢視、挑選、修剪出15篇,做為電腦生成之新聞。同樣按類隨機抽樣經濟日報15篇出來,做為人類撰寫之新聞。將這30篇新聞隨機排列順序,詢問12位受試者對其進行1到5分可信度的評價。其中電腦生成與人類撰寫的新聞,各舉一例,如表一。

表一:甲、乙兩篇分別為人類撰寫與電腦生成之新聞

甲:

超級颶風珊蒂不但重創紐約,也掃到歐股、原油市場、航空業與保險公司,對經濟的影響遠超過風暴本身的驚人威力。Global Equities證券交易員馬卡依斯說:「當紐約休市,巴黎的成交量約減少40%。真正的引擎仍是華爾街」。德國法蘭克福股市29日的交易量不到20億歐元(26億美元),幾乎是上周平均值的一半;巴黎股市交易量不到10億歐元,接近去年12月底創下的低點紀錄。歐股30日稍有起色,ETX資本公司分析師席迪基把它歸因於企業獲力強勁,而且「珊蒂對紐約市造成的最嚴重災害已經過了,華爾街31日恢復交易」。受航空企業財報佳音與亞股走揚激勵,歐股31日走揚,道瓊歐洲Stoxx 600指數盤中漲0.25%,為連續第2天上漲。席迪基表示,災情可能影響運輸、物流、工業與保險類股。

乙:

政治衝突事件不僅對全球股市造成衝擊,根據Lipper統計,債券市場中偏向風險性資產的高收益債、新興市場債,在經歷政治事件衝突後一個月,平均表現亦難逃疲軟命運。摩根富林明債券產品策略長劉玲君指出,全球央行持續寬鬆政策,資金持續流入收益率較高的投資等級債券,加上企業獲利穩健且違約率維持低檔,將有助於債券價格續漲。劉玲君分析,目前全球央行的貨幣政策,主要是維持寬鬆政策,不會讓美國公債殖利率維持在目前水準,且在美國經濟溫和成長環境下,資金可望持續流向收益率較高的債券。劉玲君認為,在低利率環境下,投資級債券具備相對較佳的收益率,且利率風險相對較小,投資人若想在震盪環境中,尋求較佳的收益率,將是最佳選擇。

受試者是從社交平台上招募而來,分為:專家組(碩博士經濟相關系所畢業)、中等組(大學經濟相關系所畢業)以及一般組(大學非經濟相關系所畢業),每一組分別招募4人,共12人。結果,8位經濟相關系所畢業的受試者較具鑑別能力;而4位非經濟相關科系畢業的受試者,鑑別能力較差,有一位甚至對於電腦生成的新聞與人類撰寫的新聞,其平均可信度評分都相同。

在15篇人類撰寫的新聞中,有1篇的可信度12人評估的平均為2.92,不及3,原因為沒有邏輯、主觀性強等。而在15篇電腦撰寫的新聞中,有2篇其可信度皆為3.33,大於3,原因為內容合理、細節符合邏輯。此2篇的部分內容與語料庫比對後,發現電腦移花接木再加潤飾的能力,已可欺騙專業人士。其他被認為可疑的電腦生成新聞,主要原因為內容事實的明顯破綻、邏輯的似是而非、以及日期、股票代碼等數字的誤值。

全球首篇論文 探討中文自動化處理議題 部分文章幾可亂真

此實驗也訓練BERT人工智慧語意理解模型,以瞭解自動偵測電腦生成新聞之可能性。結果上述30篇新聞中,BERT只有對2篇電腦生成的新聞預測錯誤,其餘皆正確,比受試者們集體的預測,有5篇錯誤,成效還要好。較大規模的實驗,顯示BERT預測人類撰寫之新聞與電腦生成之新聞的成效,可高達0.96的F1分數(此分數為精確率與召回率的調和平均數)。

雖然OpenAI公司尚未發現有惡意應用GPT文字生成技術的強烈證據,但若誘惑極大,有心人士運用相關技術,針對如經濟新聞造假或曲解數據,由此帶動市場情緒,將可能造成自由經濟市場的負面影響。此種最壞情況,仍不得不防範於未然。

本文為此議題在全球的首篇研究,希望能喚起更多的探討,提供更多人瞭解人工智慧在中文自動化處理的發展近況,並進而共同探究其可能的影響與因應之道。

此項先進技術才出來兩、三年,進步飛快,只要有大數據,熟悉軟體安裝與操作,即可做出電腦生成的新聞、文章,而不必寫程式。其對未來的影響,值得關注。在產業界,AI生成文章可以輔助人們提高寫作的效率。

在教育界,為了訓練學生的表達能力,不應該藉助AI產生文章來因應這種訓練,其誤用或濫用可能造成作弊的行為。例如,有可能學生高度依AI,在老師、學校無從辨識的情況下,給予了不該給的分數,或是授予了不該給的學位。

這些教育上的弊端,除了現在已有論文抄襲比對系統外,未來可能也需要有自動偵測系統,來快速輔助鑑定學習歷程、學位論文、計畫書、法定文書等具高風險(high-stake)、高報酬、高影響之文件,是否由電腦代工產生。社會學者、法律專家也可能得未雨綢繆後續發生的各種情況。(資料來源:圖資所 / 攝影:余庭翎 / 編輯:胡世澤 / 核稿:鄧麗君)

相關論文、貼文討論:

1.「電腦生成的新聞有多真?─文字自動生成技術運用於經濟新聞的評估」論文全文:http://web.ntnu.edu.tw/~samtseng/papers/2020_GPT_News_1027.pdf

2.https://www.facebook.com/yuenhsien.tseng/posts/10219959630485418

3.https://www.facebook.com/yuenhsien.tseng/posts/10219986012864961

上一筆
下一筆
上一筆