依類型 族群 主題   
 
 
2018.06.01 ~ 2018.06.30
增強式注意力深度學習架構與混合嵌入模型之中文機器閱讀理解系統
主題: 一般教育、學術研究  
作者 許元大
學校系所 國立成功大學 電機工程學系
地點 全臺 全部  
研究內容

 近年來,很多人將深度學習技術應用在機器閱讀理解上,且其成效越來越不錯,但這些模型通常都使用在英文文章理解上,所以直接拿相同模型去中文場域上使用,效果並不會太好。本研究中提出一個基於增強式注意力架構與混合嵌入模型之中文機器閱讀理解系統,此系統能夠有效地解決中文場域上的機器閱讀理解(MRC)問題。本系統主要分為5層,1.嵌入層 2.編碼層 3.匹配層 4.輸出層 5.生成層。嵌入層,利用字嵌入模型與詞嵌入模型分別將文章與問題的語句分別轉換成字向量與詞向量;編碼層,透過長短期記憶模型(LSTM, Long Short-Term Memory) 將嵌入層輸出的向量(文章與問題之字詞向量)分別編碼成富有上下文關聯性的向量,也代表分別理解文章與問題內的含意;匹配層,藉由增強式注意力架構將文章中與問題相關性較高的字做加權。直觀來看,這一層主要是根據問題在文章中標記重點;輸出層,使用長短期記憶模型(LSTM, Long Short-Term Memory)與指針網路模型(Pointer Network)將匹配層與編碼層的輸出解碼成開始位置與結束位置;生成層,藉由解碼後的開始位置與結束位置在文章中擷取出預測答案。另外,我們利用台達閱讀理解資料庫(DRCD)進行大量實驗, 此資料庫為用戶查詢閱讀理解(user query reading comprehension) 的繁體中文資料庫。在實驗結果上,我們模型的準確率達到70%。此資料庫上,以往模型的準確率大致為55%左右。相較於以往的研究,我們的準確率高於15%。從此得知,我們的模型不但能適當地解決機器閱讀理解(MRC)在繁體中文的問題,並且能在此資料庫上獲得最佳的準確率。

相關網頁 https://ntu.primo.exlibrisgroup.com/permalink/886NTU_INST/f27f2j/alma991038706789204786