• 【論文筆記】《基于深度學習的中文命名實體識別研究》閱讀筆記

    作者及其單位:北京郵電大學,張俊遙,2019年6月,碩士論文

    摘要

    實驗數據:來源于網絡公開的新聞文本數據;用隨機欠采樣和過采樣的方法解決分類不均衡問題;使用BIO格式的標簽識別5類命名實體,標注11種標簽。

    學習模型:基于RNN-CRF框架,提出Bi-GRU-Attention模型;基于改進的ELMo可移植模型。

    一,緒論

    1,研究背景及意義

    研究背景主要介紹的是時代背景及NER的應用領域。

    2,研究現狀

    1)基于規則和詞典的方法;

    2)基于統計的方法:語言的N元模型,隱馬爾科夫模型,最大熵模型,條件隨機場,支持向量機,決策樹,基于轉換的學習方法;

    3)基于深度學習的方法:基于雙向循環神經網絡與條件隨機場結合的框架;基于標簽轉移與窗口滑動的方法;注意力機制(Attention);

    4)基于遷移學習的方法。

    面臨挑戰:

    1)中文命名實體界限難劃分;

    2)中文命名實體結構更多樣復雜;

    3)中文命名實體分類標準不同,劃分標注結果不同。

    3,研究內容

    1)數據集收集與預處理;

    2)基于雙向循環神經網絡與條件隨機場模型的研究;

    3)基于ELMo的可移植模型研究。

    二,相關技術

    1,基于循環神經網絡方法的技術

    1)神經單元結構:循環是指一個神經單元的計算是按照時間順序展開依次進行的過程。具有記憶特征,常用來處理與序列相關的問題。

    2)循環神經網絡的發展:LSTM取代CNN,主要是解決CNN單元的反向傳播的計算問題。

    3)深層網絡搭建:Dropout常被用作防止模型過擬合,減少網絡冗余度,增加模型魯棒性;批量歸一化策略是批量梯度下降算法過程的一項操作;clip是一種有效控制梯度爆炸的算法。

    4)目標函數,即損失函數,衡量經過模型計算的預測結果和事實上的結果之間的差距。如:平方差,交叉熵,softmax

    5)注意力機制:論文研究了在LSTM中引入注意力機制。

    6)Adam優化算法:適合解決梯度稀疏或噪音較高的優化問題。

    2,基于遷移學習方法的技術

    1)基本思想:

    (1)預訓練的兩種基本思路:

    a)基于共同表示形式的思路:電子文本大多以某種向量形式(詞,句,段,文本)表示輸入到網絡中,如ELMo模型。

    b)基于網絡微調的思想:借鑒機器視覺領域的模型思想,在預訓練好的模型上加入針對任務的功能層,在對后幾層進行結構和參數設置的精調。

    2)語言模型:雙向語言模型

    3)詞向量技術:One-hot向量,稀疏向量和稠密向量。

    (1)基于統計的方法

    a)基于共現矩陣的方法:在設定的窗口大小內,統計了一個句子中詞語前后相鄰出現的次數,使用這個次數構成的向量當作詞向量,這個向量比較稀疏。

    b)奇異值分解的方法:可以看作一種降維過程,把稀疏矩陣壓縮為稠密矩陣的過程。

    (2)基于語言模型的方法:

    a)跳字模型(skip-gram):使用一個詞來預測上下文詞語;

    b)連續詞袋模型(CBOW):使用周圍詞語預測中心詞;

    c)ELMo模型:詞向量表達過程是動態的,即一詞多義下的詞向量完全不同。

    4)混淆矩陣:數據科學,數據分析和機器學習中統計分類的實際結果和預測結果的表格表示。

    三,命名實體識別任務與數據集

    1,命名實體識別任務

    1)定義:命名實體識別屬于序列標注類問題,分為三大類(實體類,數量類,時間類),七小類(人名,地名,組織名,日期,時間,貨幣或者百分比)。

    2)任務過程:準確劃分出命名實體的邊界,并將命名實體進行正確的分類。

    3)判別標準:(1)準確劃分出命名實體的邊界;(2)命名實體的標注分類正確;(3)命名實體內部位置標注有序。
    $$
    準確率=\frac{標注結果正確的數量}{標注結果的數量}\times{100%} \召回率=\frac{標注命名實體正確的數量}{標注命名實體的數量}\times{100%}\F_1=\frac{(\beta^{2}+1)\times 準確率\times 召回率}{(\beta^{2}\times 準確率) + 召回率}\times{100%}
    $$

    2,數據集收集與處理

    1)數據源:本論文數據來源于搜狗實驗室公開的2012年6月到7月期間的國內外國際、體育、社會、娛樂等18類新聞文本。

    2)數據處理:jieba+盤古工具,本文研究NER分為五類:人名(58136),地名(87412),機構名(5142),時間(75491),數量(148392)。數據集(句子個數)分:訓練集(197828),驗證集(8994),測試集(3485)。

    四,基于改進的神經網絡與注意力機制結合的研究

    1,RNN-CRF框架

    1)框架結構:以Bi-LSTM-CRF模型為例,包括字嵌入層(字量化表示,輸入到神經網絡),Bi-LSTM神經網絡層(雙向網絡記錄了上下文信息,據此共同訓練計算當前的字的新向量表示,其輸出字或詞的向量維度與神經單元數量有關),CRF層(進行進一步標簽順序的規則學習)。

    2)模型原理:將輸入的語句轉換為詞向量,然后輸入到LSTM網絡計算,接著在CRF層中計算輸出標簽,根據定義的目標函數計算損失,使用梯度下降等算法更新模型中的參數。

    2,改進與設計

    1)改進的思想與結構設計:改進思路就是簡化神經單元結構,本文使用雙向的GRU結構代替LSTM單元結構,使用神經網絡與注意力機制結合。

    2)改進的模型設計

    3,實驗與分析

    1)實驗思路是以Bi-LSTM-CRF為基礎,并進行網絡優化,對比本文提出的Bi-GRU-Attention模型。

    實驗一:Bi-LSTM網絡參數

    參數名稱 數值
    batch_size 20
    max_num_steps 20
    優化器 Admin
    初始學習率 0.001
    衰減率 0.8
    clip 5
    one-hot_dim 11

    實驗二:GRU-Attention模型實驗參數

    參數 數值
    batch_size 20
    char_dim 100
    max_num_steps 20
    神經單元數 128
    優化器 Adam
    初始學習率 0.001
    衰減率 0.8
    one-hot_dim 11
    epoch 100

    實驗結果如下:

    分類/F1/模型 Bi-LSTM-CRF Bi-LSTM-Attention Bi-GRU-CRF Bi-GRU-Attention
    人名 82.32% 82.45% 82.22% 82.42%
    地名 89.97% 90.19% 89.93% 91.06%
    機構名 91.94% 91.96% 91.94% 91.95%
    數量 94.98% 95.06% 95.01% 95.26%
    時間 96.05% 96.14% 96.06% 96.14%

    五,基于ELMo的可移植模型研究

    1,改進的ELMo模型設計

    ELMo模型在2018年由Peter提出,Peter團隊使用雙層的循環神經網絡實現模型的預先訓練。本章基于PeterELMo模型設計,提出了直通結構,實現詞向量的提前訓練模型。

    1)模型原理:Peters使用CNN-BIG-LSTM網絡實現模型,使用卷積神經網絡實現字符編碼,使用兩層雙向循環神經網絡實現詞向量的訓練模型。

    2)改進與設計:本文使用改進的ELMo預先訓練模型包含輸入層,卷積神經網絡7層,雙向神經網絡2層,輸出層結構。

    2,基于ELMo的嵌入式模型設計

    1)連接結構:在模型嵌入的銜接層中,本文使用維度映射的方法,將不同維度的輸入輸出維度進行統一。

    2)模型設計:本文的嵌入ELMo模型,包含ELMo層,銜接層,神經網絡層,注意力層和輸出調整層結構。

    3,實驗

    實驗參數配置如下:

    1)ELMo模型實驗參數

    參數名稱 數值
    word_dim 100
    char_dim 50
    activation ReLU
    每層神經單元數目 512
    優化器 Adam
    初始學習率 0.001
    lr_decay 0.8
    clip 3

    2)卷積神經網絡參數

    卷積層 輸出詞向量維度 過濾器個數
    conv1 32 32
    conv2 32 32
    conv3 64 64
    conv4 128 128
    conv5 256 256
    conv6 512 512
    conv7 1024 1024

    3)移植模型實驗參數

    參數名稱 數值
    batch_size 20
    char_dim 100
    max_num_steps 20
    神經單元數 128
    優化器 Adam
    初始化學習率 0.001
    clip 5
    dropout 0.1
    one-hot_dim 11
    epoch 100

    實驗結果對比:

    分類/F1/模型 Bi-LSTM-CRF Bi-GRU-Attention 改進的ELMo嵌入模型
    人名 82.32% 82.42% 83.14%
    地名 89.97% 91.06% 92.36%
    機構名 91.94% 91.95% 93.02%
    數量 94.98% 95.26% 96.13%
    時間 96.05% 96.14% 96.55%

    六,總結與展望

    1,總結

    本文主要研究了基于深度學習的中文命名實體識別任務,提出了Bi-GRU-Attention模型減少訓練時間,提升模型準確率;提出了基于改進的ELMo可移植模型,用于應對少量數據集和快速移植不同場景的問題。

    2,不足與發展趨勢

    1)公開的權威的中文文本數據集不足;

    2)可以劃分更細的領域或分類,分別涉及分類器;

    3)基于遷移學習的多任務模型研究是熱點。

    閱讀心得:緒論內容相對詳細,結構中規中矩,美中不足缺乏對研究對象現狀的介紹,國內外研究現狀,要解決的問題以及達到的預期效果未盡闡述。技術要點論述詳盡,本文設計實驗充分且多角度論證,擴展實驗與改進設計也具有一定創新性。通過本篇論文研究學習,在NER領域收獲頗多,很多知識有待彌補,如ELMo模型,遷移學習方面需要加強學習。

    本文由博客群發一文多發等運營工具平臺 OpenWrite 發布

    posted @ 2020-03-01 15:52  天堂的鴿子  閱讀(...)  評論(...編輯  收藏
    贵州快三平台贵州快三主页贵州快三网站贵州快三官网贵州快三娱乐贵州快三开户贵州快三注册贵州快三是真的吗贵州快三登入贵州快三快三贵州快三时时彩贵州快三手机app下载贵州快三开奖 庆城县 | 明星 | 赣州市 | 东乡县 | 寻乌县 | 沧源 | 崇阳县 | 三明市 | 武定县 | 临江市 | 天全县 | 黄骅市 | 昌邑市 | 乌鲁木齐县 | 如东县 | 商丘市 | 潼南县 | 巧家县 | 昌平区 | 兴安盟 | 龙泉市 | 友谊县 | 庄河市 | 巴里 | 郧西县 | 日照市 | 延吉市 | 玉门市 | 班戈县 | 永新县 | 佛学 | 漯河市 | 海兴县 | 商城县 | 潼关县 | 兴城市 | 绥宁县 | 长武县 | 和林格尔县 | 偃师市 | 陆河县 | 靖西县 | 萨嘎县 | 孟连 | 西贡区 | 凉山 | 霍城县 | 余庆县 | 江陵县 | 诸暨市 | 盐山县 | 沾益县 | 清新县 | 绥中县 | 个旧市 | 齐河县 | 大厂 | 兴国县 | 凤庆县 | 吉水县 | 靖州 | 杭锦旗 | 无棣县 | 汉源县 | 疏附县 | 灵石县 | 铜鼓县 | 微山县 | 漯河市 | 泸州市 | 永仁县 | 巫溪县 | 黑水县 | 株洲市 | 嵊泗县 | 东丽区 | 泽普县 | 广元市 | 化州市 | 灯塔市 | 福海县 | 临清市 | 花莲县 | 广水市 | 环江 | 长乐市 | 汉阴县 | 大洼县 | 揭阳市 | 永胜县 | 大厂 | 天气 | 商都县 | 镇赉县 | 长泰县 | 穆棱市 | 仙游县 | 天台县 | 黑龙江省 | 玉山县 | 宜黄县 | 和林格尔县 | 寻乌县 | 游戏 | 来宾市 | 休宁县 | 尼勒克县 | 江陵县 | 赤城县 | 田东县 | 准格尔旗 | 修文县 | 奈曼旗 | 泌阳县 | 彩票 | 丹东市 | 临武县 | 绵竹市 | 娱乐 | 芮城县 | 繁昌县 | 龙南县 | 东至县 | 德惠市 | 凌海市 | 定兴县 | 丰宁 | 芦山县 | 南雄市 | 赣榆县 | 离岛区 | 绥江县 | 来凤县 | 包头市 | 申扎县 | 太仓市 | 淳化县 | 高淳县 | 鲁甸县 | 曲沃县 | 濮阳县 | 兴仁县 | 威宁 | 土默特右旗 | 罗定市 | 礼泉县 | 察哈 | 奇台县 | 麻阳 | 泾川县 | 伊宁县 | 永登县 | 静海县 | 乳源 | 岳池县 | 临武县 | 姜堰市 | 社会 | 平武县 | 漳平市 | 房山区 | 井研县 | 崇明县 | 南部县 | 桦川县 | 阳西县 | 桓仁 | 兴化市 | 松潘县 | 怀安县 | 怀远县 | 汝州市 | 大渡口区 | 福海县 | 乐亭县 | 库伦旗 | 通榆县 | 永康市 | 盐城市 | 普兰店市 | 涟水县 | 河北省 | 和田县 | 三台县 | 巨野县 | 抚顺县 | 清原 | 昭觉县 | 嘉兴市 | 仁怀市 | 五大连池市 | 旬邑县 | 黑河市 | 安仁县 | 怀柔区 | 南平市 | 镇远县 | 靖州 | 舒兰市 | 绍兴县 | 广丰县 | 寿光市 | 陇川县 | 锦屏县 | 邵东县 | 五莲县 | 太原市 |