中文預(yù)訓(xùn)練模型ERNIE該如何使用

本篇文章為大家展示了中文預(yù)訓(xùn)練模型ERNIE該如何使用，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

最近在工作上處理的都是中文語(yǔ)料，也嘗試了一些最近放出來(lái)的預(yù)訓(xùn)練模型（ERNIE，BERT-CHINESE，WWM-BERT-CHINESE），比對(duì)之后還是覺(jué)得百度的ERNIE效果會(huì)比較好，而且使用十分方便，所以今天就詳細(xì)地記錄一下。希望大家也都能在自己的項(xiàng)目上取得進(jìn)展~

1、A Glance at ERNIE

關(guān)于ERNIE模型本身的話這篇不會(huì)做過(guò)多介紹，網(wǎng)上的介紹文檔也很多了，相信從事NLP的同學(xué)們肯定都非常熟悉啦。

2、ERNIE源碼淺嘗

Okay，當(dāng)我們了解了ERNIE模型的大體框架及原理之后，接下來(lái)就可以深入理解一下具體的實(shí)現(xiàn)啦。ERNIE是基于百度自己的深度學(xué)習(xí)框架飛槳（PaddlePaddle）搭建的，（百度推這個(gè)飛槳的力度還是蠻大的，還開(kāi)放了免費(fèi)算力），大家平時(shí)煉丹用的更多的可能是TensorFlow和Pytorch，這里關(guān)于運(yùn)行ERNIE的飛槳環(huán)境安裝可以參考快速安裝指南（https://www.paddlepaddle.org.cn/#quick-start）。

2.1 關(guān)于輸入

模型預(yù)訓(xùn)練的輸入是基于百科類、資訊類、論壇對(duì)話類數(shù)據(jù)構(gòu)造具有上下文關(guān)系的句子對(duì)數(shù)據(jù)，利用百度內(nèi)部詞法分析工具對(duì)句對(duì)數(shù)據(jù)進(jìn)行字、詞、實(shí)體等不同粒度的切分，然后基于 tokenization.py中的 CharTokenizer 對(duì)切分后的數(shù)據(jù)進(jìn)行 token 化處理，得到明文的 token 序列及切分邊界，然后將明文數(shù)據(jù)根據(jù)詞典 config/vocab.txt 映射為 id 數(shù)據(jù)，在訓(xùn)練過(guò)程中，根據(jù)切分邊界對(duì)連續(xù)的 token 進(jìn)行隨機(jī) mask 操作。經(jīng)過(guò)上述預(yù)處理之后的輸入樣例為：

1 1048 492 1333 1361 1051 326 2508 5 1803 1827 98 164 133 2777 2696 983 121 4 19 9 634 551 844 85 14 2476 1895 33 13 983 121 23 7 1093 24 46 660 12043 2 1263 6 328 33 121 126 398 276 315 5 63 44 35 25 12043 2;0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1;0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55;-1 0 0 0 0 1 0 1 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 1 0 0 1 0 1 0 0 0 0 1 0 0 0 0 -1 0 0 0 1 0 0 1 0 1 0 0 1 0 1 0 -1;0

一共有五個(gè)部分組成，每個(gè)部分之間用分號(hào);隔開(kāi)：

• token_ids：輸入句子對(duì)的表示；

• sentence_type_ids：0或者1表示token屬于哪一個(gè)句子；

• position_ids：絕對(duì)位置編碼

• seg_labels： 表示分詞邊界信息，0表示詞首、1表示非詞首、-1為占位符

• next_sentence_label：表示該句子對(duì)是否存在上下句的關(guān)系（0為無(wú)1為有）

reader.pretraining.py中的parse_line函數(shù).

2.2 關(guān)于mask策略 batching.py

我們知道，相較于BERT，ERNIE最大的改進(jìn)就是中文 + 短語(yǔ)/實(shí)體掩碼（這個(gè)短語(yǔ)掩碼的操作后來(lái)也被BERT采用訓(xùn)練出了WWM-BERT），所以我們首先來(lái)看看ERNIE的掩碼機(jī)制是怎么樣實(shí)現(xiàn)的。

2.3 關(guān)于infer過(guò)程代碼改寫

ERNIE代碼很方便使用，但是有一個(gè)不足的地方就是目前官方還沒(méi)有給出infer.py文件，也就是模型訓(xùn)練之后給出快速推理結(jié)果的文件。Github上簡(jiǎn)直萬(wàn)人血書求接口呀。

所以我們的目的就是需要改寫源碼，完成這樣一個(gè)接口：輸入為我們需要預(yù)測(cè)的文件predict.tsv，調(diào)用接口后輸出為相應(yīng)任務(wù)的結(jié)果pred_result。下面我們以分類任務(wù)為例，改寫一個(gè)infer接口。

Step 1. finetune下的classifier.py

在文件中完成predict函數(shù)

Step 2. run_classifier.py

修改predict_only=True時(shí)的邏輯

Step 3. finetune_args.py

在該文件中添加一個(gè)參數(shù)do_predict

OK, 篇幅有限后面還要介紹具體ERNIE實(shí)戰(zhàn)，源碼閱讀部分就先這樣，其實(shí)剩下的很多都跟BERT代碼比較相似，感興趣的同學(xué)也可以參考之前的 BERT源碼分析系列（https://blog.csdn.net/Kaiyuan_sjtu/article/details/90265473）

3、ERNIE實(shí)戰(zhàn)指南

上面扯的都是務(wù)虛的，接下來(lái)我們務(wù)實(shí)地來(lái)看看ERNIE這個(gè)預(yù)訓(xùn)練模型的具體應(yīng)用。和BERT相比，ERNIE的使用更加簡(jiǎn)單，在之前介紹過(guò)的BERT模型實(shí)戰(zhàn)之多文本分類（https://blog.csdn.net/Kaiyuan_sjtu/article/details/88709580）中，我們需要手動(dòng)改寫一個(gè)適應(yīng)自己任務(wù)的Processor，而對(duì)于ERNIE來(lái)說(shuō)，簡(jiǎn)單到只需要三步：

• 把數(shù)據(jù)準(zhǔn)備成要求的格式（源碼中使用tsv格式，不過(guò)在bert中我們也說(shuō)過(guò)了，可以修改成各種格式的）

• 寫一下訓(xùn)練腳本sh

• 跑腳本得到結(jié)果bash run_script.sh

準(zhǔn)備工作

對(duì)于最近大火的預(yù)訓(xùn)練模型來(lái)說(shuō)，絕大多數(shù)我們是不太可能自己從頭開(kāi)始訓(xùn)練的，最多使用的是官方開(kāi)源的模型進(jìn)行特定任務(wù)的Finetune。所以第一步就是下載模型代碼（

https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE

）以及相應(yīng)的參數(shù)（https://baidu-nlp.bj.bcebos.com/ERNIE_stable-1.0.1.tar.gz）。

接下去就是準(zhǔn)備我們?nèi)蝿?wù)的數(shù)據(jù)，使其符合ERNIE模型輸入要求。一般來(lái)說(shuō)字段之間都是label和text_a用制表符分割，對(duì)于句對(duì)任務(wù)還需要額外的text_b字段。在后面我們會(huì)具體介紹每種任務(wù)的示例輸入。

ok，前面我們一直強(qiáng)調(diào)ERNIE是超友好上手超快的模型，下面我們結(jié)合實(shí)際任務(wù)來(lái)看一看到底有多簡(jiǎn)單~

情感分類

情感分類是屬于非常典型的NLP基礎(chǔ)任務(wù)之一，因?yàn)橹癇ERT寫過(guò)文本分類，所以這里我們就稍微換一換口味~這里我們只考慮最簡(jiǎn)單情況的情感分類任務(wù)，即給定一個(gè)輸入句子，要求模型給出一個(gè)情感標(biāo)簽，可以是只有正負(fù)的二分類，也可以是包括中性情感的三分類。ok，我們來(lái)看看數(shù)據(jù)，網(wǎng)上隨便找了一個(gè)財(cái)經(jīng)新聞數(shù)據(jù)集，數(shù)據(jù)來(lái)源于雪球網(wǎng)上萬(wàn)得資訊發(fā)布的正負(fù)面新聞標(biāo)題，數(shù)據(jù)集中包含17149條新聞數(shù)據(jù)，包括日期、公司、代碼、正/負(fù)面、標(biāo)題、正文6個(gè)字段，其中正面新聞12514條，負(fù)面新聞4635條。大概長(zhǎng)這樣：

處理成ERNIE分類任務(wù)所需要的輸入，大概長(zhǎng)這樣：

將處理完成的數(shù)據(jù)和前面下載好的預(yù)訓(xùn)練模型參數(shù)放置到合適的位置，就可以開(kāi)始寫我們跑模型的腳本文件了：

嗯，這樣一個(gè)任務(wù)就結(jié)束了…運(yùn)行腳本后等待輸出結(jié)果即可，是不是很簡(jiǎn)單~

當(dāng)然如果你還想玩點(diǎn)花樣的話，就可以多看看論文。比如復(fù)旦之前有一篇文章是在BERT的基礎(chǔ)上，將ABSA情感分類的單句分類任務(wù)轉(zhuǎn)變成了句子對(duì)的相似度匹配任務(wù)。簡(jiǎn)單來(lái)說(shuō)就是通過(guò)構(gòu)建輔助句子，把輸入這家餐館的鍋包肉超好吃變成了這家餐館的鍋包肉超好吃 + 菜品口感的情感是正的，論文表明這一trick是會(huì)比單句分類的效果更好。更具體的細(xì)節(jié)可以參考論文：
《Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence》：https://www.aclweb.org/anthology/N19-1035

命名實(shí)體識(shí)別

命名實(shí)體識(shí)別也是NLP的一個(gè)基礎(chǔ)任務(wù)，之前在博客中也有過(guò)介紹：【論文筆記】命名實(shí)體識(shí)別論文：https://blog.csdn.net/Kaiyuan_sjtu/article/details/89143573

關(guān)于NER的處理思路也是跟上面情感分類的大同小異，只不過(guò)NER是屬于序列標(biāo)注任務(wù)，在運(yùn)行腳本的時(shí)候注意使用源碼中的run_senquence_labeling.py

4、有趣的ISSUE

Github上比源碼更有價(jià)值的是對(duì)應(yīng)的issue，一個(gè)好的開(kāi)源項(xiàng)目會(huì)吸引很多人的關(guān)注，issue區(qū)里會(huì)有很多有趣的思考，所以大家千萬(wàn)不要錯(cuò)過(guò)噢~下面就列幾個(gè)我覺(jué)得比較有意思的issue供大家參考。

1. 關(guān)于batch_size

剛打開(kāi)ERNIE腳本打算跑的同學(xué)可能會(huì)發(fā)現(xiàn)，它的batch_size竟然是8192，我的天哪（小岳岳臉），這不得炸！于是乎你非常機(jī)智地把batch_size改為了32，美滋滋地輸入bash script/pretrain.py，然后自信地敲下Enter鍵。嗯？？？報(bào)錯(cuò)？？？

報(bào)的什么錯(cuò)大家感興趣的自己去復(fù)現(xiàn)吧~

對(duì)，在pretrain的時(shí)候這里的batch_size指的是所有輸入token的總數(shù)，所以才會(huì)那么大~

1. 關(guān)于Mask機(jī)制的邏輯

正如我開(kāi)篇說(shuō)的，ERNIE的最大創(chuàng)新就是它的mask機(jī)制，這一點(diǎn)的代碼實(shí)現(xiàn)也在issue區(qū)被熱烈討論

1. 關(guān)于獲取輸入的中間向量表示

有時(shí)候我們會(huì)需要獲取句子 Embedding 和 token Embeddings，可參照下面的方案

1. 預(yù)測(cè)被masked的詞

將一個(gè)句子的某個(gè)詞語(yǔ)mask后，然后使用模型去預(yù)測(cè)這個(gè)詞語(yǔ)，得到候選詞和詞語(yǔ)的概率

上述內(nèi)容就是中文預(yù)訓(xùn)練模型ERNIE該如何使用，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。