BERT模型在2018年一問世便引起了轟動。之后，各種改進版本的預(yù)訓(xùn)練模型（Pre-Training Model，PTM）如過江之鯽，層出不窮，它們在 NLP 各個領(lǐng)域攻城略地，所向披靡，頻頻登榜于多種 NLP 數(shù)據(jù)集競賽榜單，個別模型的能力已超過人類。

BERT模型在刷新傳統(tǒng)NLP指標的同時，也給NLP領(lǐng)域的技術(shù)帶來革命性的變革。它使用帶有注意力模型的深度神經(jīng)網(wǎng)絡(luò)所實現(xiàn)的效果，優(yōu)于一大批使用傳統(tǒng)的NLP方法所實現(xiàn)的效果，這使得NLP工作人員不得不向BERT模型的技術(shù)體系靠攏。

與此同時，近年來，圖神經(jīng)網(wǎng)絡(luò)的崛起也為深度學(xué)習領(lǐng)域指明了前進的方向BERT模型結(jié)合圖深度學(xué)習將是未來NLP的主流趨勢。

本書從零基礎(chǔ)開始，介紹了與BERT模型相關(guān)的一系列知識與實現(xiàn)方法，包括神經(jīng)網(wǎng)絡(luò)的原理、NLP基礎(chǔ)、PyTorch的使用、BERT模型的原理及實現(xiàn)、BERTology系列模型的原理及實現(xiàn)，以及BERT模型與圖神經(jīng)網(wǎng)絡(luò)的結(jié)合。

本書適合于即將從事NLP工作，以及正在從事NLP工作并打算向BERT模型技術(shù)體系靠攏的讀者閱讀。

總的來說，本書具有以下特色。

1．知識系統(tǒng)，逐層遞進

本書涵蓋了BERT模型的完整技術(shù)體系：

從神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，到NLP的基礎(chǔ)知識，再到BERT模型的原理及應(yīng)用；

從BERTology系列模型的原理，到BERT模型與圖神經(jīng)網(wǎng)絡(luò)的結(jié)合，再到多種場景下BERT模型的應(yīng)用。

2．內(nèi)容緊跟技術(shù)趨勢

本書所介紹的知識與近年來學(xué)術(shù)領(lǐng)域發(fā)表的論文技術(shù)基本同步。為了拓展讀者的學(xué)習視野，本書在介紹一些知識的原理和應(yīng)用的同時，還附有相關(guān)的論文索引，方便讀者對感興趣的知識擴展閱讀。

3．圖文結(jié)合，化繁為簡。

本書在介紹模型的結(jié)構(gòu)和原理的同時，還穿插了大量的圖片。這些圖片有的可視化了模型中的數(shù)據(jù)流向，有的展示了模型的擬合能力，有的細化了某種技術(shù)的內(nèi)部原理，有的直觀化了模型的內(nèi)部結(jié)構(gòu)，從而讓讀者更容易、更快捷地理解和掌握知識。

4．站在入門者的角度講解，內(nèi)容更系統(tǒng)、更易學(xué)

考慮到初學(xué)者知識儲備的不足，凡是書中涉及的知識點，都從零開始進行系統(tǒng)介紹：從PyTorch框架的安裝、使用；到向量、矩陣、張量的基礎(chǔ)變換；再到神經(jīng)網(wǎng)絡(luò)及圖神經(jīng)網(wǎng)絡(luò)的系統(tǒng)介紹；從NLP基礎(chǔ)，到BERT模型的原理剖析，再到BERT模型的多場景實戰(zhàn)。這樣可以消除讀者學(xué)習中的跳躍感。