對于自然語言處理而言，基于神經(jīng)網(wǎng)絡和基于知識圖譜這兩種方法各有千秋。神經(jīng)網(wǎng)絡方法非常強大，并一直處于當前NLP排行榜的位置。然而，它們也有軟肋，比如訓練數(shù)據(jù)的數(shù)量和質(zhì)量，模型與人類如何使用語言以及人類對世界的理解之間的聯(lián)系等。另外，基于結(jié)構(gòu)化知識表示的自然語言處理系統(tǒng)雖然不能完全解決這些問題，但往往比較適合解決其中的一些問題。然而，它們可能需要相當多的知識工程工作，以持續(xù)組織這樣的結(jié)構(gòu)化表示。
本書的主要前提是，數(shù)據(jù)驅(qū)動的方法和基于知識圖譜的方法可以相得益彰，取長補短。盡管許多人提倡在NLP和人工智能的許多其他領域結(jié)合應用這兩種范式，但事實是，直到現(xiàn)在，這種結(jié)合還不常見，原因可能是缺乏實現(xiàn)這一目標的原則性方法和指導方針，也可能是缺乏令人信服的成功案例。
而人工智能的研究，特別是在自然語言處理和知識圖譜領域，已經(jīng)達到了成熟的水平，并滲透到其他領域，引起了深刻的社會和商業(yè)變革。因此，本書特別側(cè)重于討論實踐方面的主題，旨在為感興趣的讀者提供必要的手段，使讀者能夠掌握將神經(jīng)網(wǎng)絡方法和基于知識圖譜的方法結(jié)合到自然語言處理中的實踐方法，建立彌合兩者之間差距的橋梁。
總的來說，對于對神經(jīng)網(wǎng)絡和基于知識圖譜的方法在自然語言處理領域的結(jié)合感興趣的讀者而言，本書非常有用。有結(jié)構(gòu)化知識表示背景的讀者，例如有語義網(wǎng)、知識獲取、知識表示和推理社區(qū)方面的背景，總的來說也就是那些基于邏輯方法研究人工智能的讀者，可以在本書中找到實用指南。同樣，我們希望本書對那些主要背景在機器學習和深度學習領域的讀者同樣有用，他們可能正在尋找利用結(jié)構(gòu)化知識庫優(yōu)化NLP下游結(jié)果的方法。
因此，來自上述領域的工業(yè)界和學術界的讀者將在本書中找到混合自然語言處理的實用資源。在本書中，我們將展示如何利用互補表示，這些表示源于對非結(jié)構(gòu)化文本語料庫以及知識圖譜中明確描述的實體和關系的分析，整合這些表示，并使用由此產(chǎn)生的特征來有效地解決不同領域的自然語言處理任務。在本書中，讀者可以在示例、練習以及關鍵領域的實際應用（如虛假信息分析和科學文獻的機器閱讀理解）上使用實際的可執(zhí)行代碼。
在本書中，對于無論是基于知識圖譜、神經(jīng)網(wǎng)絡還是基于其他形式的機器學習的自然語言處理方法、技術和工具箱，我們并沒有提供詳盡的說明。我們認為這些內(nèi)容已經(jīng)在參考文獻中得到了充分的闡述。相反，我們專注于讀者真正需要掌握的主要構(gòu)建模塊，以便讀者能夠吸收和應用本書的主要思想。事實上，本書所有章節(jié)都是獨立的，一般讀者在理解時不會遇到太大困難。因此，本書可以作為一本簡潔而富有洞察力的手冊，專注于協(xié)調(diào)基于知識圖譜的方法和神經(jīng)網(wǎng)絡方法在自然語言處理中應用的主要挑戰(zhàn)上。我們希望你會喜歡。
本書目標
本書為讀者提供了一個自然語言處理的混合方法的原則性實用指南，主要涉及神經(jīng)網(wǎng)絡方法和知識圖譜的結(jié)合。本書解決了一些與混合自然語言處理系統(tǒng)相關的問題，包括：
神經(jīng)網(wǎng)絡方法如何以具有成本效益和可實踐的方式擴展像知識圖譜一樣預先捕獲顯式表示的知識？反過來又如何呢？
結(jié)合神經(jīng)網(wǎng)絡和基于知識圖譜的方法的自然語言處理混合方法的主要構(gòu)建模塊和技術是什么？
如何將神經(jīng)網(wǎng)絡表示與結(jié)構(gòu)化的、基于知識圖譜的表示無縫集成？
這種混合方法能否產(chǎn)生更好的知識圖譜和神經(jīng)網(wǎng)絡表示？
如何檢查和評估混合方法所產(chǎn)生的混合表示的質(zhì)量？
混合方法對NLP任務的性能有什么影響？對其他數(shù)據(jù)形式（比如圖像或圖表）的處理有什么影響以及其相互作用有什么影響？
基于以上問題，本書首先介紹了主要的構(gòu)建模塊，然后描述了它們?nèi)绾蜗嗷ゾo密地關聯(lián)，進而支持實際自然語言處理應用程序的有效實現(xiàn)。為了說明本書描述的思想，我們包含了一套全面的實驗和練習，涉及可以根據(jù)任務領域和語料庫進行選擇的不同算法。
本書各章概述
接下來，我們介紹本書的章節(jié)結(jié)構(gòu)安排：
第1章介紹本書的創(chuàng)作靈感及在當前的自然語言處理學科背景下本書的總體目標。
第2章介紹單詞、語義/概念和知識圖譜嵌入，它們是生成混合自然語言處理系統(tǒng)的主要構(gòu)建模塊。我們探討各種不同的方法：簡單的詞嵌入學習、從語料庫和語義網(wǎng)絡中學習語義和概念嵌入，以及根本不使用語料庫直接從知識圖譜中學習概念嵌入的方法。
第3章重點研究詞嵌入，并根據(jù)所使用的方法和語料庫來分析其中包含的信息。除了預訓練的靜態(tài)嵌入，重點放在神經(jīng)網(wǎng)絡語言模型和上下文的嵌入上。
第4章引導讀者通過一個可執(zhí)行的Jupyter Notebook，重點介紹一個特定的詞嵌入算法，如Swivel[164]及其實現(xiàn)，以說明如何方便地從文本語料庫中生成詞嵌入。
第5章與第4章的方式類似，本章利用一個像WordNet這樣的現(xiàn)有知識圖譜，利用HolE等特定的知識圖譜算法生成圖譜嵌入，還提供了一個可執(zhí)行的Jupyter Notebook。
第6章提出一種利用知識圖譜從文本語料庫中聯(lián)合學習單詞和概念嵌入的方法Vecsigrafo[39]。與第5章中描述的方法不同，Vecsigrafo不僅從知識圖譜中學習，也從訓練語料庫中學習。我們將看到這種方法的一些優(yōu)