本書是在原書第1版的基礎上，經(jīng)過全面的修訂、更新和擴展，保留了相同的可讀性和解決問題的方法，同時介紹了新的素材和*新發(fā)展。全書分為5個部分，重點介紹了人工智能中常見的關鍵的技術。本書第1部分介紹了基于邏輯的方法，第2部分則重點介紹了基于概率的方法，第3部分介紹了新興的涌現(xiàn)智能，探討了基于群體智能的進化計算及其方法。接下來是*新的發(fā)展，第4部分詳細介紹了神經(jīng)網(wǎng)絡和深度學習。本書*后一部分重點介紹了自然語言理解。
譯者序
當前業(yè)界與學界流行的熱詞是人工智能、區(qū)塊鏈、云計算、數(shù)據(jù)科學與大數(shù)據(jù)、物聯(lián)網(wǎng)、虛擬現(xiàn)實，而人工智能則包含了機器學習與深度學習。三位深度學習之父Yoshua Bengio、Yann LeCun、Geoffrey Hinton因他們在神經(jīng)計算領域的突出貢獻而獲得了2019年度計算機科學界的獎圖靈獎。人工智能技術在60多年前就已萌芽，早年由于缺乏足夠強勁的硬件和海量數(shù)據(jù)支撐，導致其發(fā)展遲緩。如今，得益于硬件算力的增強和深度學習算法的進步，加上互聯(lián)網(wǎng)及移動計算產(chǎn)生的海量數(shù)據(jù)，人工智能技術的發(fā)展和應用具備了成熟條件。越來越多的國家和地區(qū)將人工智能上升為發(fā)展戰(zhàn)略，并將其視作促進經(jīng)濟繁榮、社會福祉、國家安全的重要籌碼。在近數(shù)年中，計算機視覺、語音識別、自然語言處理和機器人取得的爆炸性進展都離不開人工智能與機器學習。
為滿足業(yè)界急劇上升的人才需求，全國已有500余所高校設立了大數(shù)據(jù)與人工智能類專業(yè)，科技前沿公司也紛紛布局自己的研發(fā)戰(zhàn)略及產(chǎn)品生態(tài)。本書從獨特的視野介紹了人工智能中出現(xiàn)的關鍵技術。全書分為5個部分：第1部分介紹了基于邏輯的方法；而第2部分重點介紹了基于概率的方法；第3部分介紹了涌現(xiàn)智能的特點，探討了基于群體智能的進化計算方法；接下來是的發(fā)展，介紹了人工神經(jīng)網(wǎng)絡和深度學習；后一部分重點介紹了自然語言理解。
本書的兩位作者是人工智能領域的學科引領者及創(chuàng)業(yè)者。Richard E.Neapolitan博士是美國東北伊利諾伊州大學的計算機科學名譽教授和美國西北大學的生物信息學教授，同時也是貝葉斯網(wǎng)絡解決方案公司總裁。其研究興趣包括概率和統(tǒng)計、決策支持系統(tǒng)、認知科學以及概率模型等在醫(yī)學、生物學和金融等領域的應用。Xia Jiang博士是美國匹茲堡大學醫(yī)學院生物醫(yī)學信息學系的副教授。她在人工智能、機器學習、貝葉斯網(wǎng)絡和因果學習等方面擁有超過16年的教學和研究經(jīng)驗，并將這些方法用于建模和解決生物學、醫(yī)學和轉化科學領域的問題。
本書適合作為本科教學參考書及高職院校培訓教材，對研究生自修也有極大幫助，對自學及實戰(zhàn)者也是不可多得的輔助參考。本書的翻譯出版得益于機械工業(yè)出版社編輯的推薦與鼓勵，在此特致感謝。我的研究生們在全書的初稿形成、圖表編輯等諸多方面給予了幫助，在此一并致謝。由于譯者水平有限，加之人工智能與機器學習領域新興概念繁多，難免誤譯或詞不達意，敬請讀者賜教與原諒。
譯者謹識2021.5原 書 前 言原 書 前 言
近年來，我對人工智能（AI）課程的認識產(chǎn)生了巨大轉變。曾經(jīng)認為該課程應該討論為建立一個可以在復雜、變化的環(huán)境中進行學習和決策、影響該環(huán)境并將所獲知識和決策傳達給人類的人工實體的工作，即一個可以思考的實體。因此，在課程中會引入那些未能擴展的弱人工智能方法。但是，隨著強人工智能方法在有限領域解決挑戰(zhàn)性問題時越來越重要，我們的課程也越來越關注于這些方法�，F(xiàn)在將引入反向鏈、正向鏈、規(guī)劃、貝葉斯網(wǎng)絡推理、規(guī)范決策分析、進化計算、決策樹學習、貝葉斯網(wǎng)絡、監(jiān)督學習、無監(jiān)督學習以及強化學習，我們將展示這些方法的實際應用。這些技術對于計算機科學專業(yè)的學生來說已經(jīng)變得與分治法、貪婪方法、分支定界法等技術同等重要。然而，除非學生選修了人工智能課程，否則將不會學到上述方法。因此，我的人工智能課程演變成了一門本科學生可以同時或跟隨在算法分析課程之后學習的課程，它將涵蓋我認為比較重要的人工智能領域的問題求解方案。我覺得這樣的課程應該像數(shù)據(jù)結構和算法分析一樣，成為計算機相關專業(yè)本科培養(yǎng)計劃中的核心課程之一。
由于以下兩個原因，尚未有圖書能滿足我所教授課程的需要：
1）人工智能是一個廣闊的領域，在過去的50年中，發(fā)展出了許多各種各樣的技術。現(xiàn)有的圖書試圖涵蓋全部內容，而不是簡單地提供有用的方法和算法。
2）目前沒有圖書可供美國東北伊利諾伊州大學等主要大學的學生使用。我對算法分析課程也有同樣的困惑，這也是寫作《算法基礎》的原因。
因此，我使用自己的《貝葉斯網(wǎng)絡》課本和課堂筆記來教授該課程。后，我決定將這些筆記變成這本著作，以便其他高校的教授也可以提供類似的課程。雖然我竭力使所有計算機科學專業(yè)的學生都能讀懂這本書，但依舊很難在嚴格意義上進行折中。我覺得本書適合在任何開設人工智能課程的高校中使用。
本書撰寫的目的不是要成為AI的百科全書或呈現(xiàn)AI發(fā)展史，而是在一個學期有限的時間內，盡量涵蓋AI內容，并且向學生講授那些我認為與AI相關的為有用的技術。這些技術包括：
1）基于邏輯的方法；
2）基于概率的方法；
3）基于群體智能的進化計算與方法；
4）神經(jīng)網(wǎng)絡與深度學習；
5）語言理解。
本書清楚地反映了我自己的偏好。書中沒有討論模糊邏輯、支持向量機以及AI中的許多其他分支。例如沒有包括搜索技術，因為大多數(shù)搜索技術都出現(xiàn)在數(shù)據(jù)結構和算法圖書中。書中幾乎一半的內容是有關概率的方法，可能有部分原因是我對這些方法為了解，因為這是我自己的研究領域，也可能因為我認為它們是為重要的（這就是為什么概率成為我的研究領域）。在第2版中，增加了關于神經(jīng)網(wǎng)絡和深度學習的部分，因為它們在語音和圖像識別等領域的使用越來越廣泛。
本書的撰寫是以我講授的順序為基礎。因此，建議大家從頭至尾按順序學習這些章節(jié)。如果沒有時間學習整本書，建議可以跳過9.3~9.6節(jié)內容，這些章節(jié)探討了決策分析中的高階主題，而11.6節(jié)則涉及因果學習。標有(*)的部分所包含的內容與書中的其他內容相比，難度較高，但確涵蓋了重要的主題，如果學生有足夠的能力來掌握它們，則不應跳過這些章節(jié)。
感謝Dawn Holmes和Kevin Korb閱讀了手稿并提供了有用的評論。我還要感謝Prentice Hall出版社允許節(jié)選了我的著作Learning Bayesian Networks，以及感謝Morgan Kaufmann出版社允許節(jié)選了我的著作Probabilistic Methods for Financial and Marketing Informatics和Probabilistic Methods for Bioinformatics。
Richard E.Neapolitan RE-Neapolitan@neiu.edu
程國建，博士，教授，西安培華學院智能科學與信息工程學院（中興電信學院）院長。1990年12月獲中國石油大學（華東）計算機應用專業(yè)工學學士學位；1994年6月獲西安電子科技大學計算機與人工智能專業(yè)工學碩士學位；1997年9月至2001年12月留學德國圖賓根大學，獲理學博士學位（Dr.rer.nat.）。2002年3月至2003年8月在戴姆勒集團（Daimler AG，奔馳汽車公司）從事汽車嵌入式軟件產(chǎn)品線構造、車載多媒體互連架構(Telematics)等方面的研究工作。2004年9月回國任教，2008年底破格晉升教授職稱，2009年7月榮獲陜西省優(yōu)秀留學回國人員榮譽稱號，2010年12月赴美國西弗吉尼亞大學石油工程系進行訪學活動。近幾年主持并完成十余項科研項目，包括國家自然科學基金項目2項，指導研究生50余名，在相關學術研究領域及國際會議發(fā)表文章150余篇，其中核心期刊70余篇，三大檢索（SCI/ISTP/EI）論文50余篇，出版專（譯）著十余部。主要科研領域及研究方向包括：計算智能、機器學習、模式識別、圖像處理、智能數(shù)字油田、商業(yè)智能、大數(shù)據(jù)與智慧城市等。
目錄
譯者序
原書前言
作者簡介
第1章人工智能入門1
1.1人工智能的歷史2
1.1.1什么是人工智能2
1.1.2人工智能的出現(xiàn)3
1.1.3認知科學與人工智能3
1.1.4人工智能的邏輯方法4
1.1.5基于知識的系統(tǒng)4
1.1.6人工智能的概率方法5
1.1.7進化計算和群體智能6
1.1.8神經(jīng)網(wǎng)絡與深度學習6
1.1.9創(chuàng)建HAL6
1.2大綱7
第1部分邏 輯 智 能
第2章命題邏輯8
2.1命題邏輯基礎9
2.1.1語法9
2.1.2語義10
2.1.3重言式和邏輯含義13
2.1.4邏輯參數(shù)14
2.1.5派生系統(tǒng)17
2.2歸結20
2.2.1范式20
2.2.2歸結的推導21
2.2.3歸結算法24
2.3人工智能應用25
2.3.1基于知識的系統(tǒng)25
2.3.2wumpus world35
2.4討論和擴展閱讀41
練習41
第3章一階邏輯44
3.1一階邏輯基礎44
3.1.1語法44
3.1.2語義46
3.1.3有效性和邏輯蘊涵49
3.1.4推導系統(tǒng)51
3.1.5一階邏輯的分離規(guī)則54
3.2人工智能應用57
3.2.1重訪wumpus world57
3.2.2計劃57
3.3討論和擴展閱讀60
練習60
第4章特定知識表示63
4.1分類學知識63
4.1.1語義網(wǎng)64
4.1.2人類知識的組織模型65
4.2框架65
4.2.1框架數(shù)據(jù)結構65
4.2.2使用框架做旅行規(guī)劃66
4.3非單調邏輯68
4.3.1界限68
4.3.2默認邏輯69
4.3.3難點70
4.4討論和擴展閱讀70
練習71
第5章學習確定性模型72
5.1監(jiān)督學習72
5.2回歸72
5.2.1簡單線性回歸73
5.2.2多元線性回歸75
5.2.3過擬合和交叉驗證76
5.3參數(shù)估計78
5.3.1簡單線性回歸的參數(shù)估計78
5.3.2梯度下降80
5.3.3邏輯回歸和梯度下降82
5.3.4隨機梯度下降82
5.4決策樹的學習83
5.4.1信息論85
5.4.2信息增益和ID3算法87
5.4.3過擬合89
練習89
第2部分概 率 智 能
第6章概率論92
6.1概率基本知識94
6.1.1概率空間94
6.1.2條件概率與獨立性96
6.1.3貝葉斯定理98
6.2隨機變量99
6.2.1隨機變量的概率分布99
6.2.2隨機變量的獨立性103
6.3概率的含義106
6.3.1概率的相對頻率法106
6.3.2主觀概率108
6.4應用中的隨機變量110
6.5wumpus world的概率112
練習114
第7章不確定性知識的表示117
7.1貝葉斯網(wǎng)絡的直觀介紹118
7.2貝葉斯網(wǎng)絡的性質120
7.2.1貝葉斯網(wǎng)絡的定義120
7.2.2貝葉斯網(wǎng)絡的表示123
7.3貝葉斯網(wǎng)絡的因果網(wǎng)絡124
7.3.1因果關系124
7.3.2因果關系和馬爾可夫條件125
7.3.3沒有因果關系的馬爾可夫條件128
7.4貝葉斯網(wǎng)絡的推理129
7.4.1推理示例129
7.4.2推理算法和包131
7.4.3使用Netica推斷132
7.5具有連續(xù)變量的網(wǎng)絡133
7.5.1高斯貝葉斯網(wǎng)絡133
7.5.2混合網(wǎng)絡135
7.6取得概率137
7.6.1多繼承的固有問題137
7.6.2基本noisy OR- gate模型137
7.6.3leaky noisy OR-gate模型138
7.6.4附加模型140
7.7大規(guī)模應用:Promedas140
練習142
第8章貝葉斯網(wǎng)絡的高級特性144
8.1附帶條件獨立性144
8.1.1附帶條件獨立性實例145
8.1.2d-分離147
8.2忠實性150
8.2.1非忠實概率分布150
8.2.2忠實條件151
8.3馬爾可夫等價152
8.4馬爾可夫毯和邊界155
練習155
第9章決策分析159
9.1決策樹160
9.1.1簡單的例子160
9.1.2求解更復雜的決策樹163
9.2影響圖172
9.2.1用影響圖表示決策問題172
9.2.2求解影響圖177
9.2.3求解影響圖的技術177
9.2.4使用Netica求解影響圖181
9.3風險建模偏好185
9.3.1指數(shù)效用函數(shù)185
9.3.2評估r186
9.4分析直接風險187
9.4.1使用方差來衡量風險187
9.4.2風險列表188
9.4.3決策的地位190
9.5良好的決策與良好的結果192
9.6敏感性分析193
9.7信息的價值195
9.7.1完備信息的預期值195
9.7.2不完備信息的預期值198
9.8討論和擴展閱讀199
9.8.1學者199
9.8.2商業(yè)和金融199
9.8.3資本設備199
9.8.4計算機游戲200
9.8.5計算機視覺200
9.8.6計算機軟件200
9.8.7醫(yī)學200
9.8.8自然語言處理200
9.8.9規(guī)劃201
9.8.10心理學201
9.8.11可靠性分析201
9.8.12調度201
9.8.13語音識別201
9.8.14車輛控制與故障診斷201
練習201
第10章學習概率模型參數(shù)207
10.1學習單個參數(shù)207
10.1.1二項式隨機變量207
10.1.2多項式隨機變量210
10.2在貝葉斯網(wǎng)絡中學習參數(shù)211
10.2.1學習參數(shù)的步驟211
10.2.2等效樣本量212
10.3缺少數(shù)據(jù)的學習參數(shù)214
練習220
第11章學習概率模型結構222
11.1結構學習問題222
11.2基于分數(shù)的結構學習223
11.2.1貝葉斯分數(shù)223
11.2.2BIC分數(shù)229
11.2.3一致的評分準則231
11.2.4DAG評分的數(shù)量231
11.2.5使用學習網(wǎng)絡進行推理*231
11.2.6缺少數(shù)據(jù)的學習結構*232
11.2.7近似結構學習238
11.2.8模型平均242
11.2.9近似模型平均*244
11.3基于約束的結構學習246
11.3.1學習一個服從于P的DAG246
11.3.2學習一個可信嵌入P中的DAG251
11.4應用：MENTOR251
11.4.1開發(fā)網(wǎng)絡251
11.4.2驗證MENTOR253
11.5用于學習的軟件包254
11.6因果學習254
11.6.1因果置信假設254
11.6.2因果嵌入置信假設256
11.6.3應用：大學生保留率問題258
11.7類概率樹261
11.7.1類概率樹理論261
11.7.2目標廣告應用262
11.8討論和擴展閱讀265
11.8.1生物學265
11.8.2商業(yè)和金融265
11.8.3因果學習266
11.8.4數(shù)據(jù)挖掘266
11.8.5醫(yī)學266
11.8.6天氣預報266
練習266
第12章無監(jiān)督學習和強化學習270
12.1無監(jiān)督學習270
12.1.1聚類270
12.1.2自動發(fā)現(xiàn)271
12.2強化學習271
12.2.1多臂強盜算法272
12.2.2動態(tài)網(wǎng)絡*274
12.3討論和擴展閱讀282
練習283
第3部分涌 現(xiàn) 智 能
第13章進化計算284
13.1遺傳學評論284
13.2遺傳算法286
13.2.1算法286
13.2.2說明性示例287
13.2.3旅行的銷售人員問題289
13.3遺傳編程296
13.3.1說明性示例296
13.3.2人工螞蟻299
13.3.3金融交易應用300
13.4討論和擴展閱讀302
練習303
第14章群體智能305
14.1螞蟻系統(tǒng)305
14.1.1真實蟻群305
14.1.2求解TSP人工螞蟻算法306
14.2鳥群308
14.3討論和擴展閱讀310
練習311
第4部分神 經(jīng) 智 能
第15章神經(jīng)網(wǎng)絡和深度學習312
15.1感知器312
15.1.1學習感知器的權重313
15.1.2感知器和邏輯回歸316
15.2前饋神經(jīng)網(wǎng)絡318
15.2.1XOR建模318
15.2.2兩個隱層示例319
15.2.3前饋神經(jīng)網(wǎng)絡的結構322
15.3激活函數(shù)323
15.3.1輸出節(jié)點323
15.3.2隱層節(jié)點326
15.4應用于圖像識別327
15.5討論和擴展閱讀327
練習328
第5部分語 言 理 解
第16章自然語言理解331
16.1語法解析332
16.1.1遞歸語法解析器334
16.1.2歧義性335
16.1.3動態(tài)編程語法解析器337
16.1.4概率語法解析器340
16.1.5獲得PCFG的概率342
16.1.6詞典化的PCFG343
16.2語義解釋344
16.3概念/知識解釋345
16.4信息檢索346
16.4.1信息檢索的應用346
16.4.2信息檢索系統(tǒng)的體系結構347
16.5討論和擴展閱讀348
練習348
參考文獻350
書單推薦
