01

人工智能基礎(chǔ)

1.1　人工智能概述　2

1.1.1　人工智能的層次結(jié)構(gòu)　2

1.1.2　人工智能的典型事件　7

1.2　人工智能數(shù)學(xué)基礎(chǔ)　9

1.2.1　矩陣及其運(yùn)算　10

1.2.2　向量與向量空間　14

1.2.3　特征值與特征向量　16

1.2.4　奇異值分解　19

1.2.5　二次型　19

1.2.6　范數(shù)　20

1.2.7　導(dǎo)數(shù)與偏導(dǎo)數(shù)　21

1.2.8　方向?qū)��?shù)與梯度　24

1.2.9　泰勒公式　26

1.2.10　函數(shù)的極值點(diǎn)　28

1.2.11　隨機(jī)變量與概率

分布　29

1.2.12　隨機(jī)變量的數(shù)字

特征　32

1.3　本章小結(jié)　34

1.4　習(xí)題　34

02

機(jī)器學(xué)習(xí)基礎(chǔ)

2.1　機(jī)器學(xué)習(xí)概述　36

2.1.1　機(jī)器學(xué)習(xí)的定義　36

2.1.2　機(jī)器學(xué)習(xí)的分類　37

2.1.3　常用損失函數(shù)　39

2.2　分類與回歸　41

2.3　模型的評(píng)估　45

2.3.1　數(shù)據(jù)集的劃分方法　45

2.3.2　模型的評(píng)價(jià)指標(biāo)　47

2.4　模型的選擇　50

2.4.1　欠擬合與過擬合　50

2.4.2　偏差與方差　51

2.4.3　正則化　52

2.5　本章小結(jié)　52

2.6　習(xí)題　53



03

深度學(xué)習(xí)主要框架

3.1　TensorFlow原理與應(yīng)用　55

3.1.1　安裝與編譯　55

3.1.2　TensorFlow框架結(jié)構(gòu)

分析　56

3.1.3　TensorFlow原理與方法　58

3.1.4　案例應(yīng)用　64

3.2　其他框架　72

3.2.1　Keras　72

3.2.2　Caffe　74

3.2.3　PyTorch　75

3.2.4　其他框架　76

3.3　本章小結(jié)　76

3.4　習(xí)題　77



04

深度神經(jīng)網(wǎng)絡(luò)

4.1　深度神經(jīng)網(wǎng)絡(luò)概述　79

4.2　網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)　80

4.2.1　架構(gòu)設(shè)計(jì)　80

4.2.2　隱藏層　81

4.2.3　XOR的案例展示　82

4.3　前向傳播算法　82

4.4　反向傳播算法　84

4.4.1　梯度下降算法與學(xué)習(xí)率　85

4.4.2　反向傳播算法的優(yōu)點(diǎn)　86

4.4.3　反向傳播相關(guān)計(jì)算公式　88

4.4.4　使用鏈?zhǔn)椒▌t推導(dǎo)　90

4.5　常用的優(yōu)化算法　91

4.5.1　隨機(jī)梯度下降算法和小批量

梯度下降算法　92

4.5.2　動(dòng)量法　92

4.5.3　Adagrad算法　93

4.6　常用的正則化方法　94

4.6.1　范數(shù)懲罰法　94

4.6.2　稀疏表示法　95

4.6.3　其他方法　95

4.7　案例應(yīng)用　96

4.8　本章小結(jié)　102

4.9　習(xí)題　102



05

卷積神經(jīng)網(wǎng)絡(luò)

5.1　卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程　104

5.2　卷積層　104

5.2.1　為什么使用卷積　104

5.2.2　卷積運(yùn)算　105

5.2.3　卷積核　106

5.2.4　填充和步長　108

5.2.5　激活函數(shù)　109

5.3　池化層　109

5.3.1　池化原理　110

5.3.2　池化方法　110

5.4　全連接層　110

5.5　經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)　111

5.5.1　AlexNet　112

5.5.2　VGGNet　113

5.5.3　ResNet　116

5.5.4　YOLO　118

5.5.5　其他卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)　120

5.6　案例應(yīng)用　120

5.6.1　案例內(nèi)容　120

5.6.2　快速上手　121

5.6.3　如何訓(xùn)練　121

5.7　本章小結(jié)　124

5.8　習(xí)題　124



06

循環(huán)神經(jīng)網(wǎng)絡(luò)

6.1　循環(huán)神經(jīng)網(wǎng)絡(luò)概述　126

6.2　簡單循環(huán)神經(jīng)網(wǎng)絡(luò)　128

6.3　雙向循環(huán)神經(jīng)網(wǎng)絡(luò)　129

6.4　基于編碼-解碼的序列到序列

結(jié)構(gòu)　130

6.4.1　序列到序列結(jié)構(gòu)　130

6.4.2　編碼-解碼結(jié)構(gòu)　131

6.4.3　目標(biāo)函數(shù)　132

6.4.4　注意力機(jī)制　133

6.5　訓(xùn)練方法　134

6.6　長短期記憶網(wǎng)絡(luò)　137

6.6.1　核心思想　137

6.6.2　網(wǎng)絡(luò)結(jié)構(gòu)　137

6.6.3　LSTM網(wǎng)絡(luò)的訓(xùn)練原理　140

6.6.4　相關(guān)變體　140

6.7　案例應(yīng)用　140



6.8　本章小結(jié)　149

6.9　習(xí)題　149



07

自編碼器與生成對(duì)抗網(wǎng)絡(luò)

7.1　自編碼器　151

7.1.1　自編碼器概述　151

7.1.2　欠完備自編碼器　151

7.1.3　正則自編碼器　152

7.1.4　卷積自編碼器　155

7.1.5　使用Keras實(shí)現(xiàn)簡單的

自編碼器　157

7.2　生成對(duì)抗網(wǎng)絡(luò)　160

7.2.1　GAN概述　160

7.2.2　一般的GAN　160

7.2.3　CGAN　163

7.2.4　DCGAN　165

7.3　本章小結(jié)　168

7.4　習(xí)題　168

參考文獻(xiàn)　169