第1章 導(dǎo) 論
1.1 人工智能
1.1.1 人工智能的發(fā)展歷史
1.1.2 人工智能的流派
1.2 機(jī)器學(xué)習(xí)
1.3 深度學(xué)習(xí)
1.3.1 深度學(xué)習(xí)的概念
1.3.2 深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、人工智能的關(guān)系
1.3.3 深度學(xué)習(xí)的歷史溯源
1.3.4 深度學(xué)習(xí)與回歸分析
1.4 深度學(xué)習(xí)適用的領(lǐng)域
1.4.1 圖像識(shí)別
1.4.2 語音識(shí)別
1.4.3 自然語言處理
1.4.4 棋牌競(jìng)技
1.5 常用的深度學(xué)習(xí)框架
1.5.1 Caffe
1.5.2 TensorFlow
1.5.3 PyTorch
1.5.4 MXNet
1.5.5 Keras
1.6 本書使用的數(shù)據(jù)和代碼說明
第2章 神經(jīng)網(wǎng)絡(luò)的張量與數(shù)學(xué)基礎(chǔ)
2.1 張 量
2.1.1 張量的定義
2.1.2 張量的數(shù)據(jù)類型
2.1.3 張量的創(chuàng)建方式
2.1.4 應(yīng)用：圖像數(shù)據(jù)轉(zhuǎn)張量
2.2 張量的操作
2.2.1 獲取和改變張量形狀
2.2.2 提取張量中的元素
2.2.3 張量的拼接與拆分
2.3 張量的運(yùn)算
2.3.1 基本運(yùn)算
2.3.2 統(tǒng)計(jì)相關(guān)運(yùn)算
2.3.3 矩陣運(yùn)算
2.4 深度學(xué)習(xí)的導(dǎo)數(shù)基礎(chǔ)
2.4.1 單變量函數(shù)和導(dǎo)數(shù)
2.4.2 多變量函數(shù)和偏導(dǎo)數(shù)
2.4.3 復(fù)合函數(shù)和鏈?zhǔn)角髮?dǎo)法則
2.5 梯度下降算法的含義與公式
2.6 本章小結(jié)
第3章 前饋神經(jīng)網(wǎng)絡(luò)
3.1 前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和常見激活函數(shù)
3.1.1 神經(jīng)元
3.1.2 Sigmoid函數(shù)
3.1.3 Tanh函數(shù)
3.1.4 ReLU函數(shù)
3.1.5 前饋神經(jīng)網(wǎng)絡(luò)的構(gòu)成
3.2 損失函數(shù)的設(shè)置
3.3 梯度下降算法
3.3.1 梯度下降算法的直觀理解與定義
3.3.2 小批量梯度下降算法
3.3.3 動(dòng)量梯度下降算法
3.3.4 Nesterov梯度加速算法
3.3.5 自適應(yīng)梯度算法
3.3.6 AdaDelta算法
3.3.7 均方根加速算法
3.3.8 自適應(yīng)矩估計(jì)算法
3.4 反向傳播算法
3.4.1 單個(gè)神經(jīng)元的反向傳播算法示例
3.4.2 兩層神經(jīng)網(wǎng)絡(luò)的反向傳播算法示例
3.5 過擬合
3.5.1 偏差-方差分解
3.5.2 正則化
3.5.3 權(quán)重衰減
3.5.4 丟棄法
3.6 本章小結(jié)
第4章 神經(jīng)網(wǎng)絡(luò)的PyTorch實(shí)現(xiàn)
4.1 線性回歸案例：顏值打分
4.1.1 線性回歸基礎(chǔ)
4.1.2 案例：顏值打分
4.2 邏輯回歸案例：性別識(shí)別
4.2.1 邏輯回歸基礎(chǔ)
4.2.2 案例：性別識(shí)別
4.3 softmax回歸案例：Fashion-MNIST數(shù)據(jù)集分類
4.3.1 softmax回歸基礎(chǔ)
4.3.2 案例：Fashion-MNIST數(shù)據(jù)集分類
4.4 本章小結(jié)
第5章 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
5.1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
5.2 卷積與池化的通俗理解
5.2.1 卷積的通俗理解
5.2.2 池化的通俗理解
5.3 卷積操作
5.3.1 卷積的定義
5.3.2 填充與步長(zhǎng)
5.3.3 多通道卷積
5.4 池化操作
5.4.1 單通道池化
5.4.2 多通道池化
5.5 CNN模型實(shí)戰(zhàn)：手寫數(shù)字識(shí)別
5.5.1 數(shù)據(jù)準(zhǔn)備
5.5.2 構(gòu)建數(shù)據(jù)讀取器
5.5.3 LeNet-5網(wǎng)絡(luò)構(gòu)建及代碼實(shí)現(xiàn)
5.5.4 模型訓(xùn)練
5.5.5 第一層卷積核與特征圖的可視化
5.5.6 第二層卷積核與特征圖的可視化
5.6 本章小結(jié)
第6章 經(jīng)典CNN模型介紹
6.1 AlexNet模型原理與實(shí)現(xiàn)
6.1.1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)
6.1.2 AlexNet創(chuàng)新點(diǎn)
6.1.3 案例：AlexNet用于CIFAR10數(shù)據(jù)集的圖片分類
6.1.4 AlexNet網(wǎng)絡(luò)構(gòu)建及代碼實(shí)現(xiàn)
6.1.5 模型訓(xùn)練
6.2 VGG模型原理與實(shí)現(xiàn)
6.2.1 VGG網(wǎng)絡(luò)結(jié)構(gòu)
6.2.2 案例：VGG16用于CIFAR10數(shù)據(jù)集的圖片分類
6.2.3 VGG網(wǎng)絡(luò)構(gòu)建及代碼實(shí)現(xiàn)
6.2.4 模型訓(xùn)練
6.3 Inception V1模型原理與實(shí)現(xiàn)
6.3.1 Inception V1網(wǎng)絡(luò)結(jié)構(gòu)
6.3.2 Inception V1創(chuàng)新點(diǎn)
6.3.3 Inception V1網(wǎng)絡(luò)構(gòu)建及代碼實(shí)現(xiàn)
6.3.4 模型訓(xùn)練
6.4 ResNet模型原理與實(shí)現(xiàn)
6.4.1 ResNet網(wǎng)絡(luò)結(jié)構(gòu)
6.4.2 ResNet網(wǎng)絡(luò)構(gòu)建及代碼實(shí)現(xiàn)
6.4.3 模型訓(xùn)練
6.5 批量歸一化
6.5.1 批量歸一化的提出動(dòng)機(jī)
6.5.2 批量歸一化的主要思想
6.5.3 案例：帶有批量歸一化的模型用于貓狗數(shù)據(jù)集圖片分類
6.6 數(shù)據(jù)增強(qiáng)
6.6.1 數(shù)據(jù)增強(qiáng)的核心思想
6.6.2 案例：帶有數(shù)據(jù)增強(qiáng)的模型用于貓狗數(shù)據(jù)集圖片分類
6.7 遷移學(xué)習(xí)
6.7.1 遷移學(xué)習(xí)的由來
6.7.2 遷移學(xué)習(xí)原理
6.7.3 經(jīng)典案例：遷移學(xué)習(xí)如何精準(zhǔn)定位貧困地區(qū)
6.7.4 PyTorch案例：遷移學(xué)習(xí)用于貓狗數(shù)據(jù)集圖片分類
6.8 本章小結(jié)
第7章 序列模型
7.1 詞向量
7.1.1 詞匯表征與語義相關(guān)性
7.1.2 Word2Vec原理概述
7.1.3 Word2Vec代碼實(shí)現(xiàn)
7.2 RNN模型
7.2.1 RNN的源起：序列預(yù)測(cè)問題
7.2.2 RNN模型原理
7.2.3 RNN模型實(shí)例：機(jī)器作詩(shī)
7.3 LSTM模型
7.3.1 RNN模型的改進(jìn)：增加長(zhǎng)期狀態(tài)變量
7.3.2 LSTM模型簡(jiǎn)介
7.3.3 LSTM模型實(shí)例：自動(dòng)樂曲生成
7.4 機(jī)器翻譯
7.4.1 初級(jí)機(jī)器翻譯技術(shù)
7.4.2 回歸分析視角
7.4.3 encoder-decoder模型
7.4.4 機(jī)器翻譯實(shí)例：中英文翻譯
7.5 本章小結(jié)
第8章 深度生成模型
8.1 自編碼器
8.1.1 自編碼器簡(jiǎn)介
8.1.2 自編碼器的應(yīng)用案例：圖像去噪
8.2 變分自編碼器
8.2.1 生成模型與分布變換
8.2.2 VAE的基本原理
8.2.3 VAE圖像生成示例
8.3 生成式對(duì)抗網(wǎng)絡(luò)
8.3.1 GAN原理簡(jiǎn)介
8.3.2 GAN示例：訓(xùn)練DCGAN
8.4 本章小結(jié)