第1部分 前端與AI
第1章 Web AI 2
1.1 Web AI的特點 3
1.2 Web AI的發(fā)展歷程 5
1.3 總結(jié) 8
第2章 神經(jīng)網(wǎng)絡(luò)和前端推理引擎 9
2.1 感知機 10
2.2 從感知機到神經(jīng)網(wǎng)絡(luò) 12
2.3 前端推理引擎 15
2.4 總結(jié) 18
第3章 Paddle.js 初探 19
3.1 AI全鏈路 19
3.1.1 AI全鏈路基本介紹 20
3.1.2 前端推理引擎Paddle.js 21
3.2 模型和神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu) 24
3.2.1 模型結(jié)構(gòu)文件與參數(shù)文件 25
3.2.2 神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu) 26
3.3 推理過程與運行環(huán)境 31
3.3.1 推理過程 31
3.3.2 運行環(huán)境 33
3.4 使用Paddle.js 33
3.5 總結(jié) 44
第4章 CV項目實戰(zhàn) 46
4.1 paddlejs-models模型庫 46
4.1.1 backend選擇 47
4.1.2 引入模型 library 48
4.2 經(jīng)典CV模型實戰(zhàn) 50
4.2.1 圖像分類 51
4.2.2 圖像分割 56
4.2.3 目標檢測 66
4.3 小程序CV項目 73
4.3.1 微信小程序插件paddlejsPlugin 73
4.3.2 百度智能小程序動態(tài)庫paddlejs 76
4.4 總結(jié) 78
第2部分 引入新模型
第5章 模型準備 82
5.1 模型轉(zhuǎn)換 82
5.1.1 轉(zhuǎn)換工具使用 83
5.1.2 轉(zhuǎn)換過程 87
5.2 模型算子 90
5.2.1 算子基本信息 90
5.2.2 算子計算規(guī)則 92
5.3 算子開發(fā)與測試 93
5.3.1 算子開發(fā) 93
5.3.2 算子測試 96
5.4 總結(jié) 99
第6章 模型前后處理 100
6.1 模型前處理 100
6.1.1 媒體資源獲取 101
6.1.2 輸入數(shù)據(jù)處理 107
6.2 模型后處理 114
6.2.1 目標分類 114
6.2.2 目標框選 115
6.2.3 目標分割 116
6.3 總結(jié) 117
第7章 圖像處理 118
7.1 簡單濾鏡 118
7.1.1 灰度 119
7.1.2 色相旋轉(zhuǎn) 121
7.2 美顏效果 125
7.2.1 美白濾鏡 125
7.2.2 磨皮濾鏡 129
7.2.3 瘦臉濾鏡 134
7.2.4 大眼濾鏡 139
7.3 總結(jié) 142
第3部分 Web AI進階
第8章 計算方案 146
8.1 基本概念 146
8.1.1 多線程 147
8.1.2 SIMD 147
8.1.3 CPU與GPU 148
8.2 計算方案介紹 149
8.2.1 PlainJS計算方案 150
8.2.2 WebGL計算方案 151
8.2.3 WebGPU 計算方案 154
8.2.4 WebAssembly計算方案 159
8.2.5 NodeGL計算方案 161
8.2.6 Web Worker在Paddle.js上的應(yīng)用 161
8.3 計算方案對比 168
8.4 總結(jié) 169
第9章 性能優(yōu)化 170
9.1 算子融合 170
9.2 向量化計算 174
9.3 多線程 179
9.4 總結(jié) 186
第10章 Web AI應(yīng)用安全 187
10.1 安全問題與安全目標 187
10.1.1 安全問題 188
10.1.2 安全目標 190
10.2 前端安全技術(shù) 191
10.2.1 加解密方案 191
10.2.2 代碼安全 193
10.2.3 安全加固方案 196
10.3 安全方案 197
10.3.1 安全中心 198
10.3.2 離線部署 201
10.3.3 在線推理 202
10.4 總結(jié) 203
第11章 Web AI的發(fā)展趨勢 205
11.1 Web AI的六大能力 205
11.2 技術(shù)展望 209
11.2.1 Web AI的標準 209
11.2.2 Web AI中的端云協(xié)同 210
11.3 總結(jié) 212
第12章 未來已來 213
12.1 大語言模型簡介 215
12.1.1 什么是GPT 216
12.1.2 超大語言模型帶來的能力躍升 219
12.1.3 GPT-4的又一次生長 221
12.1.4 回答準確性和可解釋性 222
12.2 前端和大語言模型 223
12.2.1 提示語是一切的核心 224
12.2.2 學會如何與GPT交流 230
12.2.3 用GPT優(yōu)化工作流 233
12.3 關(guān)于未來的暢想 242
12.4 給前端工程師的建議 246