目 錄

第 1 章 測試團(tuán)隊(duì)的發(fā)展之路 .................................................................................... 1
1.1 測試團(tuán)隊(duì)面臨的困局 ........................................................................................... 1
1.2 建立代碼門禁 ....................................................................................................... 2
1.2.1 什么是代碼門禁 ....................................................................................... 3
1.2.2 代碼門禁的效果 ....................................................................................... 3
1.2.3 落地和優(yōu)化 ............................................................................................... 4
1.2.4 更多的用途 ............................................................................................... 5
1.3 理解測試的本質(zhì) ................................................................................................... 5
1.4 縮短反饋弧 ........................................................................................................... 7
1.4.1 為什么縮短反饋弧是關(guān)鍵 ....................................................................... 7
1.4.2 怎么才算反饋弧短 ................................................................................... 8
1.4.3 縮短反饋弧的成本和投入產(chǎn)出比 ........................................................... 9
1.5 提升測試的穩(wěn)定性 ............................................................................................. 10
1.5.1 高頻 ......................................................................................................... 10
1.5.2 隔離 ......................................................................................................... 13
1.5.3 用完即拋 ................................................................................................. 14
1.5.4 不自動重跑 ............................................................................................. 15
1.6 提升測試的有效性 ............................................................................................. 16
1.6.1 測試有效性需要面對的挑戰(zhàn) ................................................................. 16
1.6.2 變異測試和 Bug 注入 ............................................................................ 17
1.6.3 更多的注入類型 ..................................................................................... 21
1.7 提升測試的充分性 ............................................................................................. 25
1.7.1 用例自動生成 ......................................................................................... 25
1.7.2 業(yè)務(wù)覆蓋率度量 ..................................................................................... 30
1.8 從測到不測 ......................................................................................................... 31
1.8.1 防錯設(shè)計(jì) ................................................................................................. 31
1.8.2 靜態(tài)代碼分析和 Bug 自動識別 ............................................................ 41
1.9 本章小結(jié) ............................................................................................................. 42
第 2 章 大促質(zhì)量保障 ............................................................................................. 44
2.1 大促全鏈路的風(fēng)險與挑戰(zhàn) ................................................................................. 44
2.1.1 全球最大流量洪峰下的高可用挑戰(zhàn) ..................................................... 44
2.1.2 紛繁復(fù)雜的用戶場景 ............................................................................. 45
2.1.3 無處不在的用戶體驗(yàn) ............................................................................. 46
2.1.4 三位一體的保障體系 ............................................................................. 46
2.2 全鏈路壓測 ......................................................................................................... 47
2.2.1 全鏈路影子體系 ..................................................................................... 47
2.2.2 全鏈路壓測模型 ..................................................................................... 48
2.2.3 全鏈路壓測執(zhí)行策略 ............................................................................. 49
2.2.4 常態(tài)化智能壓測 ..................................................................................... 50
2.3 全鏈路功能 ......................................................................................................... 52
2.3.1 統(tǒng)一環(huán)境隔離 ......................................................................................... 52
2.3.2 全鏈路影子數(shù)據(jù) ..................................................................................... 54
2.3.3 全鏈路大促用例精簡 ............................................................................. 56
2.4 全民預(yù)演 ............................................................................................................. 59
2.4.1 什么是全民預(yù)演 ..................................................................................... 59
2.4.2 全民預(yù)演的核心目標(biāo) ............................................................................. 60
2.4.3 全民預(yù)演如何實(shí)施 ................................................................................. 61
2.4.4 預(yù)演執(zhí)行策略的制定 ............................................................................. 63
2.4.5 預(yù)演問題的收集和跟進(jìn) ......................................................................... 64
2.4.6 大促持續(xù)集成 ......................................................................................... 64
2.4.7 全民預(yù)演平臺化支撐 ............................................................................. 65
2.5 預(yù)案開關(guān) ............................................................................................................. 68
2.5.1 預(yù)案的使用場景 ..................................................................................... 68
2.5.2 預(yù)案評估方式 ......................................................................................... 69
2.5.3 預(yù)案流程 ................................................................................................. 70
2.5.4 預(yù)案平臺 ................................................................................................. 70
2.5.5 預(yù)案與攻防 ............................................................................................. 72
2.5.6 預(yù)案的目標(biāo)與展望 ................................................................................. 72
2.6 全鏈路預(yù)熱 ......................................................................................................... 73
2.6.1 解法 ......................................................................................................... 73
2.6.2 適用的業(yè)務(wù)場景 ..................................................................................... 75
2.6.3 核心應(yīng)用場景 ......................................................................................... 76
2.7 快速擴(kuò)/縮容 ........................................................................................................ 78
2.7.1 分析 ......................................................................................................... 79
2.7.2 方案 ......................................................................................................... 79
2.7.3 優(yōu)化 ......................................................................................................... 80
2.7.4 演練 ......................................................................................................... 84
2.7.5 效果 ......................................................................................................... 84
2.7.6 展望 ......................................................................................................... 85
2.8 風(fēng)控識別引擎壓測 ............................................................................................. 85
2.8.1 分析問題 ................................................................................................. 86
2.8.2 延伸 ......................................................................................................... 89
2.9 本章小結(jié) ............................................................................................................. 89
第 3 章 移動 App 測試 ............................................................................................ 90
3.1 移動 App 測試的主要類型、方法和工具 ......................................................... 90
3.1.1 功能性測試——從手工到自動化 ......................................................... 90
3.1.2 專項(xiàng)測試——從簡單到專業(yè)好用 ......................................................... 95
3.1.3 穩(wěn)定性測試——智能化測試的初次嘗試 ............................................. 99
3.1.4 兼容性測試——智能推薦 ................................................................... 109
3.2 移動測試的標(biāo)準(zhǔn)、流程和經(jīng)驗(yàn) ....................................................................... 125
3.2.1 深度專項(xiàng)驗(yàn)收——大促 ....................................................................... 125
3.2.2 前端發(fā)布管控 ....................................................................................... 127
3.2.3 客戶端代碼持續(xù)集成 ........................................................................... 132
3.3 移動端線上質(zhì)量保障 ....................................................................................... 140
3.3.1 性能監(jiān)控 ............................................................................................... 140
3.3.2 性能分級與降級 ................................................................................... 146
第 4 章 大數(shù)據(jù)測試 .............................................................................................. 151
4.1 大數(shù)據(jù)應(yīng)用測試的介紹 ................................................................................... 151
4.1.1 大數(shù)據(jù)應(yīng)用測試要解決的問題是什么 ............................................... 151
4.1.2 大數(shù)據(jù)應(yīng)用的技術(shù)質(zhì)量體系綜述 ....................................................... 153
4.2 算法系統(tǒng)質(zhì)量 ................................................................................................... 155
4.2.1 算法測試的定義 ................................................................................... 155
4.2.2 算法工程質(zhì)量 ....................................................................................... 156
4.2.3 特征質(zhì)量與評估 ................................................................................... 162
4.2.4 模型質(zhì)量的評估 ................................................................................... 163
4.2.5 深度學(xué)習(xí)平臺質(zhì)量（大規(guī)模分布式訓(xùn)練系統(tǒng)的測試） ................... 167
4.3 工程系統(tǒng)質(zhì)量 ................................................................................................... 168
4.3.1 功能測試平臺 Markov ......................................................................... 168
4.3.2 無人值守的性能測試 ........................................................................... 182
4.4 效果評估 ........................................................................................................... 185
4.4.1 效果評估的挑戰(zhàn) ................................................................................... 186
4.4.2 用戶體驗(yàn)保障 ....................................................................................... 186
4.5 對大數(shù)據(jù)應(yīng)用測試的預(yù)判 ............................................................................... 190
第 5 章 AI 系統(tǒng)測試 .............................................................................................. 193
5.1 語音類產(chǎn)品測試——智能音箱測試 ................................................................ 193
5.1.1 智能音箱業(yè)務(wù)介紹 ............................................................................... 193
5.1.2 語音類產(chǎn)品測試的挑戰(zhàn) ....................................................................... 195
5.1.3 天貓精靈測試策略 ............................................................................... 196
5.1.4 端端語音測試 ....................................................................................... 197
5.1.5 算法評測 ............................................................................................... 208
5.1.6 總結(jié) ....................................................................................................... 211
5.2 計(jì)算機(jī)視覺類產(chǎn)品測試方案 ........................................................................... 211
5.2.1 計(jì)算機(jī)視覺類業(yè)務(wù)流程介紹 ............................................................... 212
5.2.2 計(jì)算機(jī)視覺類測試分析 ....................................................................... 215
5.2.3 計(jì)算機(jī)視覺類測試方案 ....................................................................... 217
5.2.4 總結(jié) ....................................................................................................... 230
第 6 章 云計(jì)算測試 .............................................................................................. 231
6.1 專有云質(zhì)量定義及挑戰(zhàn) ................................................................................... 231
6.2 高可用測試——堅(jiān)如磐石 ................................................................................ 233
6.2.1 設(shè)計(jì)思想 ............................................................................................... 233
6.2.2 異常模擬 ............................................................................................... 234
6.2.3 復(fù)雜場景測試 ....................................................................................... 235
6.2.4 自動化測試 ........................................................................................... 236
6.3 性能容量壓測——分層覆蓋 ............................................................................ 238
6.3.1 單產(chǎn)品性能——基礎(chǔ)能力 ................................................................... 239
6.3.2 平臺性能容量——集成視角 ............................................................... 240
6.3.3 用戶場景性能——業(yè)務(wù)視角 ............................................................... 242
6.4 熱升級——給飛行中的飛機(jī)更換發(fā)動機(jī) ........................................................ 244
6.4.1 技術(shù)原理 ............................................................................................... 244
6.4.2 測試挑戰(zhàn) ............................................................................................... 245
6.5 用戶場景測試——知己知彼 ............................................................................ 247
第 7 章 金融類測試之資損風(fēng)險防控 ..................................................................... 251
7.1 資損風(fēng)險防控體系 ........................................................................................... 251
7.1.1 怎么防 ................................................................................................... 252
7.1.2 怎么控 ................................................................................................... 252
7.1.3 止損 ....................................................................................................... 252
7.2 資損風(fēng)險防范 ................................................................................................... 253
7.2.1 資金產(chǎn)品測試要點(diǎn) ............................................................................... 253
7.2.2 資金系統(tǒng)測試要點(diǎn) ............................................................................... 255
7.2.3 資金項(xiàng)目變更規(guī)范 ............................................................................... 266
7.2.4 資金測試框架/平臺 .............................................................................. 268
7.3 資損風(fēng)險識別 ................................................................................................... 271
7.3.1 數(shù)據(jù)核對體系 ....................................................................................... 271
7.3.2 數(shù)據(jù)核對平臺 ....................................................................................... 275
7.4 資損風(fēng)險應(yīng)急 ................................................................................................... 278
7.5 資損防控文化 ................................................................................................... 278
第 8 章 物流類測試 .............................................................................................. 280
8.1 物流類通用測試技術(shù) ....................................................................................... 280
8.1.1 基于測試服務(wù)化的可編排測試 ........................................................... 280
8.1.2 基于業(yè)務(wù)流量的采集和回放平臺 ....................................................... 283
8.2 倉儲實(shí)操類測試技術(shù) ....................................................................................... 285
8.2.1 倉儲實(shí)操機(jī)器人業(yè)務(wù)介紹 ................................................................... 285
8.2.2 倉儲實(shí)操機(jī)器人業(yè)務(wù)面臨的質(zhì)量挑戰(zhàn) ............................................... 285
8.2.3 倉儲實(shí)操機(jī)器人自動化測試方案及結(jié)果 ........................................... 286
8.3 末端 IoT 設(shè)備測試技術(shù) .................................................................................... 290
8.3.1 末端物流業(yè)務(wù)介紹 ............................................................................... 290
8.3.2 硬件服務(wù)與系統(tǒng)服務(wù)質(zhì)量保證的挑戰(zhàn) ............................................... 291
8.3.3 阿里巴巴菜鳥末端 IoT 設(shè)備通用的測試產(chǎn)品及方案 ....................... 291
8.3.4 硬件服務(wù)與系統(tǒng)服務(wù)質(zhì)量保障成果 ................................................... 296
8.4 全球化物流骨干網(wǎng)測試技術(shù) ........................................................................... 298
8.4.1 全球化物流骨干網(wǎng)業(yè)務(wù)簡介 ............................................................... 298
8.4.2 全球化物流骨干網(wǎng)質(zhì)量挑戰(zhàn) ............................................................... 299
8.4.3 全球化物流骨干網(wǎng)測試方案 ............................................................... 300
第 9 章 安全生產(chǎn) .................................................................................................. 303
9.1 資金安全 ........................................................................................................... 303
9.1.1 資損定義 ............................................................................................... 304
9.1.2 資損解決方法 ....................................................................................... 304
9.1.3 資金安全策略 ....................................................................................... 306
9.1.4 體系化解決方案 ................................................................................... 307
9.1.5 資金安全產(chǎn)品介紹 ............................................................................... 309
9.1.6 資金安全展望 ....................................................................................... 314
9.2 故障快恢 ........................................................................................................... 315
9.2.1 功能介紹 ............................................................................................... 315
9.2.2 關(guān)鍵技術(shù) ............................................................................................... 316
9.3 灰度發(fā)布 ........................................................................................................... 318
9.3.1 抓手——變更三板斧 ........................................................................... 318
9.3.2 灰度生態(tài)建設(shè) ....................................................................................... 319
9.3.3 灰度常堅(jiān)守，安全無止境 ................................................................... 320
9.4 信息安全風(fēng)險 ................................................................................................... 321
9.4.1 風(fēng)險識別 ............................................................................................... 321
9.4.2 風(fēng)險應(yīng)對 ............................................................................................... 323
9.4.3 持續(xù)優(yōu)化 ............................................................................................... 326
9.5 突襲演練 ........................................................................................................... 327
9.5.1 背景 ....................................................................................................... 327
9.5.2 突襲演練策略 ....................................................................................... 327
9.5.3 突襲演練技術(shù)大圖 ............................................................................... 329
第 10 章 回顧和展望 ............................................................................................ 331
10.1 阿里測試的昨天和今天 ................................................................................. 331
10.2 測試是軟件開發(fā)的一個領(lǐng)域 ......................................................................... 334
10.3 軟件質(zhì)量的挑戰(zhàn)和不變量 ............................................................................. 336
10.4 展望未來 ......................................................................................................... 341
10.5 寫在最后 ......................................................................................................... 347