本書以項(xiàng)目實(shí)踐作為主線，結(jié)合必需的理論知識，以任務(wù)的形式進(jìn)行內(nèi)容設(shè)計(jì)，每個任務(wù)都包含任務(wù)描述及任務(wù)實(shí)施的步驟，讀者按照實(shí)施步驟進(jìn)行操作就可以完成相應(yīng)的學(xué)習(xí)任務(wù)，從而不斷提升項(xiàng)目實(shí)踐能力。本書主要內(nèi)容涉及Spark基本原理、基于IDEA搭建Spark開發(fā)環(huán)境、RDD基本原理、Spark SQL基本操作流程、電商業(yè)務(wù)系統(tǒng)的基本流程、電商用戶行為分析的基本指標(biāo)以及分析過程、通過不同的維度對銷售數(shù)據(jù)進(jìn)行分析、通過不同的維度對訂單數(shù)據(jù)進(jìn)行分析以及常用的可視化分析圖表的應(yīng)用場景等。
本書適合需要使用Spark進(jìn)行大數(shù)據(jù)處理的程序員、架構(gòu)師和產(chǎn)品經(jīng)理作為技術(shù)參考和培訓(xùn)資料，也可作為高校本科生和研究生的教材。
1.內(nèi)容安排科學(xué)合理，易學(xué)易懂。以項(xiàng)目實(shí)踐為主線，以任務(wù)驅(qū)動的方式介紹基礎(chǔ)知識和實(shí)施要點(diǎn)。
2.難易適中，案例式教學(xué)，幫助讀者全面了解Spark大數(shù)據(jù)處理開發(fā)方案。
3.不僅讓讀者掌握Spark方法，更注重全面培養(yǎng)讀者的數(shù)據(jù)意識、數(shù)據(jù)思維和數(shù)據(jù)能力。
4.融合課程思政元素，提供豐富教學(xué)資源。
劉均，高級實(shí)驗(yàn)師、高級技師、教育部課程思政教學(xué)名師、全國職業(yè)院校技能大賽優(yōu)秀指導(dǎo)教師、重慶市黃大年教學(xué)團(tuán)隊(duì)成員、重慶市高職院校1+X證書學(xué)習(xí)成果專業(yè)認(rèn)證委員會專家、云計(jì)算1+X中級講師、網(wǎng)絡(luò)工程師、國家職業(yè)技能鑒定中心考評員、重慶市政府采購評審專家；主要研究方向?yàn)橛?jì)算機(jī)實(shí)驗(yàn)實(shí)訓(xùn)教學(xué)、云計(jì)算運(yùn)維技術(shù)；主要從事大數(shù)據(jù)、云計(jì)算自動運(yùn)維方面教學(xué)工作；參與省部級科研項(xiàng)目《基于運(yùn)行大數(shù)據(jù)的工業(yè)機(jī)器人預(yù)測性維護(hù)關(guān)鍵技術(shù)研究》等項(xiàng)目3項(xiàng)；國家級在線精品課程《云計(jì)算之軟件定義網(wǎng)絡(luò)》主要成員，主要講授《云存儲技術(shù)》《Python程序設(shè)計(jì)》《云計(jì)算系統(tǒng)框架》等課程。
王璐烽，教授，世界技能大賽中國賽區(qū)裁判員、重慶市高校黃大年式教師團(tuán)隊(duì)負(fù)責(zé)人、重慶市高校中青年骨干教師、重慶市高校優(yōu)秀思想政治工作者；撰寫論文20余篇，其中SCI/EI收錄或核心期刊10余篇；主編國家十三五規(guī)劃教材1本，其余4本；主持重慶市重大教改課題1項(xiàng)，重點(diǎn)1項(xiàng)，其余5項(xiàng)；主持重慶市重大科技項(xiàng)目1項(xiàng)；主持重慶市精品在線課程1門；獲得全國職業(yè)院校信息化教學(xué)大賽一等獎，重慶市科技進(jìn)步三等獎，中國通信工業(yè)協(xié)會教學(xué)成果特等獎；指導(dǎo)學(xué)生參加全國職業(yè)院校技能大賽獲一等獎、二等獎各1次；參與教育部專業(yè)標(biāo)準(zhǔn)、1+X職業(yè)技能等級標(biāo)準(zhǔn)、重慶市人社局新職業(yè)（人工智能訓(xùn)練師）培訓(xùn)標(biāo)準(zhǔn)、考核標(biāo)準(zhǔn)等研制工作。
項(xiàng)目1 Spark集群環(huán)境搭建 1
任務(wù)1 Spark本地模式安裝 2
【任務(wù)描述】 2
【知識鏈接】 2
【任務(wù)實(shí)施】 5
任務(wù)2 Spark集群安裝及配置 7
【任務(wù)描述】 7
【知識鏈接】 7
【任務(wù)實(shí)施】 7
任務(wù)3 Spark任務(wù)提交與運(yùn)行 11
【任務(wù)描述】 11
【任務(wù)實(shí)施】 11
項(xiàng)目小結(jié) 14
項(xiàng)目拓展 14
思考與練習(xí) 14
項(xiàng)目2 Spark開發(fā)環(huán)境搭建 16
任務(wù)1 搭建Spark開發(fā)環(huán)境 17
【任務(wù)描述】 17
【知識鏈接】 17
【任務(wù)實(shí)施】 17
任務(wù)2 開發(fā)單詞統(tǒng)計(jì)程序 25
【任務(wù)描述】 25
【任務(wù)實(shí)施】 25
任務(wù)3 Spark程序部署到集群中運(yùn)行 30
【任務(wù)描述】 30
【任務(wù)實(shí)施】 30
項(xiàng)目小結(jié) 34
思考與練習(xí) 34
項(xiàng)目3 Spark RDD基本操作 35
任務(wù)1 Spark RDD轉(zhuǎn)換算子的應(yīng)用 36
【任務(wù)描述】 36
【知識鏈接】 36
【任務(wù)實(shí)施】 38
任務(wù)2 Spark RDD行動算子的應(yīng)用 49
【任務(wù)描述】 49
【知識鏈接】 49
【任務(wù)實(shí)施】 49
任務(wù)3 Spark RDD分區(qū)的應(yīng)用 52
【任務(wù)描述】 52
【知識鏈接】 52
【任務(wù)實(shí)施】 53
任務(wù)4 Spark共享變量的應(yīng)用 57
【任務(wù)描述】 57
【知識鏈接】 57
【任務(wù)實(shí)施】 58
項(xiàng)目小結(jié) 59
項(xiàng)目拓展 59
思考與練習(xí) 59
項(xiàng)目4 Spark SQL操作 61
任務(wù)1 Spark SQL入門 62
【任務(wù)描述】 62
【知識鏈接】 62
【任務(wù)實(shí)施】 62
任務(wù)2 Spark SQL基本操作 65
【任務(wù)描述】 65
【知識鏈接】 65
【任務(wù)實(shí)施】 67
任務(wù)3 Spark SQL高級應(yīng)用 78
【任務(wù)描述】 78
【任務(wù)實(shí)施】 78
項(xiàng)目小結(jié) 84
項(xiàng)目拓展 84
思考與練習(xí) 84
項(xiàng)目5 電商數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 86
任務(wù)1 電商系統(tǒng)設(shè)計(jì) 87
【任務(wù)描述】 87
【知識鏈接】 87
【任務(wù)實(shí)施】 87
任務(wù)2 電商數(shù)據(jù)分析流程 89
【任務(wù)描述】 89
【知識鏈接】 90
【任務(wù)實(shí)施】 91
項(xiàng)目小結(jié) 94
項(xiàng)目拓展 94
思考與練習(xí) 94
項(xiàng)目6 電商用戶行為分析 95
任務(wù)1 數(shù)據(jù)說明及預(yù)處理 96
【任務(wù)描述】 96
【知識鏈接】 96
【任務(wù)實(shí)施】 97
任務(wù)2 用戶訪問量分析 101
【任務(wù)描述】 101
【任務(wù)實(shí)施】 101
任務(wù)3 用戶購買行為分析 105
【任務(wù)描述】 105
【任務(wù)實(shí)施】 106
任務(wù)4 轉(zhuǎn)化率分析 111
【任務(wù)描述】 111
【任務(wù)實(shí)施】 111
項(xiàng)目小結(jié) 113
思考與練習(xí) 114
項(xiàng)目7 商品銷售分析 115
任務(wù)1 數(shù)據(jù)說明及預(yù)處理 116
【任務(wù)描述】 116
【知識鏈接】 116
【任務(wù)實(shí)施】 117
任務(wù)2 獲取基本信息 122
【任務(wù)描述】 122
【任務(wù)實(shí)施】 122
任務(wù)3 基于店鋪維度分析 124
【任務(wù)描述】 124
【任務(wù)實(shí)施】 125
任務(wù)4 基于商品維度分析 130
【任務(wù)描述】 130
【任務(wù)實(shí)施】 131
項(xiàng)目小結(jié) 134
思考與練習(xí) 134
項(xiàng)目8 電商訂單分析 135
任務(wù)1 數(shù)據(jù)說明及預(yù)處理 136
【任務(wù)描述】 136
【知識鏈接】 136
【任務(wù)實(shí)施】 137
任務(wù)2 獲取基本信息 140
【任務(wù)描述】 140
【任務(wù)實(shí)施】 140
任務(wù)3 基于時間維度分析 143
【任務(wù)描述】 143
【任務(wù)實(shí)施】 144
任務(wù)4 基于區(qū)域維度分析 148
【任務(wù)描述】 148
【任務(wù)實(shí)施】 148
項(xiàng)目小結(jié) 150
思考與練習(xí) 150
項(xiàng)目9 電商數(shù)據(jù)可視化分析 151
任務(wù)1 Superset基本操作 152
【任務(wù)描述】 152
【知識鏈接】 152
【任務(wù)實(shí)施】 153
任務(wù)2 電商用戶行為數(shù)據(jù)可視化分析 162
【任務(wù)描述】 162
【任務(wù)實(shí)施】 162
任務(wù)3 電商銷售數(shù)據(jù)可視化分析 167
【任務(wù)描述】 167
【任務(wù)實(shí)施】 167
任務(wù)4 電商訂單數(shù)據(jù)可視化分析 170
【任務(wù)描述】 170
【任務(wù)實(shí)施】 171
項(xiàng)目小結(jié) 174
項(xiàng)目拓展 174
思考與練習(xí) 175
參考文獻(xiàn) 176
書單推薦
