目錄
第一部分 大數(shù)據(jù)處理與分析理論
第1章　大數(shù)據(jù)概述 2
1.1　大數(shù)據(jù)概念 2
1.1.1 大數(shù)據(jù)定義與內(nèi)涵 2
1.1.2 大數(shù)據(jù)的特征 2
1.1.3 數(shù)據(jù)類型 4
1.2　大數(shù)據(jù)的應用 4
1.3　大數(shù)據(jù)的處理流程 7
1.3.1 大數(shù)據(jù)處理的基本流程 7
1.3.2 數(shù)據(jù)采集 7
1.3.3 數(shù)據(jù)預處理 8
1.3.4 數(shù)據(jù)統(tǒng)計分析和數(shù)據(jù)挖掘 8
1.3.5 數(shù)據(jù)可視化 10
1.4　大數(shù)據(jù)平臺技術(shù) 11
1.4.1 大數(shù)據(jù)系統(tǒng)生態(tài) 11
1.4.2 大數(shù)據(jù)存儲與管理 12
1.4.3 大數(shù)據(jù)計算與處理 15
思考題 19
本章參考文獻 19
第2章　數(shù)據(jù)獲取與預處理 21
2.1　數(shù)據(jù)獲取與預處理概述 21
2.1.1 數(shù)據(jù)獲取 21
2.1.2 數(shù)據(jù)清洗與數(shù)據(jù)轉(zhuǎn)換 22
2.1.3 數(shù)據(jù)加載 22
2.2　數(shù)據(jù)獲取技術(shù) 23
2.2.1 數(shù)據(jù)獲取技術(shù)概述 23
2.2.2 網(wǎng)絡爬蟲 24
2.3　數(shù)據(jù)預處理 28
2.3.1 數(shù)據(jù)質(zhì)量 28
2.3.2 數(shù)據(jù)清洗 29
2.3.3 數(shù)據(jù)集成 31
2.3.4 數(shù)據(jù)轉(zhuǎn)換 33
2.3.5 數(shù)據(jù)歸約 34
2.4　數(shù)據(jù)集的構(gòu)建 36
2.4.1 數(shù)據(jù)集的劃分 36
2.4.2 重抽樣方法 36
思考題 38
本章參考文獻 38
第3章　回歸分析 40
3.1　回歸分析概述 40
3.2　線性回歸 41
3.3　非線性回歸 42
3.4　分位數(shù)回歸 44
思考題 46
本章參考文獻 46
第4章　分類分析 48
4.1　分類分析概述 48
4.2　貝葉斯分類 50
4.2.1 貝葉斯分類的原理 50
4.2.2 貝葉斯分類的應用與實例 53
4.3　Logistic回歸 54
4.3.1 Logistic回歸的原理 54
4.3.2 Logistic回歸模型的訓練 55
4.3.3 帶正則項的Logistic回歸 56
4.3.4 Logistic回歸的應用 56
4.4　KNN 57
4.5　支持向量機 59
4.5.1 線性可分離數(shù)據(jù)的支持向量機 59
4.5.2 不可分離數(shù)據(jù)的支持向量機 62
4.5.3 非線性支持向量機 64
4.6　決策樹 65
4.6.1 決策樹簡介 65
4.6.2 ID3算法 66
4.6.3 C4.5算法 67
4.6.4 CART算法 69
4.7　集成學習 72
4.7.1 集成學習概述 72
4.7.2 隨機森林 73
4.7.3 AdaBoost 75
4.7.4 GBDT 76
4.7.5 XGBoost 77
4.8　分類器評估 80
思考題 84
本章參考文獻 84
第5章　聚類分析 86
5.1　聚類的特征提取 86
5.1.1 過濾器模型 87
5.1.2 包裝器模型 89
5.2　基于代表的聚類 90
5.2.1 K-Means算法 90
5.2.2 核K-Means算法 91
5.2.3 K-Medians算法 91
5.2.4 K-Medoids算法 92
5.3　層次聚類 93
5.3.1 自下而上的聚類 93
5.3.2 自上而下的聚類 96
5.4　基于網(wǎng)格和密度的聚類 97
5.4.1 基于網(wǎng)格的聚類算法 97
5.4.2 DBSCAN算法 99
5.4.3 DENCLUE算法 101
5.5　聚類的有效性 102
5.5.1 內(nèi)部驗證方法 102
5.5.2 外部驗證方法 103
思考題 104
本章參考文獻 105
第6章　深度學習 106
6.1　深度學習概述 106
6.2　BP神經(jīng)網(wǎng)絡 107
6.2.1 激活函數(shù) 107
6.2.2 BP算法的基本原理 110
6.3　卷積神經(jīng)網(wǎng)絡 113
6.3.1 從全連接到卷積 113
6.3.2 卷積層 113
6.3.3 匯聚層 117
6.3.4 典型的卷積神經(jīng)網(wǎng)絡 118
6.4　循環(huán)神經(jīng)網(wǎng)絡 122
6.4.1 RNN的展開 123
6.4.2 RNN的結(jié)構(gòu) 123
6.4.3 雙向RNN 125
6.4.4 基于門控的RNN 126
6.5　Word2Vec 128
6.6　圖神經(jīng)網(wǎng)絡 131
6.6.1 圖的概念 131
6.6.2 節(jié)點的中心性 131
6.6.3 圖嵌入 133
6.6.4 圖卷積神經(jīng)網(wǎng)絡 135
思考題 136
本章參考文獻 137
第二部分 能源系統(tǒng)與能源大數(shù)據(jù)應用
第7章　能源系統(tǒng) 140
7.1　能源的定義和分類 140
7.2　能源系統(tǒng)及其演化 144
7.2.1 能源系統(tǒng)概述 144
7.2.2 典型的能源系統(tǒng) 145
7.2.3 能源系統(tǒng)的演化 149
7.3　能源互聯(lián)網(wǎng)與智慧能源 151
7.3.1 能源互聯(lián)網(wǎng)的內(nèi)涵 151
7.3.2 能源互聯(lián)網(wǎng)的功能 155
7.3.3 能源互聯(lián)網(wǎng)的技術(shù)框架 157
7.3.4 智慧能源的內(nèi)涵 159
7.3.5 智慧能源的體系架構(gòu) 159
7.3.6 智慧能源的發(fā)展趨勢 161
思考題 163
本章參考文獻 163
第8章　能源大數(shù)據(jù)應用 164
8.1　能源大數(shù)據(jù)的內(nèi)涵 164
8.2　能源經(jīng)濟與管理大數(shù)據(jù)應用 166
8.2.1 能源經(jīng)濟與管理大數(shù)據(jù)應用概況 166
8.2.2 國內(nèi)外能源經(jīng)濟與管理大數(shù)據(jù)平臺介紹 167
8.3　煤炭大數(shù)據(jù)應用 170
8.3.1 煤炭大數(shù)據(jù)應用概況 170
8.3.2 智能礦山平臺 171
8.3.3 國內(nèi)外應用情況 176
8.4　油氣大數(shù)據(jù)應用 182
8.4.1 油氣大數(shù)據(jù)應用概況 182
8.4.2 油氣大數(shù)據(jù)體系架構(gòu) 184
8.4.3 油田應用情況 186
8.5　電力大數(shù)據(jù)應用 191
8.5.1 電力大數(shù)據(jù)應用概況 191
8.5.2 電力大數(shù)據(jù)體系架構(gòu) 193
8.5.3 國內(nèi)外應用情況 195
思考題 199
本章參考文獻 199
第三部分 能源大數(shù)據(jù)處理與分析實踐
第9章　能源經(jīng)濟與管理大數(shù)據(jù)處理與分析案例 202
9.1　能源政策文本分析 202
9.1.1 案例描述 202
9.1.2 能源政策文本數(shù)據(jù)采集 202
9.1.3 能源政策詞云圖 205
9.2　國際LNG貿(mào)易網(wǎng)絡分析 206
9.2.1 案例描述 206
9.2.2 數(shù)據(jù)預處理與圖的生成 206
9.2.3 LNG貿(mào)易網(wǎng)絡節(jié)點中心性 208
9.2.4 LNG貿(mào)易網(wǎng)絡的圖嵌入 209
第10章　煤炭大數(shù)據(jù)分析案例 211
10.1　煤炭類型識別 211
10.1.1 案例描述 211
10.1.2 實現(xiàn)步驟 211
10.1.3 程序?qū)崿F(xiàn)與結(jié)果分析 212
10.2　煤礦地震預測 215
10.2.1 案例描述 215
10.2.2 模型方法與數(shù)據(jù)集 215
10.2.3 程序?qū)崿F(xiàn)與結(jié)果分析 216
第11章　油氣大數(shù)據(jù)分析案例 219
11.1　油氣消費量的影響因素分析 219
11.1.1 案例描述 219
11.1.2 回歸分析 219
11.1.3 結(jié)果分析 221
11.2　石油管線事故損失預測 222
11.2.1 案例描述 222
11.2.2 隨機森林回歸的步驟 222
11.2.3 程序?qū)崿F(xiàn)與結(jié)果分析 223
第12章　電力大數(shù)據(jù)分析案例 226
12.1　基于LSTM方法的家庭用電量預測 226
12.1.1 案例描述 226
12.1.2 家庭用電量數(shù)據(jù)集 226
12.1.3 LSTM模型的應用與實現(xiàn) 227
12.2　基于Stacking融合方法的電網(wǎng)負荷預測 234
12.2.1 案例描述 234
12.2.2 Stacking融合方法 234
12.2.3 電網(wǎng)負荷數(shù)據(jù)集 235
12.2.4 Stacking模型的應用與實現(xiàn) 235