第1章　Python語言與數(shù)據(jù)分析
學(xué)習(xí)指南 ........1
1.1　Python語言及其特征 .................................................................................................. 2
1.1.1　Python語言的特點(diǎn) .......................................................................................... 2
1.1.2　Python語言的版本 .......................................................................................... 3
1.2　數(shù)據(jù)分析與Python語言 ............................................................................................. 4
1.2.1　Python語言在數(shù)據(jù)分析領(lǐng)域的重要地位 ....................................................... 6
1.2.2　Python語言程序代碼的編寫質(zhì)量 ................................................................... 7
1.3　面向數(shù)據(jù)分析的Python編程 ...................................................................................... 7
1.3.1　Python語言的基礎(chǔ)語法 .................................................................................. 7
1.3.2　Python的第三方工具包 .................................................................................. 8
1.3.3　Python學(xué)習(xí)或編程中常見誤區(qū) ....................................................................... 8
1.4　Python數(shù)據(jù)分析的集成開發(fā)環(huán)境 ............................................................................... 9
1.5　Python代碼的編寫與運(yùn)行實(shí)例 ................................................................................... 10
小結(jié) ....... 12
習(xí)題1.................................................................................................................. 13

第2章　Python語言基礎(chǔ)語法
學(xué)習(xí)指南............................................................................................................... 15
2.1　變量及其定義方法 .............................................................................................. 16
2.1.1　變量的定義方法 .............................................................................................. 17
2.1.2　Python是動態(tài)類型語言 .................................................................................. 17
2.1.3　Python是強(qiáng)類型語言 ...................................................................................... 18
2.1.4　Python中的變量是引用類變量 ....................................................................... 19
2.1.5　Python中區(qū)分大小寫 ...................................................................................... 19
2.1.6　變量命名規(guī)范 .................................................................................................. 19
2.1.7　iPython的特殊變量 ......................................................................................... 21
2.1.8　查看Python關(guān)鍵字的方法 ............................................................................. 21
2.1.9　查看已定義的所有變量 ................................................................................... 22
2.1.10　刪除變量 ........................................................................................................ 23
2.2　運(yùn)算符、表達(dá)式、語句 ............................................................................................... 23
2.2.1　運(yùn)算符 .................................................................................................. 23
2.2.2　語句書寫規(guī)范 .................................................................................................. 30
2.2.3　賦值語句 .......................................................................................................... 33
2.2.4　注釋語句 .......................................................................................................... 35
2.2.5　if語句 ..................................................................................................... 36
2.2.6　for語句 .................................................................................................... 39
2.2.7　while語句 ........................................................................................................ 42
2.2.8　pass語句 .......................................................................................................... 44
2.3　數(shù)據(jù)類型與數(shù)據(jù)結(jié)構(gòu) ........................................................................................ 45
2.3.1　數(shù)據(jù)類型 .......................................................................................................... 45
2.3.2　列表.......................................................................................................... 51
2.3.3　元組.................................................................................................... 61
2.3.4　字符串................................................................................................... 67
2.3.5　序列.................................................................................................... 72
2.3.6　集合.................................................................................................... 76
2.3.7　字典.................................................................................................... 80
2.4　包與模塊 ......................................................................................................... 82
2.4.1　包 .......................................................................................................... 82
2.4.2　模塊 ..................................................................................................... 86
2.5　內(nèi)置函數(shù)、模塊函數(shù)和自定義函數(shù) ........................................................................... 88
2.5.1　函數(shù) ................................................................................................. 88
2.5.2　內(nèi)置函數(shù) .......................................................................................................... 90
2.5.3　模塊函數(shù) .......................................................................................................... 93
2.5.4　自定義函數(shù) ..................................................................................... 95
小結(jié) .................................................................................................................. 104
習(xí)題2 .............................................................................................................. 104

第3章　Python語言高級語法
學(xué)習(xí)指南 ........................................................................................................ 109
3.1　迭代器與可迭代對象 ................................................................................................... 109
3.1.1　可迭代對象 ................................................................................. 111
3.1.2　迭代器 .................................................................................................. 111
3.2　生成器與裝飾器 .......................................................................................................... 112
3.2.1　生成器 .............................................................................................................. 112
3.2.2　裝飾器 .............................................................................................................. 113
3.3　查閱幫助 ...................................................................................................................... 115
3.3.1　help函數(shù) .......................................................................................................... 116
3.3.2　docString .......................................................................................................... 116
3.3.3　查看源代碼 ........................................................................................... 117
3.3.4　doc屬性 ........................................................................................................... 118
3.3.5　dir()函數(shù) .......................................................................................................... 118
3.3.6　其他方法 .......................................................................................................... 119
3.4　異常處理、斷言與程序調(diào)試 ....................................................................................... 119
3.4.1　try/except/finally .............................................................................................. 121
3.4.2　異常/錯誤信息的顯示模式 ............................................................................. 122
3.4.3　斷言與檢查點(diǎn)的設(shè)置 ....................................................................................... 123
3.4.4　調(diào)試程序的基本方法 ....................................................................................... 124
3.5　數(shù)據(jù)文件的讀寫 .......................................................................................................... 127
3.5.1　搜索路徑 .......................................................................................................... 128
3.5.2　當(dāng)前工作目錄 .................................................................................................. 130
3.5.3　文件讀寫方法 .................................................................................................. 131
3.6　面向?qū)ο缶幊?.............................................................................................................. 131
3.6.1　類的定義方法 .................................................................................................. 132
3.6.2　類中的特殊方法 .............................................................................................. 133
3.6.3　類之間的繼承關(guān)系........................................................................................... 135
3.6.4　私有屬性及@property裝飾器 ........................................................................ 136
3.6.5　self和cls ......................................................................................................... 136
3.6.6　new與init的區(qū)別和聯(lián)系 ................................................................................ 137
小結(jié) ....................................................................................................................................... 138
習(xí)題3 ................................................................................................................... 139

第4章　數(shù)據(jù)準(zhǔn)備與加工
學(xué)習(xí)指南 ............................................................................................................................... 141
4.1　隨機(jī)數(shù) .......................................................................................................................... 141
4.1.1　一次生成一個隨機(jī)數(shù) ....................................................................................... 142
4.1.2　一次生成一個隨機(jī)數(shù)組 ................................................................................... 143
4.2　多維數(shù)組 ...................................................................................................................... 144
4.2.1　創(chuàng)建方法 .......................................................................................................... 147
4.2.2　主要特征 .......................................................................................................... 148
4.2.3　切片讀取 .......................................................................................................... 149
4.2.4　淺拷貝和深拷貝 .............................................................................................. 153
4.2.5　形狀與重構(gòu) ...................................................................................................... 153
4.2.6　屬性計(jì)算 .......................................................................................................... 156
4.2.7　ndarray的計(jì)算 ................................................................................................. 157
4.2.8　ndarray的元素類型 ......................................................................................... 158
4.2.9　插入與刪除 ...................................................................................................... 159
4.2.10　缺失值處理 .................................................................................................... 160
4.2.11　ndarray的廣播規(guī)則 ....................................................................................... 160
4.2.12　ndarray的排序 ............................................................................................... 162
4.3　數(shù)據(jù)框 .......................................................................................................................... 162
4.3.1　創(chuàng)建方法 .......................................................................................................... 164
4.3.2　查看行或列 ...................................................................................................... 165
4.3.3　切片方法 .......................................................................................................... 166
4.3.4　索引操作 .......................................................................................................... 168
4.3.5　刪除或過濾行/列 ........................................................................................... 169
4.3.6　算術(shù)運(yùn)算 .......................................................................................................... 172
4.3.7　描述性統(tǒng)計(jì) ...................................................................................................... 174
4.3.8　數(shù)據(jù)排序 .......................................................................................................... 176
4.3.9　導(dǎo)入/導(dǎo)出 ....................................................................................................... 177
4.3.10　缺失數(shù)據(jù)處理 ................................................................................................ 178
4.3.11　分組統(tǒng)計(jì) ........................................................................................................ 182
4.4　Key-Value型數(shù)據(jù) ........................................................................................................ 183
4.4.1　Series的主要特點(diǎn) ............................................................................................ 184
4.4.2　Series的定義方法 ............................................................................................ 185
4.4.3　Series的操作方法 ............................................................................................ 187
4.5　時間與日期類型數(shù)據(jù) ................................................................................................... 189
4.5.1　定義方法 .......................................................................................................... 190
4.5.2　轉(zhuǎn)換方法 .......................................................................................................... 192
4.5.3　顯示系統(tǒng)當(dāng)前時間........................................................................................... 193
4.5.4　計(jì)算時差 .......................................................................................................... 194
4.5.5　時間索引 .......................................................................................................... 194
4.5.6　period_range()函數(shù) ......................................................................................... 196
4.6　數(shù)據(jù)可視化 ........................................................................... 196
4.6.1　Matplotlib 可視化 ............................................................................................ 197
4.6.2　改變圖的屬性 .................................................................................................. 199
4.6.3　改變圖的類型 .................................................................................................. 201
4.6.4　改變圖的坐標(biāo)軸的取值范圍 ........................................................................... 202
4.6.5　去掉邊界的空白 .............................................................................................. 203
4.6.6　在同一個坐標(biāo)上畫兩個圖 ............................................................................... 204
4.6.7　多圖顯示 .......................................................................................................... 205
4.6.8　圖的保存 .......................................................................................................... 205
4.6.9　散點(diǎn)圖的畫法 .................................................................................................. 206
4.6.10　Pandas可視化 ................................................................................................ 206
4.6.11　Seaborn可視化 .............................................................................................. 208
4.6.12　教師工資收入的可視化分析 ......................................................................... 211
小結(jié) ....................................................................................................................................... 212
習(xí)題4 ......................................................................................................... 212

第5章　數(shù)據(jù)分析算法與模型
學(xué)習(xí)指南 ............................................................................................................................... 215
5.1　基于Python的統(tǒng)計(jì)學(xué)編程.......................................................................................... 215
5.1.1　女性身高數(shù)據(jù)的回歸分析 ............................................................................... 217
5.1.2 　廣告投放及銷售額分析.................................................................................. 226
5.2　基于Python的機(jī)器學(xué)習(xí)編程 ...................................................................................... 230
5.2.1　威斯康星乳腺癌數(shù)據(jù)分析及自動診斷 ........................................................... 231
5.2.2　不同國家蛋白質(zhì)消費(fèi)結(jié)構(gòu)分析 ....................................................................... 238
小結(jié) ....................................................................................................................................... 244
習(xí)題5 .................................................................................................................................... 245

第6章　自然語言處理與圖像處理
學(xué)習(xí)指南 ............................................................................................................................... 247
6.1　自然語言處理 .............................................................................................................. 248
6.1.1 　自然語言處理的常用包.................................................................................. 248
6.1.2　自然語言處理的包導(dǎo)入與設(shè)置 ....................................................................... 248
6.1.3　數(shù)據(jù)讀入 .......................................................................................................... 249
6.1.4　分詞處理 .......................................................................................................... 249
6.1.5　自定義詞匯 ...................................................................................................... 250
6.1.6　停用詞處理 ...................................................................................................... 253
6.1.7　詞性分布分析 .................................................................................................. 254
6.1.8　高頻詞分析 ...................................................................................................... 255
6.1.9　詞頻統(tǒng)計(jì) .......................................................................................................... 256
6.1.10　關(guān)鍵詞分析 .................................................................................................... 258
6.1.11　生成詞云 ........................................................................................................ 258
6.2　人臉識別與圖像處理 ................................................................................................... 260
6.2.1　安裝并導(dǎo)入opencv-python包 ......................................................................... 260
6.2.2　讀取圖像文件 .................................................................................................. 261
6.2.3　將RGB圖像轉(zhuǎn)換為灰度圖 ............................................................................. 261
6.2.4　人臉檢測與繪制長方形 ................................................................................... 262
6.2.5　圖像顯示 .......................................................................................................... 263
6.2.6　圖像保存 .......................................................................................................... 263
小結(jié) ....................................................................................................................................... 263
習(xí)題6 .................................................................................................................................... 263