Python網(wǎng)絡(luò)爬蟲(chóng)技術(shù)手冊(cè)：基礎(chǔ)·實(shí)戰(zhàn)·強(qiáng)化
《Python網(wǎng)絡(luò)爬蟲(chóng)技術(shù)手冊(cè)：基礎(chǔ)·實(shí)戰(zhàn)·強(qiáng)化》是“計(jì)算機(jī)科學(xué)與技術(shù)手冊(cè)系列”圖書(shū)之一，該系列圖書(shū)內(nèi)容全面，以理論聯(lián)系實(shí)際、能學(xué)到并做到為宗旨，以技術(shù)為核心，以案例為輔助，引領(lǐng)讀者全面學(xué)習(xí)基礎(chǔ)技術(shù)、代碼編寫(xiě)方法和具體應(yīng)用項(xiàng)目，旨在為想要進(jìn)入相應(yīng)領(lǐng)域或者已經(jīng)在該領(lǐng)域深耕多年的技術(shù)人員提供新而全的技術(shù)性?xún)?nèi)容及案例。
本書(shū)是一本側(cè)重編程基礎(chǔ)+實(shí)踐的Python爬蟲(chóng)圖書(shū)，從基礎(chǔ)、實(shí)戰(zhàn)、強(qiáng)化三個(gè)層次循序漸進(jìn)地介紹了網(wǎng)絡(luò)爬蟲(chóng)入門(mén)必備知識(shí)：基礎(chǔ)篇主要講解網(wǎng)絡(luò)爬蟲(chóng)的基礎(chǔ)內(nèi)容；實(shí)戰(zhàn)篇主要講解目前應(yīng)用最廣的各類(lèi)數(shù)據(jù)庫(kù)爬蟲(chóng)相關(guān)技術(shù)和案例；強(qiáng)化篇結(jié)合數(shù)據(jù)庫(kù)、數(shù)據(jù)分析、可視化等進(jìn)行大型項(xiàng)目綜合實(shí)戰(zhàn)練習(xí)。本書(shū)內(nèi)容充實(shí)，給讀者提供了較為豐富全面的技術(shù)支持和案例強(qiáng)化，通過(guò)各種示例將學(xué)習(xí)與應(yīng)用相結(jié)合，打造輕松學(xué)習(xí)、零壓力學(xué)習(xí)的環(huán)境，通過(guò)案例對(duì)所學(xué)知識(shí)進(jìn)行綜合應(yīng)用，通過(guò)開(kāi)發(fā)實(shí)際項(xiàng)目將網(wǎng)絡(luò)爬蟲(chóng)的各項(xiàng)技能應(yīng)用到實(shí)際工作中，幫助讀者實(shí)現(xiàn)學(xué)以致用，快速掌握網(wǎng)絡(luò)爬蟲(chóng)的各項(xiàng)技能。
本書(shū)提供豐富的資源，包含109個(gè)實(shí)例、13個(gè)實(shí)戰(zhàn)案例、2個(gè)應(yīng)用強(qiáng)化項(xiàng)目，力求為讀者打造一本基礎(chǔ)+實(shí)戰(zhàn)+強(qiáng)化一體化的、精彩的Python網(wǎng)絡(luò)爬蟲(chóng)圖書(shū)。
本書(shū)不僅適合初學(xué)者、數(shù)據(jù)采集相關(guān)技術(shù)人員、對(duì)數(shù)據(jù)感興趣的人員，而且適合從事其他崗位想掌握一定的數(shù)據(jù)采集能力的職場(chǎng)人員閱讀參考。
第1篇 基礎(chǔ)篇
第1章 爬蟲(chóng)基礎(chǔ)
1.1 什么是網(wǎng)絡(luò)爬蟲(chóng) 2
1.2 網(wǎng)絡(luò)爬蟲(chóng)的分類(lèi) 3
1.3 網(wǎng)絡(luò)爬蟲(chóng)的原理 3
1.4 HTTP基本原理 3
1.4.1 什么是URL 3
1.4.2 HTTP協(xié)議 4
1.4.3 HTTP與Web服務(wù)器 4
1.4.4 瀏覽器中的請(qǐng)求和響應(yīng) 5
1.5 網(wǎng)頁(yè)的基本結(jié)構(gòu) 6
1.5.1 了解HTML 6
1.5.2 了解CSS 6
1.5.3 了解JavaScript 8
第2章 搭建網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)環(huán)境
2.1 Anaconda的安裝 10
2.2 下載與安裝PyCharm 13
2.3 配置PyCharm 16
2.4 測(cè)試PyCharm 18
第3章 網(wǎng)絡(luò)請(qǐng)求urllib模塊
3.1 了解urllib 20
3.2 發(fā)送網(wǎng)絡(luò)請(qǐng)求 20
3.2.1 發(fā)送GET請(qǐng)求 21
實(shí)例3.1 演示常用的方法與屬性 21
3.2.2 發(fā)送POST請(qǐng)求 22
實(shí)例3.2 發(fā)送POST請(qǐng)求 22
3.2.3 請(qǐng)求超時(shí) 22
實(shí)例3.3 處理網(wǎng)絡(luò)超時(shí) 23
3.2.4 設(shè)置請(qǐng)求頭 23
實(shí)例3.4 設(shè)置請(qǐng)求頭 24
3.2.5 獲取與設(shè)置Cookie 25
實(shí)例3.5 模擬登錄 25
實(shí)例3.6 獲取Cookie 27
實(shí)例3.7 保存Cookie文件 27
實(shí)例3.8 獲取登錄后頁(yè)面中的信息 28
3.2.6 代理IP的設(shè)置 29
實(shí)例3.9 設(shè)置代理IP 29
3.3 處理請(qǐng)求異常 29
實(shí)例3.10 處理URLError異常 29
實(shí)例3.11 使用HTTPError類(lèi)捕獲異常 30
實(shí)例3.12 雙重異常的捕獲 31
3.4 解析URL 31
3.4.1 URL的拆分（urlparse、urlsplit） 31
實(shí)例3.13 使用urlparse()方法拆分URL 32
實(shí)例3.14 使用urlsplit()方法拆分URL 32
3.4.2 URL的組合（urlunparse、urlunsplit） 33
實(shí)例3.15 使用urlunparse()方法組合URL 33
實(shí)例3.16 使用urlunsplit()方法組合URL 34
3.4.3 URL的連接（urljoin） 34
實(shí)例3.17 使用urljoin()方法連接URL 34
3.4.4 URL的編碼與解碼（urlencode、quote、unquote） 35
實(shí)例3.18 使用urlencode()方法編碼請(qǐng)求參數(shù) 35
實(shí)例3.19 使用quote()方法編碼字符串參數(shù) 35
實(shí)例3.20 使用unquote()方法解碼請(qǐng)求參數(shù) 36
3.4.5 URL的參數(shù)轉(zhuǎn)換 36
實(shí)例3.21 使用parse_qs()方法將參數(shù)轉(zhuǎn)換為字典類(lèi)型 36
實(shí)例3.22 使用parse_qsl()方法將參數(shù)轉(zhuǎn)換為元組所組成的列表 36
3.5 綜合案例——爬取“百度熱搜” 37
3.5.1 分析數(shù)據(jù) 37
3.5.2 實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲(chóng) 37
3.6 實(shí)戰(zhàn)練習(xí) 39
第4章 網(wǎng)絡(luò)請(qǐng)求urllib3模塊
4.1 了解urllib3 40
4.2 發(fā)送網(wǎng)絡(luò)請(qǐng)求 41
4.2.1 發(fā)送GET請(qǐng)求 41
實(shí)例4.1 發(fā)送GET請(qǐng)求 41
實(shí)例4.2 發(fā)送多個(gè)請(qǐng)求 41
4.2.2 發(fā)送POST請(qǐng)求 42
實(shí)例4.3 發(fā)送POST請(qǐng)求 42
4.2.3 重試請(qǐng)求 43
實(shí)例4.4 重試請(qǐng)求 43
4.2.4 獲得響應(yīng)內(nèi)容 43
實(shí)例4.5 獲取響應(yīng)頭信息 43
實(shí)例4.6 處理服務(wù)器返回的JSON信息 44
實(shí)例4.7 處理服務(wù)器返回二進(jìn)制數(shù)據(jù) 44
4.2.5 設(shè)置請(qǐng)求頭 45
實(shí)例4.8 設(shè)置請(qǐng)求頭 45
4.2.6 設(shè)置超時(shí) 46
實(shí)例4.9 設(shè)置超時(shí) 46
4.2.7 設(shè)置代理IP 47
實(shí)例4.10 設(shè)置代理IP 47
4.3 上傳文件 47
實(shí)例4.11 上傳文本文件 47
實(shí)例4.12 上傳圖片文件 48
4.4 綜合案例——爬取必應(yīng)壁紙 48
4.4.1 分析數(shù)據(jù) 48
4.4.2 實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲(chóng) 49
4.5 實(shí)戰(zhàn)練習(xí) 51
第5章 網(wǎng)絡(luò)請(qǐng)求requests模塊
5.1 基本請(qǐng)求方式 52
5.1.1 發(fā)送GET請(qǐng)求 53
實(shí)例5.1 發(fā)送GET請(qǐng)求不帶參數(shù) 53
5.1.2 設(shè)置編碼 53
實(shí)例5.2 獲取網(wǎng)頁(yè)源碼 53
5.1.3 二進(jìn)制數(shù)據(jù)的爬取 54
實(shí)例5.3 下載百度logo圖片 54
5.1.4 發(fā)送GET（帶參數(shù)）請(qǐng)求 54
5.1.5 發(fā)送POST請(qǐng)求 55
實(shí)例5.4 發(fā)送POST請(qǐng)求 55
5.2 高級(jí)請(qǐng)求方式 56
5.2.1 設(shè)置請(qǐng)求頭 56
實(shí)例5.5 設(shè)置請(qǐng)求頭 56
5.2.2 Cookie的驗(yàn)證 57
實(shí)例5.6 模擬豆瓣登錄 57
5.2.3 會(huì)話(huà)請(qǐng)求 58
實(shí)例5.7 會(huì)話(huà)請(qǐng)求 58
5.2.4 驗(yàn)證請(qǐng)求 58
實(shí)例5.8 驗(yàn)證請(qǐng)求 59
5.2.5 網(wǎng)絡(luò)超時(shí)與異常 59
實(shí)例5.9 網(wǎng)絡(luò)超時(shí)與異常 59
實(shí)例5.10 判斷網(wǎng)絡(luò)異常 60
5.2.6 文件上傳 60
實(shí)例5.11 上傳圖片文件 60
5.2.7 代理的應(yīng)用 61
實(shí)例5.12 使用代理IP發(fā)送請(qǐng)求 61
5.3 綜合案例——爬取糗事百科（視頻） 62
5.3.1 分析數(shù)據(jù) 62
5.3.2 實(shí)現(xiàn)爬蟲(chóng) 63
5.4 實(shí)戰(zhàn)練習(xí) 64
第6章 requests模塊的兩大擴(kuò)展
6.1 安裝requests-cache模塊 65
6.2 爬蟲(chóng)緩存的應(yīng)用 66
6.3 多功能requests-html模塊 68
6.3.1 發(fā)送網(wǎng)絡(luò)請(qǐng)求 68
6.3.2 提取數(shù)據(jù) 70
實(shí)例6.1 爬取即時(shí)新聞 70
6.3.3 獲取動(dòng)態(tài)渲染的數(shù)據(jù) 73
實(shí)例6.2 獲取動(dòng)態(tài)渲染的數(shù)據(jù) 73
6.4 綜合案例——爬取百度天氣 75
6.4.1 分析數(shù)據(jù) 75
6.4.2 實(shí)現(xiàn)爬蟲(chóng) 76
6.5 實(shí)戰(zhàn)練習(xí) 77
第7章 正則表達(dá)式解析
7.1 通過(guò)search()匹配字符串 78
7.1.1 匹配指定開(kāi)頭的字符串 79
實(shí)例7.1 搜索第一個(gè)以“mr_”開(kāi)頭的字符串 79
7.1.2 可選匹配字符串中的內(nèi)容 79
實(shí)例7.2 可選匹配字符串中的內(nèi)容 79
7.1.3 使用“\b”匹配字符串的邊界 80
實(shí)例7.3 使用“\b”匹配字符串的邊界 80
7.2 通過(guò)findall()匹配字符串 80
7.2.1 匹配所有以指定字符開(kāi)頭的字符串 81
實(shí)例7.4 匹配所有以“mr_”開(kāi)頭的字符串 81
7.2.2 貪婪匹配法 81
實(shí)例7.5 使用“.*”實(shí)現(xiàn)貪婪匹配字符串 81
7.2.3 非貪婪匹配法 82
實(shí)例7.6 使用“.*？”實(shí)現(xiàn)非貪婪匹配字符串 82
7.3 處理字符串 83
7.3.1 使用sub()方法替換字符串 83
實(shí)例7.7 使用sub()方法替換字符串 83
7.3.2 使用split()方法分割字符串 84
實(shí)例7.8 使用split()方法分割字符串 84
7.4 綜合案例——爬取QQ音樂(lè)熱歌榜 85
7.4.1 分析數(shù)據(jù) 85
7.4.2 實(shí)現(xiàn)爬蟲(chóng) 85
7.5 實(shí)戰(zhàn)練習(xí) 86
第8章 lxml解析模塊
8.1 了解XPath 87
8.2 XPath的基本操作 88
8.2.1 HTML的解析 88
實(shí)例8.1 解析本地的HTML文件 88
實(shí)例8.2 解析字符串類(lèi)型的HTML代碼 88
實(shí)例8.3 解析服務(wù)器返回的HTML代碼 89
8.2.2 獲取所有標(biāo)簽 90
實(shí)例8.4 獲取HTML代碼的所有標(biāo)簽 90
8.2.3 獲取子標(biāo)簽 91
實(shí)例8.5 獲取一個(gè)標(biāo)簽中的子標(biāo)簽 91
實(shí)例8.6 獲取子孫標(biāo)簽 92
8.2.4 獲取父標(biāo)簽 92
實(shí)例8.7 獲取一個(gè)標(biāo)簽的父標(biāo)簽 92
8.2.5 獲取文本 93
實(shí)例8.8 獲取HTML代碼中的文本 93
8.2.6 屬性匹配 94
實(shí)例8.9 使用“[@...]”實(shí)現(xiàn)標(biāo)簽屬性的匹配 94
實(shí)例8.10 屬性多值匹配 94
實(shí)例8.11 一個(gè)標(biāo)簽中多個(gè)屬性的匹配 95
8.2.7 獲取屬性值 96
實(shí)例8.12 獲取屬性所對(duì)應(yīng)的值 96
實(shí)例8.13 使用索引按序獲取屬性對(duì)應(yīng)的值 97
8.2.8 使用標(biāo)簽軸獲取標(biāo)簽內(nèi)容 98
實(shí)例8.14 使用標(biāo)簽軸的方式獲取標(biāo)簽內(nèi)容 98
8.3 綜合案例——爬取豆瓣新書(shū)速遞 99
8.3.1 分析數(shù)據(jù) 99
8.3.2 實(shí)現(xiàn)爬蟲(chóng) 99
8.4 實(shí)戰(zhàn)練習(xí) 100
第9章 BeautifulSoup解析模塊
9.1 BeautifulSoup的基礎(chǔ)應(yīng)用 101
9.1.1 安裝BeautifulSoup 101
9.1.2 解析器的區(qū)別 102
9.1.3 解析HTML 103
實(shí)例9.1 解析HTML代碼 103
9.2 獲取標(biāo)簽內(nèi)容 103
9.2.1 獲取標(biāo)簽對(duì)應(yīng)的代碼 104
實(shí)例9.2 獲取標(biāo)簽對(duì)應(yīng)的代碼 104
9.2.2 獲取標(biāo)簽屬性 105
實(shí)例9.3 獲取標(biāo)簽屬性 105
9.2.3 獲取標(biāo)簽內(nèi)的文本 106
9.2.4 嵌套獲取標(biāo)簽內(nèi)容 106
實(shí)例9.4 嵌套獲取標(biāo)簽內(nèi)容 106
9.2.5 關(guān)聯(lián)獲取 107
實(shí)例9.5 獲取子標(biāo)簽 107
實(shí)例9.6 獲取子孫標(biāo)簽 108
實(shí)例9.7 獲取父標(biāo)簽 109
實(shí)例9.8 獲取兄弟標(biāo)簽 109
9.3 利用方法獲取內(nèi)容 111
9.3.1 find_all()方法 111
實(shí)例9.9 find_all(name)通過(guò)標(biāo)簽名稱(chēng)獲取內(nèi)容 111
實(shí)例9.10 find_all(attrs)通過(guò)指定屬性獲取內(nèi)容 112
實(shí)例9.11 find_all(text)獲取標(biāo)簽中的文本 112
9.3.2 find()方法 113
實(shí)例9.12 獲取第一個(gè)匹配的標(biāo)簽內(nèi)容 113
9.3.3 其他方法 114
9.4 CSS選擇器 114
實(shí)例9.13 使用CSS選擇器獲取標(biāo)簽內(nèi)容 115
9.5 綜合案例——爬取百度貼吧（熱議榜） 116
9.5.1 分析數(shù)據(jù) 116
9.5.2 實(shí)現(xiàn)爬蟲(chóng) 116
9.6 實(shí)戰(zhàn)練習(xí) 117
第10章 爬取動(dòng)態(tài)渲染的數(shù)據(jù)
10.1 selenium模塊 118
10.1.1 配置selenium環(huán)境 118
10.1.2 下載瀏覽器驅(qū)動(dòng) 119
10.1.3 selenium的應(yīng)用 119
實(shí)例10.1 獲取京東商品信息 119
10.1.4 selenium的常用方法 120
10.2 Splash服務(wù) 121
10.2.1 搭建Splash環(huán)境 122
10.2.2 Splash的API接口 123
實(shí)例10.2 獲取百度首頁(yè)logo圖片的鏈接 123
實(shí)例10.3 獲取百度首頁(yè)截圖 124
實(shí)例10.4 獲取請(qǐng)求頁(yè)面的json信息 125
10.2.3 自定義lua腳本 125
實(shí)例10.5 獲取百度渲染后的HTML代碼 125
10.3 綜合案例——爬取豆瓣閱讀（連載榜） 127
10.3.1 分析數(shù)據(jù) 127
10.3.2 實(shí)現(xiàn)爬蟲(chóng) 128
10.4 實(shí)戰(zhàn)練習(xí) 128
第11章 數(shù)據(jù)清洗與文件存儲(chǔ)
11.1 使用pandas進(jìn)行數(shù)據(jù)清洗 130
11.1.1 常見(jiàn)的兩種數(shù)據(jù)結(jié)構(gòu) 130
11.1.2 pandas數(shù)據(jù)的基本操作 134
11.1.3 處理NaN數(shù)據(jù) 138
11.1.4 重復(fù)數(shù)據(jù)的篩選 140
11.2 常見(jiàn)文件的基本操作 142
11.2.1 存取TXT文件 142
實(shí)例11.1 TXT文件存儲(chǔ) 143
實(shí)例11.2 讀取message.txt文件中的前9個(gè)字符 143
實(shí)例11.3 從文件的第14個(gè)字符開(kāi)始讀取8個(gè)字符 144
實(shí)例11.4 讀取一行 144
實(shí)例11.5 讀取全部行 145
11.2.2 存取CSV文件 146
11.2.3 存取Excel文件 148
11.3 綜合案例——爬取豆瓣小組（討論精選） 148
11.3.1 分析數(shù)據(jù) 149
11.3.2 實(shí)現(xiàn)爬蟲(chóng) 149
11.4 實(shí)戰(zhàn)練習(xí) 149
第12章 數(shù)據(jù)庫(kù)存儲(chǔ)
12.1 SQLite數(shù)據(jù)庫(kù) 151
12.1.1 創(chuàng)建數(shù)據(jù)庫(kù)文件 151
12.1.2 操作SQLite 152
12.2 MySQL數(shù)據(jù)庫(kù) 153
12.2.1 下載MySQL 153
12.2.2 安裝MySQL服務(wù)器 154
12.2.3 配置MySQL 158
12.2.4 安裝PyMySQL數(shù)據(jù)庫(kù)操作模塊 159
12.2.5 數(shù)據(jù)庫(kù)的連接 160
實(shí)例12.1 連接數(shù)據(jù)庫(kù) 160
12.2.6 數(shù)據(jù)表的創(chuàng)建 160
實(shí)例12.2 創(chuàng)建數(shù)據(jù)表 161
12.2.7 數(shù)據(jù)表的基本操作 161
實(shí)例12.3 操作數(shù)據(jù)表 161
12.3 綜合案例——爬取下廚房（家常菜單） 162
12.3.1 分析數(shù)據(jù) 162
12.3.2 實(shí)現(xiàn)爬蟲(chóng) 162
12.4 實(shí)戰(zhàn)練習(xí) 164
第13章 App抓包
13.1 下載與安裝Charles抓包工具 165
13.2 PC端證書(shū)的安裝 167
13.3 設(shè)置SSL代理 169
13.4 網(wǎng)絡(luò)配置 169
13.5 手機(jī)證書(shū)的安裝 170
13.6 綜合案例——抓取手機(jī)微信新聞的地址 172
13.7 實(shí)戰(zhàn)練習(xí) 173
第14章 驗(yàn)證碼識(shí)別
14.1 字符驗(yàn)證碼 174
14.1.1 配置OCR 174
14.1.2 下載驗(yàn)證碼圖片 175
實(shí)例14.1 下載驗(yàn)證碼圖片 175
14.1.3 識(shí)別圖片驗(yàn)證碼 176
實(shí)例14.2 識(shí)別圖片驗(yàn)證碼 176
14.2 第三方驗(yàn)證碼識(shí)別 178
實(shí)例14.3 第三方打碼平臺(tái) 178
14.3 滑動(dòng)拼圖驗(yàn)證碼 181
實(shí)例14.4 滑動(dòng)拼圖驗(yàn)證碼 181
14.4 綜合案例——識(shí)別隨機(jī)生成的驗(yàn)證碼 182
14.5 實(shí)戰(zhàn)練習(xí) 183
第15章 Scrapy爬蟲(chóng)框架的基本應(yīng)用
15.1 了解Scrapy爬蟲(chóng)框架 184
15.2 配置Scrapy爬蟲(chóng)框架 185
15.2.1 使用Anaconda安裝Scrapy 185
15.2.2 Windows系統(tǒng)下配置Scrapy 186
15.3 Scrapy的基本用法 187
15.3.1 創(chuàng)建項(xiàng)目 187
15.3.2 創(chuàng)建爬蟲(chóng) 188
實(shí)例15.1 爬取網(wǎng)頁(yè)代碼并保存HTML文件 188
15.3.3 提取數(shù)據(jù) 190
實(shí)例15.2 使用XPath表達(dá)式獲取多條信息 191
實(shí)例15.3 翻頁(yè)提取數(shù)據(jù) 191
實(shí)例15.4 包裝結(jié)構(gòu)化數(shù)據(jù) 192
15.4 綜合案例——爬取NBA得分排名 192
15.4.1 分析數(shù)據(jù) 193
15.4.2 實(shí)現(xiàn)爬蟲(chóng) 193
15.5 實(shí)戰(zhàn)練習(xí) 194
第16章 Scrapy爬蟲(chóng)框架的高級(jí)應(yīng)用
16.1 編寫(xiě)Item Pipeline 195
16.1.1 Item Pipeline的核心方法 195
16.1.2 將信息存儲(chǔ)到數(shù)據(jù)庫(kù)中 196
實(shí)例16.1 將京東數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)庫(kù) 196
16.2 文件下載 199
實(shí)例16.2 下載京東外設(shè)商品圖片 200
16.3 自定義中間件 201
16.3.1 設(shè)置隨機(jī)請(qǐng)求頭 201
實(shí)例16.3 設(shè)置隨機(jī)請(qǐng)求頭 202
16.3.2 設(shè)置Cookies 203
實(shí)例16.4 通過(guò)Cookies模擬自動(dòng)登錄 204
16.3.3 設(shè)置代理IP 205
實(shí)例16.5 隨機(jī)代理中間件 206
16.4 綜合案例——爬取NBA球員資料 207
16.4.1 分析數(shù)據(jù) 207
16.4.2 實(shí)現(xiàn)爬蟲(chóng) 208
16.5 實(shí)戰(zhàn)練習(xí) 211
第2篇 實(shí)戰(zhàn)篇
第17章 基于正則表達(dá)式爬取編程e學(xué)網(wǎng)視頻(requests+re)
17.1 案例效果預(yù)覽 213
17.2 案例準(zhǔn)備 214
17.3 業(yè)務(wù)流程 214
17.4 實(shí)現(xiàn)過(guò)程 214
17.4.1 查找視頻頁(yè)面 214
17.4.2 分析視頻地址 215
17.4.3 實(shí)現(xiàn)視頻下載 215
第18章 基于正則表達(dá)式爬取免費(fèi)代理IP(requests+pandas+re+random)
18.1 案例效果預(yù)覽 217
18.2 案例準(zhǔn)備 218
18.3 業(yè)務(wù)流程 218
18.4 實(shí)現(xiàn)過(guò)程 219
18.4.1 分析請(qǐng)求地址 219
18.4.2 確認(rèn)數(shù)據(jù)所在位置 219
18.4.3 爬取代理IP并保存 220
18.4.4 檢測(cè)代理IP 221
第19章 基于beautifulsoup4爬取酷狗TOP500音樂(lè)榜單(requests+bs4+time+random)
19.1 案例效果預(yù)覽 224
19.2 案例準(zhǔn)備 225
19.3 業(yè)務(wù)流程 225
19.4 實(shí)現(xiàn)過(guò)程 225
19.4.1 分析每頁(yè)的請(qǐng)求地址 225
19.4.2 分析信息所在標(biāo)簽位置 226
19.4.3 編寫(xiě)爬蟲(chóng)代碼 227
第20章 基于beautifulsoup4爬取段子網(wǎng)(requests+beautifulsoup4+time+random)
20.1 案例效果預(yù)覽 229
20.2 案例準(zhǔn)備 230
20.3 業(yè)務(wù)流程 230
20.4 實(shí)現(xiàn)過(guò)程 230
20.4.1 分析每頁(yè)請(qǐng)求地址 230
20.4.2 分析詳情頁(yè)請(qǐng)求地址 231
20.4.3 確認(rèn)段子各種信息的HTML代碼位置 232
20.4.4 編寫(xiě)爬蟲(chóng)代碼 232
第21章 基于beautifulsoup4爬取汽車(chē)之家圖片(beautifulsoup4+Pillow+PyQt5+urllib)
21.1 案例效果預(yù)覽 234
21.2 案例準(zhǔn)備 235
21.3 業(yè)務(wù)流程 235
21.4 實(shí)現(xiàn)過(guò)程 236
21.4.1 登錄窗體 236
21.4.2 設(shè)計(jì)主窗體 237
21.4.3 編寫(xiě)爬蟲(chóng) 237
21.4.4 啟動(dòng)爬蟲(chóng) 239
21.4.5 查看原圖 241
第22章 使用多進(jìn)程爬取電影資源(requests+bs4+multiprocessing +re+time)
22.1 案例效果預(yù)覽 242
22.2 案例準(zhǔn)備 242
22.3 業(yè)務(wù)流程 243
22.4 實(shí)現(xiàn)過(guò)程 243
22.4.1 分析請(qǐng)求地址 243
22.4.2 爬取電影詳情頁(yè)地址 244
22.4.3 爬取電影信息與下載地址 245
第23章 基于多進(jìn)程實(shí)現(xiàn)二手房數(shù)據(jù)查詢(xún)(requests_html+pandas+matplotlib+multiprocessing)
23.1 案例效果預(yù)覽 248
23.2 案例準(zhǔn)備 249
23.3 業(yè)務(wù)流程 249
23.4 實(shí)現(xiàn)過(guò)程 250
23.4.1 確認(rèn)二手房數(shù)據(jù)位置 250
23.4.2 二手房數(shù)據(jù)的爬取 251
23.4.3 數(shù)據(jù)可視化顯示 253
第24章 基于動(dòng)態(tài)渲染頁(yè)面爬取京東圖書(shū)銷(xiāo)量排行榜(requests_html+sqlite3+os)
24.1 案例效果預(yù)覽 256
24.2 案例準(zhǔn)備 257
24.3 業(yè)務(wù)流程 257
24.4 實(shí)現(xiàn)過(guò)程 257
24.4.1 分析請(qǐng)求地址 257
24.4.2 確認(rèn)數(shù)據(jù)在網(wǎng)頁(yè)HTML代碼中的位置 257
24.4.3 編寫(xiě)爬蟲(chóng)程序 258
第25章 爬取中關(guān)村在線(xiàn)中的手機(jī)數(shù)據(jù)(requests_html+pymysql+random+time)
25.1 案例效果預(yù)覽 260
25.2 案例準(zhǔn)備 260
25.3 業(yè)務(wù)流程 261
25.4 實(shí)現(xiàn)過(guò)程 261
25.4.1 分析手機(jī)主頁(yè)中每頁(yè)地址 261
25.4.2 分析每個(gè)手機(jī)的詳情頁(yè)地址 262
25.4.3 確認(rèn)詳情頁(yè)手機(jī)數(shù)據(jù)位置 262
25.4.4 創(chuàng)建MySQL數(shù)據(jù)表 262
25.4.5 編寫(xiě)爬蟲(chóng)程序 263
第26章 基于異步請(qǐng)求爬取北、上、廣、深租房信息(requests+lxml+pandas+aiohttp+asyncio)
26.1 案例效果預(yù)覽 267
26.2 案例準(zhǔn)備 267
26.3 業(yè)務(wù)流程 268
26.4 實(shí)現(xiàn)過(guò)程 268
26.4.1 獲取租房信息總頁(yè)數(shù) 268
26.4.2 確認(rèn)數(shù)據(jù)所在的HTML代碼位置 271
26.4.3 編寫(xiě)爬蟲(chóng)提取數(shù)據(jù) 272
第27章 基于XPath爬取豆瓣電影Top250(requests+lxml+time+random)
27.1 案例效果預(yù)覽 274
27.2 案例準(zhǔn)備 275
27.3 業(yè)務(wù)流程 275
27.4 實(shí)現(xiàn)過(guò)程 275
27.4.1 分析請(qǐng)求地址 275
27.4.2 分析信息位置 276
27.4.3 爬蟲(chóng)代碼的實(shí)現(xiàn) 277
第28章 分布式爬取新聞數(shù)據(jù)(scrapy+ pymysql+scrapy-redis正則表達(dá)式)
28.1 案例效果預(yù)覽 279
28.2 案例準(zhǔn)備 280
28.3 業(yè)務(wù)流程 280
28.4 實(shí)現(xiàn)過(guò)程 280
28.4.1 Redis數(shù)據(jù)庫(kù)的安裝 280
28.4.2 安裝scrapy-redis模塊 281
28.4.3 分析請(qǐng)求地址 282
28.4.4 創(chuàng)建數(shù)據(jù)表（MySQL） 282
28.4.5 創(chuàng)建Scrapy項(xiàng)目 283
28.4.6 分布式爬蟲(chóng)的啟動(dòng) 286
第29章 微信智能機(jī)器人(Flask+小米球ngrok)
29.1 案例效果預(yù)覽 290
29.2 案例準(zhǔn)備 291
29.3 業(yè)務(wù)流程 291
29.4 微信公眾平臺(tái)開(kāi)發(fā)必備 291
29.4.1 注冊(cè)訂閱號(hào) 291
29.4.2 公眾號(hào)基本配置 292
29.5 內(nèi)網(wǎng)穿透工具 293
29.5.1 內(nèi)網(wǎng)穿透工具簡(jiǎn)介 293
29.5.2 下載安裝 293
29.5.3 測(cè)試外網(wǎng)域名 294
29.6 爬取糗事百科笑話(huà) 295
29.6.1 頁(yè)面分析 295
29.6.2 隨機(jī)爬取一條笑話(huà) 295
29.7 爬取天氣信息 296
29.7.1 頁(yè)面分析 296
29.7.2 爬取天氣信息 297
29.8 微信智能機(jī)器人的實(shí)現(xiàn) 298
29.8.1 校驗(yàn)簽名 298
29.8.2 填寫(xiě)配置信息 299
29.8.3 接收文本消息 299
29.8.4 整合笑話(huà)和天氣功能 300
第3篇 強(qiáng)化篇
第30章 電商管家(PyQt5+pyqt5-tools+requests+pymysql+matplotlib)
30.1 系統(tǒng)需求分析 303
30.1.1 系統(tǒng)概述 303
30.1.2 系統(tǒng)可行性分析 304
30.1.3 系統(tǒng)用戶(hù)角色分配 304
30.1.4 功能性需求分析 304
30.1.5 非功能性需求分析 304
30.2 系統(tǒng)設(shè)計(jì) 304
30.2.1 系統(tǒng)功能結(jié)構(gòu) 304
30.2.2 系統(tǒng)業(yè)務(wù)流程 305
30.2.3 系統(tǒng)預(yù)覽 305
30.3 系統(tǒng)開(kāi)發(fā)必備 306
30.3.1 開(kāi)發(fā)工具準(zhǔn)備 306
30.3.2 文件夾組織結(jié)構(gòu) 306
30.4 主窗體的UI設(shè)計(jì) 306
30.4.1 主窗體的布局 306
30.4.2 主窗體顯示效果 308
30.5 設(shè)計(jì)數(shù)據(jù)庫(kù)表結(jié)構(gòu) 308
30.6 爬取數(shù)據(jù) 309
30.6.1 獲取京東商品熱賣(mài)排行信息 309
30.6.2 獲取價(jià)格信息 313
30.6.3 獲取評(píng)價(jià)信息 314
30.6.4 定義數(shù)據(jù)庫(kù)操作文件 316
30.7 主窗體的數(shù)據(jù)展示 319
30.7.1 顯示前10名熱賣(mài)榜圖文信息 319
30.7.2 顯示關(guān)注商品列表 322
30.7.3 顯示商品分類(lèi)比例餅圖 327
30.8 外設(shè)產(chǎn)品熱賣(mài)榜 330
30.9 商品預(yù)警 332
30.9.1 關(guān)注商品中、差評(píng)預(yù)警 332
30.9.2 關(guān)注商品價(jià)格變化預(yù)警 334
30.9.3 更新關(guān)注商品信息 336
30.10 系統(tǒng)功能 337
第31章 火車(chē)票智能分析工具(PyQt5+matplotlib +requests+json+sys+time)?
31.1 系統(tǒng)需求分析 339
31.1.1 系統(tǒng)概述 339
31.1.2 系統(tǒng)可行性分析 340
31.1.3 系統(tǒng)用戶(hù)角色分配 340
31.1.4 功能性需求分析 340
31.1.5 非功能性需求分析 340
31.2 系統(tǒng)設(shè)計(jì) 341
31.2.1 系統(tǒng)功能結(jié)構(gòu) 341
31.2.2 系統(tǒng)業(yè)務(wù)流程 341
31.2.3 系統(tǒng)預(yù)覽 341
31.3 系統(tǒng)開(kāi)發(fā)必備 342
31.3.1 開(kāi)發(fā)工具準(zhǔn)備 342
31.3.2 文件夾組織結(jié)構(gòu) 342
31.4 主窗體的UI設(shè)計(jì) 343
31.4.1 主窗體的布局 343
31.4.2 主窗體顯示效果 347
31.5 爬取數(shù)據(jù) 347
31.5.1 獲取請(qǐng)求地址與參數(shù) 347
31.5.2 下載數(shù)據(jù)文件 348
31.5.3 查詢(xún)所有車(chē)票信息 352
31.5.4 臥鋪票的查詢(xún)與分析 354
31.5.5 查詢(xún)車(chē)票起售時(shí)間 356
31.6 主窗體的數(shù)據(jù)顯示 358
31.6.1 車(chē)票查詢(xún)區(qū)域的數(shù)據(jù)顯示 358
31.6.2 臥鋪售票分析區(qū)域的數(shù)據(jù)顯示 364
31.6.3 臥鋪車(chē)票數(shù)量走勢(shì)圖的顯示 366
31.6.4 查詢(xún)車(chē)票起售時(shí)間的數(shù)據(jù)顯示 369
附錄
附錄1 數(shù)據(jù)解析速查表 371
附錄2 PyCharm 常用快捷鍵 377
附錄3 PyCharm 常用設(shè)置 378
書(shū)單推薦
