第 1章　Python爬蟲環(huán)境與爬蟲簡介　1 任務(wù)1.1　認識爬蟲　1 1.1.1　爬蟲的概念　1 1.1.2　爬蟲的原理　2 1.1.3　爬蟲的合法性與robot.txt協(xié)議　4 任務(wù)1.2　認識反爬蟲　4 1.2.1　網(wǎng)站反爬蟲的目的與手段　4 1.2.2　爬取策略制定　5 任務(wù)1.3　配置Python爬蟲環(huán)境　6 1.3.1　Python爬蟲相關(guān)庫介紹與配置　7 1.3.2　配置MySQL數(shù)據(jù)庫　7 1.3.3　配置MongoDB數(shù)據(jù)庫　16 小結(jié)　20 實訓　Python爬蟲環(huán)境配置　21 課后習題　21 第 2章　網(wǎng)頁前端基礎(chǔ)　23 任務(wù)2.1　認識Python網(wǎng)絡(luò)編程　23 2.1.1　了解Python網(wǎng)絡(luò)編程Socket庫　24 2.1.2　使用Socket庫進行TCP編程　26 2.1.3　使用Socket庫進行UDP編程　28 任務(wù)2.2　認識HTTP　29 2.2.1　熟悉HTTP請求方法與過程　30 2.2.2　熟悉常見HTTP狀態(tài)碼　32 2.2.3　熟悉HTTP頭部信息　33 2.2.4　熟悉Cookie　39 小結(jié)　41 實訓　使用Socket庫連接百度首頁　41 課后習題　42 第3章　簡單靜態(tài)網(wǎng)頁爬取　43 任務(wù)3.1　實現(xiàn)HTTP請求　43 3.1.1　使用urllib 3庫實現(xiàn)　44 3.1.2　使用Requests庫實現(xiàn)　47 任務(wù)3.2　解析網(wǎng)頁　52 3.2.1　使用Chrome開發(fā)者工具查看網(wǎng)頁　52 3.2.2　使用正則表達式解析網(wǎng)頁　58 3.2.3　使用Xpath解析網(wǎng)頁　61 3.2.4　使用Beautiful Soup庫解析網(wǎng)頁　66 任務(wù)3.3　數(shù)據(jù)存儲　74 3.3.1　將數(shù)據(jù)存儲為JSON文件　74 3.3.2　將數(shù)據(jù)存儲到MySQL數(shù)據(jù)庫　75 小結(jié)　78 實訓　79 實訓1　生成GET請求并獲取指定網(wǎng)頁內(nèi)容　79 實訓2　搜索目標節(jié)點并提取文本內(nèi)容　79 實訓3　在數(shù)據(jù)庫中建立新表并導(dǎo)入數(shù)據(jù)　80 課后習題　80 第4章　常規(guī)動態(tài)網(wǎng)頁爬取　82 任務(wù)4.1　逆向分析爬取動態(tài)網(wǎng)頁　82 4.1.1　了解靜態(tài)網(wǎng)頁和動態(tài)網(wǎng)頁的區(qū)別　82 4.1.2　逆向分析爬取動態(tài)網(wǎng)頁　85 任務(wù)4.2　使用Selenium庫爬取動態(tài)網(wǎng)頁　88 4.2.1　安裝Selenium庫及下載瀏覽器補丁　88 4.2.2　打開瀏覽對象并訪問頁面　89 4.2.3　頁面等待　90 4.2.4　頁面操作　91 4.2.5　元素選取　93 4.2.6　預(yù)期條件　96 任務(wù)4.3　存儲數(shù)據(jù)至MongoDB數(shù)據(jù)庫　98 4.3.1　了解MongoDB數(shù)據(jù)庫和MySQL數(shù)據(jù)庫的區(qū)別　99 4.3.2　將數(shù)據(jù)存儲到MongoDB數(shù)據(jù)庫　100 小結(jié)　103 實訓　103 實訓1　爬取網(wǎng)頁“http://www.ptpress. com.cn”的推薦圖書信息　103 實訓2　爬取某網(wǎng)頁的Java圖書信息　104 實訓3　將數(shù)據(jù)存儲到MongoDB數(shù)據(jù)庫中　104 課后習題　104 第5章　模擬登錄　106 任務(wù)5.1　使用表單登錄方法實現(xiàn)模擬登錄　106 5.1.1　查找提交入口　106 5.1.2　查找并獲取需要提交的表單數(shù)據(jù)　108 5.1.3　使用POST請求方法登錄　112 任務(wù)5.2　使用Cookie登錄方法實現(xiàn)模擬登錄　114 5.2.1　使用瀏覽器Cookie登錄　115 5.2.2　基于表單登錄的Cookie登錄　117 小結(jié)　119 實訓　119 實訓1　使用表單登錄方法模擬登錄數(shù)睿思論壇　119 實訓2　使用瀏覽器Cookie模擬登錄數(shù)睿思論壇　120 實訓3　基于表單登錄后的Cookie模擬登錄數(shù)睿思論壇　120 課后習題　120 第6章　終端協(xié)議分析　122 任務(wù)6.1　分析PC客戶端抓包　122 6.1.1　了解HTTP Analyzer工具　122 6.1.2　爬取千千音樂PC客戶端數(shù)據(jù)　125 任務(wù)6.2　分析App抓包　126 6.2.1　了解Fiddler工具　127 6.2.2　分析人民日報App　130 小結(jié)　132 實訓　133 實訓1　抓取千千音樂PC客戶端的推薦歌曲信息　133 實訓2　爬取人民日報App的旅游模塊信息　134 課后習題　134 第7章　Scrapy爬蟲　135 任務(wù)7.1　認識Scarpy　135 7.1.1　了解Scrapy爬蟲的框架　135 7.1.2　熟悉Scrapy的常用命令　137 任務(wù)7.2　通過Scrapy爬取文本信息　138 7.2.1　創(chuàng)建Scrapy爬蟲項目　138 7.2.2　修改items/pipelines腳本　140 7.2.3　編寫spider腳本　143 7.2.4　修改settings腳本　148 任務(wù)7.3　定制中間件　152 7.3.1　定制下載器中間件　152 7.3.2　定制Spider中間件　156 小結(jié)　157 實訓　157 實訓1　爬取“http://www.tipdm.org”的所有新聞動態(tài)　157 實訓2　定制BdRaceNews爬蟲項目的中間件　158 課后習題　158 附錄A　160 附錄B　163 參考文獻　166