本書介紹Python網(wǎng)絡爬蟲開發(fā)從業(yè)者應掌握的基礎技能。本書以網(wǎng)絡爬蟲為核心，涉及大大小小數(shù)十個能力體系。本書的前半部分介紹爬蟲開發(fā)的基礎知識，包括爬蟲開發(fā)必備的環(huán)境搭建方法、開發(fā)中常用工具的使用方法和技巧、網(wǎng)頁的構成原理和網(wǎng)頁信息提取的方法、常用數(shù)據(jù)庫的使用方法和應用場景，如通過Redis內置的布隆過濾器實現(xiàn)大規(guī)模URL地址的去重任務。本書的后半部分主要講解網(wǎng)絡爬蟲開發(fā)所需的必要能力，包括網(wǎng)絡通信的底層原理、背后涉及的互聯(lián)網(wǎng)協(xié)議標準及如何對這些協(xié)議進行分析并加以利用，使用Docker部署網(wǎng)絡爬蟲所需的環(huán)境和爬蟲項目的打包部署，使用網(wǎng)絡爬蟲的核心請求庫實現(xiàn)與服務器端和客戶端的通信和交互，使用自動化神器Selenium對復雜的爬蟲需求進行快速實現(xiàn)，以及網(wǎng)絡爬蟲的多任務開發(fā)，重點是通過多線程和多進程來提高爬蟲效率。

本書面向準備從事或正在從事網(wǎng)絡爬蟲開發(fā)的從業(yè)者以及對網(wǎng)絡爬蟲有濃厚興趣的愛好者。