為什么要寫本書
大數(shù)據(jù)時代，人們面對大數(shù)據(jù)，首先想到的是如何分析大數(shù)據(jù)，目前介紹大數(shù)據(jù)分析方法的書籍卻不是很多。作者從事大數(shù)據(jù)分析研究工作多年，很想將做過的大數(shù)據(jù)研究課題積累的一些分析方法分享給各位讀者。
本書組織結(jié)構(gòu)
本書的結(jié)構(gòu)依據(jù)大數(shù)據(jù)的處理構(gòu)建的，包括：組織，依次為大數(shù)據(jù)采集處理方法、大數(shù)據(jù)存儲方法、大數(shù)據(jù)分布式計算方法、大數(shù)據(jù)分析模型構(gòu)建方法、大數(shù)據(jù)分析模型檢驗方法、大數(shù)據(jù)分析模型優(yōu)化方法。
本書的主要內(nèi)容
第1章介紹了大數(shù)據(jù)采集處理方法，重點介紹了如何從互聯(lián)網(wǎng)上采集數(shù)據(jù)，介紹了網(wǎng)絡(luò)爬蟲程序的設(shè)計和編寫方法以及數(shù)據(jù)清洗方法，著重介紹如何清洗機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)。
第2章介紹了大數(shù)據(jù)存儲方法，重點介紹了分布式文件存儲系統(tǒng)的原理、配置方法與使用方法。重點介紹了分布式數(shù)據(jù)庫Hbase原理、配置方法與使用方法。
第3章介紹了大數(shù)據(jù)分布式計算的實現(xiàn)方法，詳細(xì)介紹了如何搭建Hadoop大數(shù)據(jù)處理平臺，列舉了詳細(xì)的搭建過程，提供了Hadoop搭建所需的各種配置文件源代碼，提供了構(gòu)建Hadoop所需的命令語句。著重介紹了MapReduce框架結(jié)構(gòu)，運(yùn)行機(jī)理，MapReduce源代碼分析，各種接口和類分析。本章給出了豐富的MapReduce示例，對示例進(jìn)行詳細(xì)的解讀，讀者可以模仿示例編寫自己的MapReduce程序。
第4章介紹了大數(shù)據(jù)分析模型構(gòu)建方法，主要介紹了如何通過機(jī)器學(xué)習(xí)方法構(gòu)建大數(shù)據(jù)分析模型。
第5章介紹了大數(shù)據(jù)分析模型的檢驗方法，分析模型建立以后如何進(jìn)行檢驗，這往往是一個難點，如何檢驗?zāi)Ｐ褪欠襁_(dá)到了最初設(shè)計標(biāo)準(zhǔn)，用什么手段來檢驗非常關(guān)鍵，檢驗方法是否科學(xué)都很重要。此章還介紹了機(jī)器學(xué)習(xí)構(gòu)建模型常用的檢驗方法，如回歸診斷、交叉驗證等方法。
第6章重點介紹了模型建立以后，如何優(yōu)化，介紹了幾種優(yōu)化方法，如逐步遞歸法、主成分分析優(yōu)化方法等，特別介紹了通過神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。
本書的優(yōu)勢
本書的內(nèi)容是作者從事科研項目的一些親身經(jīng)歷，開展大數(shù)據(jù)分析項目研究方法的總結(jié)和歸納，內(nèi)容非常實用，為從事大數(shù)據(jù)分析的研究人員提供了研究步驟和方法。本書的模式是提出問題，然后給出解決方法，這樣讀者如遇到類似問題就可以參考書中提供的方法加以解決。
本書的受眾群體
本書的讀者主要是從事大數(shù)據(jù)分析的研究人員，大數(shù)據(jù)分析系統(tǒng)開發(fā)人員，使用本書的人員應(yīng)該在大數(shù)據(jù)分析方面有一定的基礎(chǔ)，本書的內(nèi)容比較深入，跳過了基本概念和基本理論，主要論述和探索大數(shù)據(jù)分析深層次的內(nèi)容和方法。
致謝
本書是基于北京市教委科技計劃一般課題：基于機(jī)器學(xué)習(xí)方法的房價大數(shù)據(jù)分析模型構(gòu)建研究（課題編號：KM201610857002）研究內(nèi)容編寫的。
感謝項目組成員冀鋼、劉瑞新、范美英對本項目做出的貢獻(xiàn)。感謝參與和支持本項目的所有人員。感謝寇俊玲主編嚴(yán)謹(jǐn)和辛勤的工作。