前 言信息化時(shí)代的到來使得人類的生活達(dá)到了歷史上前所未有的高度，數(shù)據(jù)資源的重要性越發(fā)突顯出來。大數(shù)據(jù)和人工智能的結(jié)合，更是將數(shù)據(jù)的發(fā)掘與利用推向了新的高潮。全球范圍內(nèi)數(shù)據(jù)人才奇缺，教育部和各大高校也意識(shí)到這一問題，更是將數(shù)據(jù)科學(xué)人才培養(yǎng)與學(xué)科建設(shè)提上日程。從 2013 年起，在國內(nèi)教育領(lǐng)域掀起了利用大數(shù)據(jù)來促進(jìn)教育改革和創(chuàng)新發(fā)展相關(guān)研究的熱潮，大數(shù)據(jù)的教育應(yīng)用研究迅速發(fā)展起來，直接表現(xiàn)為研究論文數(shù)量和質(zhì)量倍增。2014 年 3 月，教育部辦公廳印發(fā)的《2014 年教育信息化工作要點(diǎn)》中指出：加強(qiáng)對(duì)動(dòng)態(tài)監(jiān)測、決策應(yīng)用、教育預(yù)測等相關(guān)數(shù)據(jù)資源的整合與集成，為教育決策提供及時(shí)和準(zhǔn)確的數(shù)據(jù)支持，推動(dòng)教育基礎(chǔ)數(shù)據(jù)在全國的共享。近年來，教育部積極采取措施，加強(qiáng)大數(shù)據(jù)人才培養(yǎng)，支撐大數(shù)據(jù)技術(shù)產(chǎn)業(yè)發(fā)展。自 2014 年起，為貫徹落實(shí)教育規(guī)劃綱要，創(chuàng)新產(chǎn)學(xué)合作協(xié)同育人機(jī)制，教育部組織有關(guān)企業(yè)和高校實(shí)施產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目。在相關(guān)專業(yè)設(shè)置方面，2015 年本科專業(yè)特設(shè)新專業(yè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)，布點(diǎn)3個(gè)；同年10月，教育部公布了新修訂的《普通高等學(xué)校職業(yè)教育（�？疲�專業(yè)目錄（2015 年）》，主動(dòng)適應(yīng)大數(shù)據(jù)時(shí)代發(fā)展需要，新設(shè)了云計(jì)算技術(shù)與應(yīng)用、電子商務(wù)技術(shù)專業(yè)，增設(shè)了網(wǎng)絡(luò)數(shù)據(jù)分析應(yīng)用專業(yè)方向。隨著我國教育信息化進(jìn)程的不斷推進(jìn)，必將加快大數(shù)據(jù)與教育領(lǐng)域的深度融合，這是當(dāng)前時(shí)代教育事業(yè)發(fā)展的必然趨勢(shì)。2016年2月，北京大學(xué)、對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)、中南大學(xué)首次成功申請(qǐng)到數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)本科新專業(yè)。2017年3月，第二批32所高校獲批。2018年教育部新公布的高校新增專業(yè)名單中有248所學(xué)校獲批，是過去兩次審批通過額度近8倍。2019年3月28日，教育部公布了2018年度普通高等學(xué)校本科專業(yè)備案和審批結(jié)果，共有196個(gè)高校新增備案大數(shù)據(jù)本科專業(yè)。除了數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)外，教育部在其官網(wǎng)的公告上還宣布35所高校新增人工智能本科學(xué)業(yè)。本書的緣起近年來，國內(nèi)出版的關(guān)于數(shù)據(jù)處理、數(shù)據(jù)分析等書籍層出不窮，但觀其內(nèi)容，不同的專家和學(xué)者從不同的角度提出了他們對(duì)于大數(shù)據(jù)的理解和認(rèn)識(shí)。其中，有的專家側(cè)重在數(shù)據(jù)分析上，重點(diǎn)討論了統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等相關(guān)內(nèi)容；有的專家側(cè)重在數(shù)據(jù)處理上，重點(diǎn)討論了數(shù)據(jù)挖掘、數(shù)據(jù)庫管理等相關(guān)內(nèi)容；有的專家側(cè)重在數(shù)據(jù)平臺(tái)上，重點(diǎn)討論了各種計(jì)算平臺(tái)和硬件設(shè)備等相關(guān)內(nèi)容。多樣化的觀點(diǎn)支撐了多樣化的教材，特別是當(dāng)編者團(tuán)隊(duì)在面向一線教學(xué)的工作中發(fā)現(xiàn)，一本涉獵廣泛、由淺入深、適合入門者研習(xí)和一線教師使用的教材亟待出現(xiàn)。2018年，華中科技大學(xué)出版社不棄淺陋，邀請(qǐng)幾位編者參與到本書的編撰工作當(dāng)中。大家一致認(rèn)為這是一個(gè)非常寶貴的機(jī)會(huì)，希望能夠跟同行們分享多年的心得和體會(huì)，也幫助相關(guān)專業(yè)的學(xué)生能夠?qū)Υ髷?shù)據(jù)領(lǐng)域產(chǎn)生興趣。本書的編寫過程本書以當(dāng)下大數(shù)據(jù)發(fā)展的新科研教學(xué)成果，從培養(yǎng)學(xué)生大數(shù)據(jù)思維入手組織內(nèi)容。本書采用理論 提升 實(shí)踐的模式，以理解大數(shù)據(jù)理論為基礎(chǔ)，以知識(shí)擴(kuò)展為提升，以數(shù)據(jù)處理、數(shù)據(jù)挖掘案例為實(shí)踐，努力做到既促進(jìn)數(shù)據(jù)思維的培養(yǎng)，又避免流于形式；既適用總體知識(shí)需求，又滿足個(gè)體深層要求。每章章前設(shè)計(jì)了內(nèi)容介紹與本章重點(diǎn)，章后附有小結(jié)和習(xí)題。內(nèi)容介紹與本章重點(diǎn)部分緊密結(jié)合教學(xué)目標(biāo)和特點(diǎn)，緊扣教學(xué)重點(diǎn)，突出計(jì)算思維方法；小結(jié)部分對(duì)每章知識(shí)進(jìn)行歸納總結(jié)、突出重點(diǎn)；習(xí)題部分的題目大多選自一些國外經(jīng)典參考資料，也包括編者結(jié)合多年教學(xué)實(shí)踐經(jīng)驗(yàn)設(shè)計(jì)出來的典型范例，力求使讀者全面地鞏固所學(xué)知識(shí)。在本書的編寫過程中，編者從系統(tǒng)的視角介紹數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)的相關(guān)基礎(chǔ)理論和應(yīng)用，同時(shí)注意突出語言文字應(yīng)用的規(guī)范性。在選擇內(nèi)容時(shí)，既注意到穩(wěn)定性，又注意吸收比較成熟的有價(jià)值的新成果，同時(shí)編寫適合教學(xué)和鞏固知識(shí)的習(xí)題。本書內(nèi)容力求保持較強(qiáng)的系統(tǒng)性，基本概念的闡述力求嚴(yán)謹(jǐn)、清晰，敘述力求通俗易懂，增強(qiáng)了可讀性和啟發(fā)性。本書的內(nèi)容大數(shù)據(jù)導(dǎo)論是計(jì)算機(jī)科學(xué)與技術(shù)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)等相關(guān)專業(yè)本科生的專業(yè)課程和其他專業(yè)的先修課程，是國內(nèi)外大學(xué)計(jì)算機(jī)學(xué)科教育體系中的核心課程之一。它承擔(dān)著系統(tǒng)、全面地介紹大數(shù)據(jù)的基礎(chǔ)知識(shí)和數(shù)據(jù)挖掘、數(shù)據(jù)處理的基礎(chǔ)知識(shí)及其簡單應(yīng)用，為后續(xù)學(xué)習(xí)奠定堅(jiān)實(shí)的基礎(chǔ)，使學(xué)生能夠具備基本理論知識(shí)和簡單編程的能力，同時(shí)提高學(xué)生綜合素質(zhì)與創(chuàng)新思維。本書第一章簡述了大數(shù)據(jù)的基本概念，從什么是大數(shù)據(jù)這一問題入手，從其定義、相關(guān)科學(xué)、領(lǐng)域應(yīng)用等方面系統(tǒng)的介紹了大數(shù)據(jù)的基本概念，簡要地對(duì)后續(xù)章節(jié)中所述內(nèi)容進(jìn)行了闡述。第二章和第三章簡要的講述了Python在大數(shù)據(jù)中的應(yīng)用，第二章對(duì)Python的基礎(chǔ)知識(shí)進(jìn)行了講解，以便學(xué)生能盡快對(duì)Python有一個(gè)簡單的認(rèn)識(shí)，第三章描述了如何利用Python對(duì)數(shù)據(jù)進(jìn)行處理、分析以及可視化等。第四章從如何進(jìn)行數(shù)據(jù)挖掘入手，描述了數(shù)據(jù)挖掘的源起、工具以及如何對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、利用。第五章概述了機(jī)器學(xué)習(xí)的幾種算法，從其所講述的算法中，可以看到無論是傳統(tǒng)的機(jī)器學(xué)習(xí)算法還是新興的神經(jīng)網(wǎng)絡(luò)算法，數(shù)據(jù)是不可或缺的一部分。第六章介紹了能夠?qū)�海量�?shù)據(jù)進(jìn)行分析的軟件框架Hadoop。Hadoop平臺(tái)釋放了前所未有的計(jì)算能力，同時(shí)大大降低了計(jì)算成本。致本書的使用者（1）學(xué)生使用者本書涉及到了大數(shù)據(jù)領(lǐng)域的多個(gè)方面，編寫團(tuán)隊(duì)希望給各位同學(xué)提供一個(gè)全面的圖景來幫助大家盡快入門。為了大家能夠更好去理解相關(guān)的知識(shí)點(diǎn)，每個(gè)部分的寫法和闡述方式略有不同。同時(shí)，在本課程開始以前希望大家具有一定的線性代數(shù)和概率論的背景知識(shí)，學(xué)習(xí)本書將輕松許多。（2）教師使用者本書適用于本門課程的學(xué)習(xí)，不光數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的學(xué)生可以學(xué)習(xí)，計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)的學(xué)生也可以用來學(xué)習(xí)相關(guān)知識(shí)。對(duì)于不同層次的學(xué)生，根據(jù)本科生和研究生的不同，都可以進(jìn)行講授，只需要針對(duì)知識(shí)點(diǎn)和深度有所側(cè)重。（3）專業(yè)技術(shù)人員針對(duì)專業(yè)技術(shù)人員，本書可以作為一本參考書，當(dāng)中包含的內(nèi)容寬泛，既涉及到軟件的安裝和配置方法，又介紹了大量的常用算法。本書的章節(jié)編排經(jīng)過大量的專家討論，方便專業(yè)人士直接查詢相關(guān)內(nèi)容。致謝在本書的成書過程中，編寫團(tuán)隊(duì)和華中科技大學(xué)出版社保持了愉快的合作，再次感謝出版社各位編輯的幫助和支持。本書由上海工程技術(shù)大學(xué)方志軍教授擔(dān)任主編，安順學(xué)院于為、湖北工大董新華、上海工程技術(shù)大學(xué)黃勃、俞雷共同參與編寫。本書的編寫過程中，參考了大量的文獻(xiàn)資料，一并感謝！同時(shí)也幫助了編寫團(tuán)隊(duì)加深了對(duì)大數(shù)據(jù)領(lǐng)域的理解，但由于水平有限，在內(nèi)容安排、表達(dá)、推導(dǎo)等方面難免存在不當(dāng)，敬請(qǐng)廣大讀者朋友不吝賜教。編 者 2019年6月