前言

目前，高校的數(shù)據(jù)分析類課程(如數(shù)據(jù)挖掘、機器學(xué)習(xí)、大數(shù)據(jù)分析等)教學(xué)方式大多以知識點為核心組織教學(xué)，學(xué)生主要以學(xué)習(xí)知識為主，工程應(yīng)用實踐機會較少。教師將所要教授的知識點在課堂上講述，課后再以作業(yè)練習(xí)、課程實驗、課程設(shè)計等形式幫助學(xué)生深入理解課堂上所學(xué)的知識。盡管為提高教學(xué)效果，目前許多高校嘗試了大型開放式網(wǎng)絡(luò)課程（Massive Open Online Course,MOOC）、翻轉(zhuǎn)課堂、移動課堂、同伴學(xué)習(xí)和小規(guī)模限制性在線課程（Small Private Online Course,SPOC）等教學(xué)方法的改革，但總體上來說，對于應(yīng)用性較強的課程教學(xué)，還存在改進的空間，尤其是對學(xué)生的動手實踐能力要求較高的數(shù)據(jù)分析類課程。現(xiàn)有的教學(xué)方法在傳授理論知識時，缺少實際應(yīng)用環(huán)節(jié)的支持，學(xué)生缺少在實際應(yīng)用的背景下充分理解所學(xué)知識的機會，難以培養(yǎng)學(xué)生應(yīng)用專業(yè)知識分析解決問題的技能和創(chuàng)新思維能力。

數(shù)據(jù)分析的方法是科學(xué)，但這些方法的選擇和應(yīng)用過程因問題而異，帶有很強的藝術(shù)性。在現(xiàn)有專業(yè)課程教學(xué)模式下，學(xué)生僅僅了解需要學(xué)習(xí)基本的理論知識，缺少實踐動手經(jīng)歷，難以獲得這些知識的應(yīng)用技巧，很少接觸與企業(yè)實際項目相關(guān)的內(nèi)容，因此學(xué)生的應(yīng)用能力較弱，與企業(yè)實際的需求脫節(jié)。例如，在數(shù)據(jù)分析課程中，一般的教學(xué)方式是教師將具體數(shù)據(jù)分析的方法教授給學(xué)生，學(xué)生能夠理解算法或方法的內(nèi)容，但難以解決實際項目中應(yīng)用具體算法碰到的問題。目前亟待克服數(shù)據(jù)分析類課程教學(xué)脫離企業(yè)所需能力的培養(yǎng)痛點，在課程學(xué)習(xí)的知識基礎(chǔ)上，解決實際問題，引導(dǎo)學(xué)生解決數(shù)據(jù)分析實際問題的必要技能和思維方法。

實際上，數(shù)據(jù)分析絕大部分的教材和書籍還基本停留在基本理論和方法的介紹，實驗部分的內(nèi)容比較簡單或者缺失，實際應(yīng)用的內(nèi)容不足。還有些實戰(zhàn)性的書籍沒有按照教材的方式編寫，案例也比較粗略，數(shù)據(jù)分析過程中的一些技能解釋膚淺。有關(guān)實際項目中數(shù)據(jù)分析過程思路的分析以及難點解析對教學(xué)，尤其是對實驗或案例教學(xué)非常重要。最近幾年，作者與多家企業(yè)合作，在數(shù)據(jù)分析領(lǐng)域辛苦耕耘，親自參與了多個實際數(shù)據(jù)分析項目，熟悉數(shù)據(jù)分析過程的酸甜苦辣，希望通過本教材彌補國內(nèi)數(shù)據(jù)分析實用教材的不足，也希望本教材的出版能改善國內(nèi)數(shù)據(jù)分析類課程教學(xué)資料短缺的情況。

學(xué)習(xí)數(shù)據(jù)分析的最好方法就是做中學(xué)，使用實際數(shù)據(jù)解決實際問題，而不是單純學(xué)習(xí)技術(shù)。實際上，有效的數(shù)據(jù)分析需要對業(yè)務(wù)進行深入理解，在此基礎(chǔ)上形成有效的分析思路，并通過實驗反復(fù)比較，才能真正解決客戶的問題。在數(shù)據(jù)時代，現(xiàn)實應(yīng)用中往往不乏數(shù)據(jù)。從生活中的小數(shù)據(jù)、簡單問題開始，做各種假設(shè)，探索其中的規(guī)律。不斷嘗試常用的分析語言、工具和技術(shù)，在應(yīng)用中不斷學(xué)習(xí)新的知識，彌補課堂教學(xué)的不足，尤其是體會數(shù)據(jù)分析過程中書本上難得看到的分析技巧，并在應(yīng)用中舉一反三。如此反復(fù)，隨著分析問題的深入，不斷提高分析能力，體會數(shù)據(jù)分析的艱辛和解決客戶問題的快樂。

本教材不局限于數(shù)據(jù)分析基本理論和基本方法的介紹，而是立足實際應(yīng)用，突出實際數(shù)據(jù)分析項目中的思路，以及數(shù)據(jù)分析中的難點。但希望讀者具有一定的統(tǒng)計學(xué)、機器學(xué)習(xí)(數(shù)據(jù)挖掘)、數(shù)據(jù)科學(xué)，以及必要的相關(guān)專業(yè)知識。也不追求過多的案例堆積，希望讀者能理解數(shù)據(jù)分析的思路，舉一反三。這些內(nèi)容是作者多年項目實踐和教學(xué)成果的總結(jié)，其中的分析思路只有參與實際的項目，才能體驗到數(shù)據(jù)分析的難點和藝術(shù)性，這是目前教學(xué)過程中培養(yǎng)學(xué)生工程性思維的重要問題，也是真正提高學(xué)生創(chuàng)新能力和動手能力的手段。這些內(nèi)容是數(shù)據(jù)分析的基礎(chǔ)，也是從事大數(shù)據(jù)分析必須掌握的知識和技能。有關(guān)數(shù)據(jù)挖掘常用算法的介紹，讀者可以參閱作者已經(jīng)出版的教材《商務(wù)智能(第4版)》(清華大學(xué)出版社，2016年)或其他專業(yè)書籍。

全書分為11章，具體的內(nèi)容簡介如下：

第1章從數(shù)據(jù)分析的流程出發(fā)，討論了在數(shù)據(jù)分析各個階段需要做的工作以及經(jīng)常遇到的主要問題，尤其是數(shù)據(jù)挖掘算法使用時容易遇到的難題。數(shù)據(jù)挖掘過程有一定的標(biāo)準(zhǔn)，但是針對具體的業(yè)務(wù)需求，如何設(shè)計合理、有效的數(shù)據(jù)分析流程，需要有一定的經(jīng)驗和技巧，數(shù)據(jù)的預(yù)處理、算法的選擇等主要步驟都充分體現(xiàn)了數(shù)據(jù)挖掘的藝術(shù)性。

第2章以保險產(chǎn)品推薦項目為例，突出了數(shù)據(jù)挖掘選擇合適的算法并非很簡單的事情，需要在理解分析問題以及對多種算法熟悉的基礎(chǔ)上，通過實驗對初選的幾種算法進行比較、調(diào)優(yōu)，才能選擇對解決問題效果比較好的算法。

第3章介紹了多維分析常用的可視化圖形，這是數(shù)據(jù)分析的基本功。這些圖形可以幫助數(shù)據(jù)分析師探索數(shù)據(jù)，找出數(shù)據(jù)中存在的問題以及基本規(guī)律。

第4章介紹了IBM SPSS Modeler 18數(shù)據(jù)挖掘工具的常用組件。在學(xué)習(xí)數(shù)據(jù)分析的不同階段，根據(jù)學(xué)習(xí)者的基礎(chǔ)、問題的分析難度等，可以選擇不同的工具或平臺。盡管分析工具并不是數(shù)據(jù)挖掘最重要的事情，但學(xué)習(xí)成本低、功能強大的分析工具對于問題的解決也是不可少的。對于編程基礎(chǔ)有限的數(shù)據(jù)分析師，可以選擇類似IBM SPSS Modeler 18的挖掘工具或TensorFlow等開源工具。盡管如此，對于有一定數(shù)據(jù)分析基礎(chǔ)的讀者，推薦學(xué)習(xí)Python、R等針對數(shù)據(jù)分析的語言，這些語言比較靈活，功能也十分強大。

第5章對香水的銷售數(shù)據(jù)進行分析，討論受歡迎的香水以及特點，并找出影響香水銷售的主要因素，為香水的營銷提供依據(jù)。

第6章對銀行的客戶信用記錄、申請客戶信息、拖欠歷史記錄、消費歷史記錄等人口屬性、交易數(shù)據(jù)進行綜合分析，討論用戶銀行信用卡拖欠和欺詐行為特征，為銀行推廣信用卡以及風(fēng)險管理提供依據(jù)。

第7章從大眾點評網(wǎng)抓取火鍋店海底撈的菜品介紹以及客戶評論數(shù)據(jù)，以客戶為中心，分析客戶對火鍋的偏好，為火鍋店的選址、菜品的選擇和設(shè)計，以及火鍋店的競爭力都提供了參考。

第8章以攜程網(wǎng)上某商務(wù)賓館的客戶評分、評論數(shù)據(jù)為基礎(chǔ)，通過情感分析，分析了客戶對商務(wù)賓館的偏好，并了解客戶的消費行為，比較多家商務(wù)賓館的競爭優(yōu)劣勢，為商務(wù)賓館改進經(jīng)營提供了參考。

第9章在某耐熱導(dǎo)線工廠最近2年的質(zhì)量管理數(shù)據(jù)的基礎(chǔ)上，分析了這些數(shù)據(jù)存在的問題，探索耐熱導(dǎo)線的加工流程中幾個工序之間半成品或成品質(zhì)量指標(biāo)的關(guān)系，提高最終產(chǎn)品的合格率。

第10章利用公安人口數(shù)據(jù)和違法犯罪人員行為特點的數(shù)據(jù)，建立風(fēng)險評分模型，實現(xiàn)對高危人群的特征分析，識別具有違法、犯罪、可疑或可能的高危人員。

第11章討論深度學(xué)習(xí)在音頻處理領(lǐng)域的應(yīng)用，介紹了常用的深度神經(jīng)網(wǎng)絡(luò)模型，重點分析卷積神經(jīng)網(wǎng)絡(luò)在音頻質(zhì)量評價領(lǐng)域的應(yīng)用。

數(shù)據(jù)挖掘是一個多學(xué)科交叉的領(lǐng)域，本書通過少數(shù)實際的具體案例，闡述數(shù)據(jù)分析項目的過程以及一些要點，可作為普通高等學(xué)校數(shù)據(jù)挖掘商務(wù)數(shù)據(jù)分析商務(wù)智能等課程的案例和實驗指導(dǎo)材料，也可供有志于數(shù)據(jù)分析師的讀者參考。配套實驗數(shù)據(jù)、源代碼、軟件等可以從清華大學(xué)出版社網(wǎng)站下載。由于作者水平有限，書中難免有錯誤之處，希望讀者不吝指出。

在寫作的過程中,胡遠文、于召鑫、黃黎明、蒲實、朱榮斌等在資料收集方面做了一些工作，在此表示感謝。

趙衛(wèi)東2017年8月

復(fù)旦大學(xué)