關(guān)于我們
書單推薦
新書推薦
|
|
定 價:42 元
- 作者:馮明卿,袁帥,王曉燕
- 出版時間:2024/3/1
- ISBN:9787519885649
- 出 版 社:中國電力出版社
- 中圖法分類:TP311.13
- 頁碼:
- 紙張:膠版紙
- 版次:
- 開本:16開
本書為全國電力行業(yè)十四五規(guī)劃教材。 本書以項目任務(wù)式,培養(yǎng)學(xué)生的Hive數(shù)據(jù)倉庫實踐能力。本書共分為八個項目,主要內(nèi)容包括探索Hive開發(fā)環(huán)境、探索Hive數(shù)據(jù)之林、Hive數(shù)據(jù)管理、Hive數(shù)據(jù)智能探索、員工信息管理系統(tǒng)、實現(xiàn)數(shù)據(jù)存儲與壓縮的融合、數(shù)據(jù)智能調(diào)優(yōu)、綜合實踐智慧電商數(shù)據(jù)分析平臺等。本書由學(xué)校教師與企業(yè)專家共同編寫,應(yīng)用項目式、理實一體化教學(xué)、思政教學(xué),引入企業(yè)真實項目,并包含豐富的學(xué)習(xí)資源。同時提供豐富的微課視頻、PPT課件、教案、題庫、項目案例數(shù)據(jù)和代碼。各章力求原理敘述清晰,易于理解,突出理論聯(lián)系實際,輔以代碼實踐與指導(dǎo),引領(lǐng)讀者更好地理解與應(yīng)用Hive數(shù)據(jù)倉庫技術(shù),快速邁進(jìn)數(shù)據(jù)倉庫與數(shù)據(jù)挖掘領(lǐng)域。
本書以項目任務(wù)式,培養(yǎng)學(xué)生的Hive數(shù)據(jù)倉庫實踐能力。本書由學(xué)校教師與企業(yè)專家共同編寫,應(yīng)用項目式、理實一體化教學(xué)、思政教學(xué),引入企業(yè)真實項目,并包含豐富的學(xué)習(xí)資源。同時提供豐富的微課視頻、PPT課件、教案、題庫、項目案例數(shù)據(jù)和代碼。各章力求原理敘述清晰,易于理解,突出理論聯(lián)系實際,輔以代碼實踐與指導(dǎo),引領(lǐng)讀者更好地理解與應(yīng)用Hive數(shù)據(jù)倉庫技術(shù),快速邁進(jìn)數(shù)據(jù)倉庫與數(shù)據(jù)挖掘領(lǐng)域。
大數(shù)據(jù)時代的到來給企業(yè)帶來了前所未有的機遇和挑戰(zhàn)。在海量數(shù)據(jù)背后,蘊藏著巨大的價值,然而,如何高效地管理、存儲和處理這些海量數(shù)據(jù)成了擺在企業(yè)面前的重要問題。中國的大數(shù)據(jù)行業(yè)正處于快速增長和廣泛應(yīng)用的階段。作為全球較大的數(shù)據(jù)生產(chǎn)國家,中國擁有豐富多樣的數(shù)據(jù)資源。政府提出了互聯(lián)網(wǎng) 和數(shù)字中國戰(zhàn)略,積極推動大數(shù)據(jù)技術(shù)在各行各業(yè)的應(yīng)用,推動數(shù)字經(jīng)濟的發(fā)展。與此同時,中國的大數(shù)據(jù)行業(yè)也不斷壯大,產(chǎn)業(yè)鏈日益完善,涉及數(shù)據(jù)采集、存儲、分析和應(yīng)用等多個環(huán)節(jié)。Hive作為大數(shù)據(jù)領(lǐng)域一種重要的數(shù)據(jù)倉庫解決技術(shù),以其強大的分布式存儲、靈活的數(shù)據(jù)查詢功能和高效的數(shù)據(jù)壓縮優(yōu)化,成為眾多企業(yè)構(gòu)建數(shù)據(jù)倉庫的首選工具。本教材旨在為讀者提供一套實踐指南,幫助他們理解和應(yīng)用Hive,構(gòu)建高效、可靠的數(shù)據(jù)倉庫系統(tǒng)。本書是專為應(yīng)用型本科和高職學(xué)生撰寫的實踐指南,內(nèi)容涵蓋了Hive的核心概念和原理,從Hadoop和Hive的安裝和配置開始、Hive的各數(shù)據(jù)類型定義,到數(shù)據(jù)庫和表的操作、數(shù)據(jù)的查詢、內(nèi)置函數(shù)的應(yīng)用、數(shù)據(jù)各存儲格式的使用場景和壓縮、數(shù)據(jù)調(diào)優(yōu)和智慧電商數(shù)據(jù)倉庫系統(tǒng)的搭建,逐步引導(dǎo)學(xué)生掌握Hive的使用方法和技巧,幫助讀者構(gòu)建完整的數(shù)據(jù)倉庫流程。項目一主要訓(xùn)練Hadoop和Hive的環(huán)境搭建能力,共有2個任務(wù),任務(wù)一通過Hadoop大數(shù)據(jù)開發(fā)環(huán)境搭建實踐,理解Hadoop的知識,掌握Hadoop完全分布式集群搭建;任務(wù)二通過Hive環(huán)境搭建實踐,理解數(shù)據(jù)倉庫和Hive概念,掌握根據(jù)需求進(jìn)行合理Hive部署。項目二主要訓(xùn)練Hive數(shù)據(jù)定義能力,有1個任務(wù),任務(wù)通過定義不同類型數(shù)據(jù)實踐,理解基本數(shù)據(jù)類型,復(fù)雜數(shù)據(jù)類型,并掌握不同數(shù)據(jù)類型的定義。項目三主要訓(xùn)練Hive數(shù)據(jù)管理能力,共有2個任務(wù),任務(wù)一通過Hive數(shù)據(jù)庫和表操作實踐,理解HiveDDL,掌握HiveDDL數(shù)據(jù)庫增刪改查等,掌握Hive數(shù)據(jù)表的增刪改等能力;任務(wù)二通過員工信息數(shù)據(jù)的導(dǎo)入、導(dǎo)出實踐,理解HiveDML,掌握數(shù)據(jù)導(dǎo)入和導(dǎo)出的操作能力。項目四主要訓(xùn)練Hive數(shù)據(jù)檢索能力,共有2個任務(wù),任務(wù)一通過員工信息基本查詢實踐,理解和掌握Hive的運算符、常用函數(shù)、篩選條件等概念和操作;任務(wù)二通過員工信息高級查詢實踐,掌握分組、排序、Join等高級查詢能力。項目五主要訓(xùn)練Hive內(nèi)置函數(shù)和自定義函數(shù)應(yīng)用能力,共有2個任務(wù),任務(wù)一通過員工信息的操作實踐,理解和掌握Hive內(nèi)置函數(shù)的語法和操作;任務(wù)二通過制定范圍、員工信息查詢、入職日期查詢等實踐,理解自定義函數(shù)的不同類別,掌握自定義函數(shù)的操作。 項目六主要訓(xùn)練數(shù)據(jù)存儲與壓縮能力,共有3個任務(wù),任務(wù)一通過數(shù)據(jù)壓縮實踐,理解和掌握MR的壓縮設(shè)置、Map和Reduce階段的壓縮;任務(wù)二通過不同文件存儲格式實踐,理解和掌握列式和行式存儲、TextFile格式、ORC格式、Parquet格式存儲;任務(wù)三通過存儲和壓縮結(jié)合實踐,理解和掌握ORC、Parquet存儲方式的壓縮。項目七主要訓(xùn)練數(shù)據(jù)優(yōu)化能力,共有2個任務(wù),任務(wù)一通過表的優(yōu)化實踐,理解小表Join大表、大表Join大表、MapJoin (MR引擎)、GroupBy等問題,掌握空Key過濾、空Key轉(zhuǎn)換、MapJoin優(yōu)化等優(yōu)化;任務(wù)二通過MR引擎調(diào)優(yōu)實踐,理解和掌握復(fù)雜文件、小文件合并、設(shè)置Reduce、動態(tài)分區(qū)等優(yōu)化。項目八主要搭建綜合實戰(zhàn)項目智慧電商數(shù)據(jù)分析平臺,通過項目準(zhǔn)備、項目實現(xiàn)、數(shù)據(jù)展示,使用一個完整項目,將本教材知識融會貫通,培養(yǎng)企業(yè)實際項目問題解決能力,培養(yǎng)Hive數(shù)據(jù)倉庫分層、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析、Tableau數(shù)據(jù)可視化展示能力。本書特點是學(xué)校教師與企業(yè)專家共同編寫,應(yīng)用項目式、理實一體化教學(xué)、思政教學(xué),引入企業(yè)真實項目,并包含豐富的學(xué)習(xí)資源。(1)校企共同編寫,本教材由學(xué)校教師與華為技術(shù)有限公司、慧科教育科技集團有限公司共同編寫,項目平臺及案例由華為技術(shù)有限公司、慧科教育科技集團有限公司提供。(2)三實教學(xué),通過實際場景、實踐項目、實戰(zhàn)檢驗,將真實的企業(yè)工作模式、操作環(huán)境搬入教材,通過實踐項目來對知識點進(jìn)行鞏固和加強,將零碎的知識揉合在一起,讓學(xué)生對知識有一個整體性的認(rèn)識,最后進(jìn)行實戰(zhàn)檢驗。(3)項目化教學(xué),通過項目描述、任務(wù)說明、知識引入、任務(wù)實現(xiàn)、練習(xí)測驗等環(huán)節(jié)設(shè)置項目式教學(xué),充分發(fā)掘?qū)W生的自身潛能,培養(yǎng)和提高學(xué)生的實踐動手、分析問題、解決問題及綜合能力,提升學(xué)生對知識的理解與深化。(4)理實一體化教學(xué),按任務(wù)分析理論講解操作演示技能訓(xùn)練進(jìn)程實施理實一體化教學(xué),教學(xué)過程融教學(xué)做于一體,使學(xué)生很快地從理性上升到感性,實現(xiàn)知識技能的貫通,提高了教學(xué)效率。(5)思政教學(xué),教材通過拓展知識,舉例中國企業(yè)華為擴展Hive數(shù)據(jù)倉庫技術(shù)自主開發(fā)的軟件開發(fā)工具、組件和行業(yè)應(yīng)用等,增強民族自豪感,培養(yǎng)愛國主義精神、精益求精和創(chuàng)新的工匠精神、艱苦奮斗的鉆研精神等。(6)教學(xué)資源豐富,教材提供豐富的微課視頻、PPT課件、教案、題庫、項目案例數(shù)據(jù)和代碼。本書由馮明卿、袁帥、王曉燕擔(dān)任主編,李俊艷、簡艷英、趙波、段銳、王寧博擔(dān)任副主編,盧珊、唐佐俠、劉涵青、侯思悅、劉灃嘯、王楠、李亞棟、董亮參與編寫。本書由易焱華、李祺擔(dān)任主審,他們提出了許多建設(shè)性的意見和建議。在本書的編寫中,鄭州電力高等?茖W(xué)校的其他同仁給予了熱情的支持,提出了許多寶貴的建議。同時本書還參考、引用了國內(nèi)外很多專家、同行出版的圖書和相關(guān)資料,在此一并表示衷心的感謝。由于作者水平有限,加之技術(shù)發(fā)展迅速,新概念、新應(yīng)用層出不窮,書中難免存在疏漏和不妥之處,如有問題可聯(lián)系郵箱510582939@qq.com,歡迎廣大同行專家、讀者不吝批評指正。
袁帥,鄭州電力高等專科學(xué)校大數(shù)據(jù)專業(yè)負(fù)責(zé)人,副教授,從教10年獲得河南省高等教育教學(xué)成果獎二等獎,全國電力職業(yè)教育教學(xué)成果獎二等獎,河南省教育信息化優(yōu)秀成果獎一等獎,河南省技術(shù)能手,河南省青年崗位能手,河南省骨干教師,發(fā)表論文10余篇,指導(dǎo)學(xué)生參加競賽獲得省級以上獎5余項。授課課程:數(shù)據(jù)倉庫,大數(shù)據(jù)基礎(chǔ)技術(shù),Java程序設(shè)計,MySQL數(shù)據(jù)庫技術(shù)授課對象:高等職業(yè)院校學(xué)生《計算機基礎(chǔ)(全國計算機等級考試二級MS Office高級應(yīng)用與設(shè)計精講版)》,2022年6月,在人民郵電出版社出版,書號:ISBN9887115589897《Visual Basic6程序設(shè)計:理實一體化教程》,2016年2月,在機械工業(yè)出版社出版,書號:ISBN9787111528104
前言 項目一 探索Hive開發(fā)環(huán)境 學(xué)習(xí)目標(biāo) 1 項目描述 1 任務(wù)一 Hadoop認(rèn)知及虛擬開發(fā)環(huán)境部署 1 一、 任務(wù)說明 1 二、 知識引入 2 三、 任務(wù)實現(xiàn) 4 四、 拓展知識 18 五、 練習(xí)測驗 18 任務(wù)二 數(shù)據(jù)倉庫Hive認(rèn)知及部署 18 一、 任務(wù)說明 18 二、 知識引入 19 三、 任務(wù)實現(xiàn) 24 四、 拓展知識 34 五、 練習(xí)測驗 34 項目二 探索Hive數(shù)據(jù)之林 學(xué)習(xí)目標(biāo) 36 項目描述 36 任務(wù) Hive基本數(shù)據(jù)類型 36 一、 任務(wù)說明 36 二、 知識引入 37 三、 任務(wù)實現(xiàn) 39 四、 拓展知識 44 五、 練習(xí)測驗 44 項目三 Hive數(shù)據(jù)管理 學(xué)習(xí)目標(biāo) 46 項目描述 46 任務(wù)一 定義員工信息表 47 一、 任務(wù)說明 47 二、 知識引入 47 三、 任務(wù)實現(xiàn) 56 四、 拓展知識 58 五、 練習(xí)測驗 59 任務(wù)二 員工信息數(shù)據(jù)操作 59 一、 任務(wù)說明 59 二、 知識引入 60 三、 任務(wù)實現(xiàn) 63 四、 拓展知識 65 五、 練習(xí)測驗 65 項目四 Hive數(shù)據(jù)智能探索 學(xué)習(xí)目標(biāo) 67 項目描述 67 任務(wù)一 員工信息基本查詢 68 一、 任務(wù)說明 68 二、 知識引入 68 三、 任務(wù)實現(xiàn) 76 四、 練習(xí)測驗 80 任務(wù)二 員工信息高級查詢 80 一、 任務(wù)說明 80 二、 知識引入 81 三、 任務(wù)實現(xiàn) 93 四、 拓展知識 93 五、 練習(xí)測驗 94 項目五 員工信息管理系統(tǒng) 學(xué)習(xí)目標(biāo) 95 項目描述 95 任務(wù)一 Hive內(nèi)置函數(shù) 96 一、 任務(wù)說明 96 二、 知識引入 96 三、 任務(wù)實現(xiàn) 109 四、 練習(xí)測驗 112 任務(wù)二 Hive自定義函數(shù) 112 一、 任務(wù)說明 112 二、 知識引入 113 三、 任務(wù)實現(xiàn) 115 四、 練習(xí)測驗 117 項目六 實現(xiàn)數(shù)據(jù)存儲與壓縮的融合 學(xué)習(xí)目標(biāo) 118 項目描述 118 任務(wù)一 Hadoop壓縮配置 118 一、 任務(wù)說明 118 二、 知識引入 119 三、 任務(wù)實現(xiàn) 120 四、 練習(xí)測驗 122 任務(wù)二 文件存儲格式 122 一、 任務(wù)說明 122 二、 知識引入 122 三、 任務(wù)實現(xiàn) _______125 四、 練習(xí)測驗 128 任務(wù)三 存儲和壓縮結(jié)合 129 一、 任務(wù)說明 129 二、 知識引入 129 三、 任務(wù)實現(xiàn) 130 四、 練習(xí)測驗 132 項目七 數(shù)據(jù)智能調(diào)優(yōu) 學(xué)習(xí)目標(biāo) 133 項目描述 133 任務(wù)一 表的優(yōu)化 133 一、 任務(wù)說明 133 二、 知識引入 134 三、 任務(wù)實現(xiàn) 136 四、 練習(xí)測驗 141 任務(wù)二 MR引擎調(diào)優(yōu) 141 一、 任務(wù)說明 141 二、 知識引入 142 三、 任務(wù)實現(xiàn) 144 四、 練習(xí)測驗 145 項目八 綜合實踐智慧電商數(shù)據(jù)分析平臺 學(xué)習(xí)目標(biāo) 147 項目描述 147 一、 項目目標(biāo) 147 二、 項目實施步驟 148 任務(wù)一 項目準(zhǔn)備 148 一、 需求分析 148 二、 數(shù)據(jù)結(jié)構(gòu) 149 三、 平臺環(huán)境數(shù)據(jù)準(zhǔn)備 151 任務(wù)二 項目實現(xiàn) 153 一、 總體運營指標(biāo) 153 二、 流量類指標(biāo) 159 三、 網(wǎng)站銷售類指標(biāo) 163 四、 商品類指標(biāo) 166 五、 營銷類指標(biāo) 168 六、 物流類指標(biāo) 170 任務(wù)三 數(shù)據(jù)展示 172 一、 可視化軟件介紹 172 二、 可視化軟件安裝 172 三、 數(shù)據(jù)展示 173
|