大數(shù)據(jù)時代的到來給企業(yè)帶來了前所未有的機遇和挑戰(zhàn)。在海量數(shù)據(jù)背后,蘊藏著巨大的價值,然而,如何高效地管理、存儲和處理這些海量數(shù)據(jù)成了擺在企業(yè)面前的重要問題。中國的大數(shù)據(jù)行業(yè)正處于快速增長和廣泛應(yīng)用的階段。作為全球較大的數(shù)據(jù)生產(chǎn)國家,中國擁有豐富多樣的數(shù)據(jù)資源。政府提出了互聯(lián)網(wǎng) 和數(shù)字中國戰(zhàn)略,積極推動大數(shù)據(jù)技術(shù)在各行各業(yè)的應(yīng)用,推動數(shù)字經(jīng)濟的發(fā)展。與此同時,中國的大數(shù)據(jù)行業(yè)也不斷壯大,產(chǎn)業(yè)鏈日益完善,涉及數(shù)據(jù)采集、存儲、分析和應(yīng)用等多個環(huán)節(jié)。Hive作為大數(shù)據(jù)領(lǐng)域一種重要的數(shù)據(jù)倉庫解決技術(shù),以其強大的分布式存儲、靈活的數(shù)據(jù)查詢功能和高效的數(shù)據(jù)壓縮優(yōu)化,成為眾多企業(yè)構(gòu)建數(shù)據(jù)倉庫的首選工具。本教材旨在為讀者提供一套實踐指南,幫助他們理解和應(yīng)用Hive,構(gòu)建高效、可靠的數(shù)據(jù)倉庫系統(tǒng)。本書是專為應(yīng)用型本科和高職學(xué)生撰寫的實踐指南,內(nèi)容涵蓋了Hive的核心概念和原理,從Hadoop和Hive的安裝和配置開始、Hive的各數(shù)據(jù)類型定義,到數(shù)據(jù)庫和表的操作、數(shù)據(jù)的查詢、內(nèi)置函數(shù)的應(yīng)用、數(shù)據(jù)各存儲格式的使用場景和壓縮、數(shù)據(jù)調(diào)優(yōu)和智慧電商數(shù)據(jù)倉庫系統(tǒng)的搭建,逐步引導(dǎo)學(xué)生掌握Hive的使用方法和技巧,幫助讀者構(gòu)建完整的數(shù)據(jù)倉庫流程。項目一主要訓(xùn)練Hadoop和Hive的環(huán)境搭建能力,共有2個任務(wù),任務(wù)一通過Hadoop大數(shù)據(jù)開發(fā)環(huán)境搭建實踐,理解Hadoop的知識,掌握Hadoop完全分布式集群搭建;任務(wù)二通過Hive環(huán)境搭建實踐,理解數(shù)據(jù)倉庫和Hive概念,掌握根據(jù)需求進(jìn)行合理Hive部署。項目二主要訓(xùn)練Hive數(shù)據(jù)定義能力,有1個任務(wù),任務(wù)通過定義不同類型數(shù)據(jù)實踐,理解基本數(shù)據(jù)類型,復(fù)雜數(shù)據(jù)類型,并掌握不同數(shù)據(jù)類型的定義。項目三主要訓(xùn)練Hive數(shù)據(jù)管理能力,共有2個任務(wù),任務(wù)一通過Hive數(shù)據(jù)庫和表操作實踐,理解HiveDDL,掌握HiveDDL數(shù)據(jù)庫增刪改查等,掌握Hive數(shù)據(jù)表的增刪改等能力;任務(wù)二通過員工信息數(shù)據(jù)的導(dǎo)入、導(dǎo)出實踐,理解HiveDML,掌握數(shù)據(jù)導(dǎo)入和導(dǎo)出的操作能力。項目四主要訓(xùn)練Hive數(shù)據(jù)檢索能力,共有2個任務(wù),任務(wù)一通過員工信息基本查詢實踐,理解和掌握Hive的運算符、常用函數(shù)、篩選條件等概念和操作;任務(wù)二通過員工信息高級查詢實踐,掌握分組、排序、Join等高級查詢能力。項目五主要訓(xùn)練Hive內(nèi)置函數(shù)和自定義函數(shù)應(yīng)用能力,共有2個任務(wù),任務(wù)一通過員工信息的操作實踐,理解和掌握Hive內(nèi)置函數(shù)的語法和操作;任務(wù)二通過制定范圍、員工信息查詢、入職日期查詢等實踐,理解自定義函數(shù)的不同類別,掌握自定義函數(shù)的操作。 項目六主要訓(xùn)練數(shù)據(jù)存儲與壓縮能力,共有3個任務(wù),任務(wù)一通過數(shù)據(jù)壓縮實踐,理解和掌握MR的壓縮設(shè)置、Map和Reduce階段的壓縮;任務(wù)二通過不同文件存儲格式實踐,理解和掌握列式和行式存儲、TextFile格式、ORC格式、Parquet格式存儲;任務(wù)三通過存儲和壓縮結(jié)合實踐,理解和掌握ORC、Parquet存儲方式的壓縮。項目七主要訓(xùn)練數(shù)據(jù)優(yōu)化能力,共有2個任務(wù),任務(wù)一通過表的優(yōu)化實踐,理解小表Join大表、大表Join大表、MapJoin (MR引擎)、GroupBy等問題,掌握空Key過濾、空Key轉(zhuǎn)換、MapJoin優(yōu)化等優(yōu)化;任務(wù)二通過MR引擎調(diào)優(yōu)實踐,理解和掌握復(fù)雜文件、小文件合并、設(shè)置Reduce、動態(tài)分區(qū)等優(yōu)化。項目八主要搭建綜合實戰(zhàn)項目智慧電商數(shù)據(jù)分析平臺,通過項目準(zhǔn)備、項目實現(xiàn)、數(shù)據(jù)展示,使用一個完整項目,將本教材知識融會貫通,培養(yǎng)企業(yè)實際項目問題解決能力,培養(yǎng)Hive數(shù)據(jù)倉庫分層、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析、Tableau數(shù)據(jù)可視化展示能力。本書特點是學(xué)校教師與企業(yè)專家共同編寫,應(yīng)用項目式、理實一體化教學(xué)、思政教學(xué),引入企業(yè)真實項目,并包含豐富的學(xué)習(xí)資源。(1)校企共同編寫,本教材由學(xué)校教師與華為技術(shù)有限公司、慧科教育科技集團有限公司共同編寫,項目平臺及案例由華為技術(shù)有限公司、慧科教育科技集團有限公司提供。(2)三實教學(xué),通過實際場景、實踐項目、實戰(zhàn)檢驗,將真實的企業(yè)工作模式、操作環(huán)境搬入教材,通過實踐項目來對知識點進(jìn)行鞏固和加強,將零碎的知識揉合在一起,讓學(xué)生對知識有一個整體性的認(rèn)識,最后進(jìn)行實戰(zhàn)檢驗。(3)項目化教學(xué),通過項目描述、任務(wù)說明、知識引入、任務(wù)實現(xiàn)、練習(xí)測驗等環(huán)節(jié)設(shè)置項目式教學(xué),充分發(fā)掘?qū)W生的自身潛能,培養(yǎng)和提高學(xué)生的實踐動手、分析問題、解決問題及綜合能力,提升學(xué)生對知識的理解與深化。(4)理實一體化教學(xué),按任務(wù)分析理論講解操作演示技能訓(xùn)練進(jìn)程實施理實一體化教學(xué),教學(xué)過程融教學(xué)做于一體,使學(xué)生很快地從理性上升到感性,實現(xiàn)知識技能的貫通,提高了教學(xué)效率。(5)思政教學(xué),教材通過拓展知識,舉例中國企業(yè)華為擴展Hive數(shù)據(jù)倉庫技術(shù)自主開發(fā)的軟件開發(fā)工具、組件和行業(yè)應(yīng)用等,增強民族自豪感,培養(yǎng)愛國主義精神、精益求精和創(chuàng)新的工匠精神、艱苦奮斗的鉆研精神等。(6)教學(xué)資源豐富,教材提供豐富的微課視頻、PPT課件、教案、題庫、項目案例數(shù)據(jù)和代碼。本書由馮明卿、袁帥、王曉燕擔(dān)任主編,李俊艷、簡艷英、趙波、段銳、王寧博擔(dān)任副主編,盧珊、唐佐俠、劉涵青、侯思悅、劉灃嘯、王楠、李亞棟、董亮參與編寫。本書由易焱華、李祺擔(dān)任主審,他們提出了許多建設(shè)性的意見和建議。在本書的編寫中,鄭州電力高等�？茖W(xué)校的其他同仁給予了熱情的支持,提出了許多寶貴的建議。同時本書還參考、引用了國內(nèi)外很多專家、同行出版的圖書和相關(guān)資料,在此一并表示衷心的感謝。由于作者水平有限,加之技術(shù)發(fā)展迅速,新概念、新應(yīng)用層出不窮,書中難免存在疏漏和不妥之處,如有問題可聯(lián)系郵箱510582939@qq.com,歡迎廣大同行專家、讀者不吝批評指正。