波多野a∨无码高清中文,WRITEAS膀胱,91视频APP下载大全

本書共4個項目15個任務，項目由易到難、從單一到綜合，各個項目間既有機聯(lián)系又相互獨立，授課教師可以根據(jù)所教學生的學情分析結果選擇某一個項目單獨教學并進行任務實施。4個項目分別是：安裝環(huán)境準備、Hadoop集群完全分布式部署、Hadoop生態(tài)系統(tǒng)常用組件部署、Hadoop HA集群部署。每個項目的任務都包含了任務目標、知識準備、任務實施三個部分。本書對于在實際學習過程中學生需要重點掌握的知識點和技能點都用較多篇幅進行了講解，以加強學生對基礎知識的理解，知其然并知其所以然，從而使學生在任務實施過程中能夠得心應手。本書所有項目的任務實施都來自實際操作步驟，一步一圖，并且任務實施中每一條命令都有詳細注釋，只需認真閱讀、細心操作就能成功。本書適合作為各類院校大數(shù)據(jù)技術課程的教材，也適合作為大數(shù)據(jù)技術愛好者的參考用書。

放眼全球，以操作系統(tǒng)為中心，由數(shù)據(jù)庫、編程語言等一系列軟件系統(tǒng)共同構成的基礎軟件產品和生態(tài)，正作為大型戰(zhàn)略性軟件的重要“原材料”與核心“元器件”，在整個數(shù)字基礎設施產業(yè)中發(fā)揮著至關重要的作用。能否為設備、系統(tǒng)、產業(yè)和行業(yè)提供高質量的、高可靠的、可持續(xù)演進的基礎軟件，關系到國內當前和未來 IT 科研、產品與生態(tài)的核心競爭力，甚至是“生命線”。如果說芯片是信息產業(yè)的心臟，那么基礎軟件就是靈魂。首先，每個系統(tǒng)、每個設備里，基礎軟件都是不可或缺的，數(shù)字經濟、數(shù)字城市的發(fā)展都依托于數(shù)字基礎設施，基礎軟件一旦受到限制，會影響到整個數(shù)字化的進程。其次，由于基礎軟件本身的獨特性，每套系統(tǒng)的基礎軟件有且只有一套，一旦受到禁令影響，替換和升級改造帶來的成本是十分巨大的。本書選擇華為公司研發(fā)的國產開源openEuler Linux操作系統(tǒng)來替代常用的CentOS Linux操作系統(tǒng)，openEuler Linux與CentOS Linux的命令大多數(shù)兼容，有CentOS Linux經驗的使用者可以很快適應openEuler Linux。本書采用目前官方2022年8月發(fā)布的最新版本Hadoop 3.3.4進行安裝部署，市面上大多數(shù)教材都還是基于Hadoop 2.x的安裝部署。本書根據(jù)兩條主線來同步編寫，一條主線是基于實際的教學組織過程來編寫，另一條主線是基于大數(shù)據(jù)平臺構建的工作過程來編寫。大數(shù)據(jù)平臺構建是學習和運用其他大數(shù)據(jù)技術的前期基礎工作，掌握好Hadoop大數(shù)據(jù)平臺構建技術，才能更好地自主學習和掌握Hadoop生態(tài)系統(tǒng)其他組件，如HBase、Hive、Spark、Sqoop、Flume、Kafka等。本書在講解HBase、Hive、Spark等Hadoop生態(tài)系統(tǒng)組件的知識準備內容時，首先介紹獨立安裝的單機版操作系統(tǒng)軟件及其運行的內容，讓讀者快速體驗組件的Shell環(huán)境命令，然后在任務實施環(huán)節(jié)進行組件的完全分布式或者生產環(huán)境常用的安裝與配置。本書側重于大數(shù)據(jù)平臺構建，即平臺的部署、驗證及基本使用，不深入涉及其他大數(shù)據(jù)分析與應用技術。本書內容體現(xiàn)為“崗課賽證”的融合，既包括大數(shù)據(jù)運維工程師核心崗位技能要求，又包括歷年來全國職業(yè)院校技能大賽“大數(shù)據(jù)技術與應用”賽項必考項目和基礎得分項，也包括華為HCIA BigData國際認證的主要考證內容，同時還包括教育部“1+X”大數(shù)據(jù)應用部署與調優(yōu)職業(yè)技能等級證書的主要考核內容。本書的參考學時數(shù)為80學時，可分為64+16學時兩部分進行教學：前64學時為正常教學周教學，教學內容為項目1～3，屬于基礎項目和任務；后16學時安排在實訓周進行教學，教學內容為項目4，屬于進階項目和任務。當學生掌握了基礎項目1～3的知識和技能后，可以在很短的時間內掌握并完成進階項目4的學習任務。本書為智慧職教MOOC課程“大數(shù)據(jù)平臺構建”的配套教材。學生在智慧職教MOOC學院網頁(網址為https://mooc.icve.com.cn/)中搜索并且關注“大數(shù)據(jù)平臺構建”MOOC課程，可反復觀看MOOC課程里的教學視頻，直至完全掌握。本書由珠海城市職業(yè)技術學院方明清、長沙南方職業(yè)學院李兵和黔南民族職業(yè)技術學院貢玉軍等多位教師，以及珠海格力電器股份有限公司譚澤漢工程師共同編寫。其中，方明清擔任主編，譚澤漢、李兵和貢玉軍擔任副主編。全書由方明清統(tǒng)稿、定稿。由于編者水平有限，書中難免存在不妥之處，懇請廣大讀者批評指正。方明清 2022年11月

項目一　安裝環(huán)境準備 1 任務1　了解大數(shù)據(jù)的基本概念 2 任務目標 2 知識準備 2 一、大數(shù)據(jù)的定義 2 二、全球數(shù)字經濟的發(fā)展現(xiàn)狀與趨勢 3 三、我國數(shù)字經濟的國際地位與優(yōu)勢 4 四、大數(shù)據(jù)時代的挑戰(zhàn)與機遇 5 任務實施 7 任務2　下載所需軟件安裝包 8 任務目標 8 知識準備 8 一、大數(shù)據(jù)的特征 8 二、大數(shù)據(jù)生態(tài)系統(tǒng)開源技術和框架 9 三、Hadoop生態(tài)系統(tǒng) 15 四、Hadoop發(fā)展簡史與版本演變 16 任務實施 17 一、軟件下載清單及官方網址 17 二、VMware Workstation Pro試用版軟件下載 18 三、openEuler軟件下載 18 四、JDK 8軟件下載 19 五、Hadoop軟件下載 19 任務3　虛擬機軟件VMWare Workstation Pro的安裝與使用 20 任務目標 20 知識準備 20 一、VMware Workstation Pro簡介 20 二、VMware Workstation Pro網絡連接模式 21 任務實施 23 一、VMware Workstation Pro 的安裝 23 二、VMware Workstation Pro 的使用 26 任務4　openEuler Linux操作系統(tǒng)的安裝與基礎使用 33 任務目標 33 知識準備 34 一、openEuler Linux操作系統(tǒng)簡介 34 二、查看系統(tǒng)信息 35 三、配置網絡 35 四、管理系統(tǒng)服務 40 五、使用DNF管理軟件包 41 六、文本編輯器vi的使用 47 任務實施 49 一、openEuler Linux操作系統(tǒng)安裝 49 二、FTP服務器的安裝與配置 53 模擬測試試卷 61 項目二　Hadoop集群完全分布式部署 63 任務1　規(guī)劃大數(shù)據(jù)平臺集群 64 任務目標 64 知識準備 64 一、Hadoop的部署模式 64 二、Hadoop集群硬件架構 65 任務實施 66 一、Hadoop完全分布式部署的服務器角色規(guī)劃 66 二、Hadoop完全分布式部署的離線安裝所需軟件包下載 66 三、使用FTP服務器構建openEuler完整版的軟件源倉庫 67 任務2　基礎環(huán)境配置 72 任務目標 72 知識準備 73 一、SELinux 簡介 73 二、Chrony時間同步服務簡介 75 三、SSH免密登錄簡介 78 任務實施 79 一、安裝集群主節(jié)點 79 二、配置集群主機映射表 82 三、關閉防火墻與SELinux 83 四、配置主節(jié)點軟件源為FTP服務器軟件源倉庫 83 五、安裝JDK 85 六、新建hadoop用戶 86 七、克隆或復制集群從節(jié)點 86 八、安裝時間同步服務 89 九、配置SSH免密鑰登錄(以master為HDFS主節(jié)點) 93 任務3　HDFS配置、啟動與驗證 95 任務目標 95 知識準備 96 一、HDFS簡介 96 二、HDFS系統(tǒng)架構與工作原理 98 三、HDFS常用Shell命令 102 任務實施 104 一、Hadoop安裝及腳本文件環(huán)境變量配置 104 二、HDFS組件參數(shù)配置 106 三、在Shell環(huán)境中配置Hadoop環(huán)境變量 108 四、分發(fā)系統(tǒng)配置文件以及Hadoop文件 110 五、NameNode格式化 112 六、HDFS 啟動 114 七、HDFS驗證 115 任務4　YARN配置、啟動與驗證 117 任務目標 117 知識準備 118 一、YARN與MapReduce簡介 118 二、YARN系統(tǒng)架構與工作原理 119 三、MapReduce系統(tǒng)架構與工作原理 124 任務實施 129 一、配置SSH免密鑰登錄(以slave1 為YARN主節(jié)點) 129 二、配置YARN與MapReduce組件參數(shù) 131 三、分發(fā)YARN與MapReduce配置文件 133 四、啟動集群YARN與JobHistoryServer 136 五、驗證集群YARN與JobHistoryServer 138 六、準備MapReduce輸入文件 141 七、上傳輸入文件到HDFS 142 八、運行MapReduce程序測試job 142 模擬測試試卷 145 項目三　Hadoop生態(tài)系統(tǒng)常用組件部署 147 任務1　HBase的安裝部署與基本使用 148 任務目標 148 知識準備 148 一、HBase簡介 148 二、HBase系統(tǒng)架構 151 三、HBase常用Shell命令 154 任務實施 162 一、HBase完全分布式安裝、配置與驗證 162 二、HBase的基本使用 170 任務2　Hive的安裝部署與基本使用 173 任務目標 173 知識準備 173 一、Hive簡介 173 二、Hive系統(tǒng)架構 175 三、Hive安裝模式與連接方式 177 四、Hive常用命令 179 任務實施 195 一、Hive遠程模式安裝、配置與驗證 195 二、Hive基本使用 203 任務3　Spark的安裝部署與基本使用 217 任務目標 217 知識準備 218 一、Spark簡介 218 二、Spark集群運行架構 219 三、Spark運行模式 222 四、Spark應用程序提交模式 223 任務實施 225 一、Spark Local模式安裝 225 二、Spark Standalone模式安裝 228 三、Spark on YARN模式安裝 232 四、Spark SQL CLI使用 240 五、Spark編程基礎 241 模擬測試試卷 248 項目四　Hadoop HA集群部署 251 任務1　規(guī)劃Hadoop HA 集群 252 任務目標 252 知識準備 252 一、Hadoop HA簡介 252 二、Hadoop HA原理 252 任務實施 253 一、Hadoop HA部署的服務器角色規(guī)劃 253 二、Hadoop HA部署的離線安裝所需軟件包的下載 254 任務2　ZooKeeper安裝與配置 255 任務目標 255 知識準備 255 一、ZooKeeper簡介 255 二、ZooKeeper集群基本架構 256 任務實施 258 一、上傳安裝包到第1個ZooKeeper節(jié)點(如master)并解壓 258 二、配置ZooKeeper環(huán)境變量 258 三、編輯ZooKeeper配置文件 258 四、創(chuàng)建 zkData和zkDataLog目錄 259 五、設置ZooKeeper節(jié)點對應的ID(myid) 259 六、分發(fā)ZooKeeper到其他ZooKeeper節(jié)點 260 七、修改其他ZooKeeper節(jié)點對應的ID(myid) 260 八、啟動與驗證ZooKeeper集群 260 任務3　HDFS HA 配置、啟動與驗證 262 任務目標 262 知識準備 262 一、HDFS HA系統(tǒng)架構 262 二、HDFS NameNode HA工作原理 264 任務實施 265 一、配置HADOOP環(huán)境變量 265 二、修改HDFS HA核心配置文件core-site.xml 266 三、修改HDFS HA配置文件hdfs-site.xml 266 四、分發(fā)HDFS HA 配置文件 270 五、HDFS HA 集群的格式化 270 六、部署完成之后常規(guī)啟動HDFS HA集群 274 七、驗證 HDFS HA 集群 276 八、測試HDFS HA 集群主備NameNode切換 278 任務4　YARN HA 配置、啟動與驗證 280 任務目標 280 知識準備 280 一、YARN HA系統(tǒng)架構 280 二、YARN ResourceManager HA工作原理 282 任務實施 283 一、配置SSH 免密鑰登錄(slave2為主節(jié)點) 283 二、修改yarn-site.xml配置文件(YARN HA) 284 三、修改mapred-site.xml配置文件 285 四、分發(fā)YARN HA配置文件 286 五、啟動 YARN HA 集群 286 六、啟動歷史服務 288 七、驗證YARN HA集群與歷史服務 288 八、準備MapReduce輸入文件 289 九、將輸入文件上傳到HDFS 290 十、運行MapReduce程序測試job 290 十一、測試YARN HA 集群主備 ResourceManager切換 291 模擬測試試卷 292 參考文獻 295

你還可能感興趣

我要評論