一个人看的www视频在线播放,欧美成人黑人xx视频免费观看

本書主要分為兩部分。第一部分以核心概念和基本應(yīng)用為脈絡(luò)，介紹了Flink的核心特性（如檢查點(diǎn)機(jī)制、時(shí)間與窗口、shuffle機(jī)制等），部署，DataStream API、Dataset API、Table API的應(yīng)用，運(yùn)行時(shí)的原理等內(nèi)容，每一章先對(duì)概念做基本的介紹，然后基于應(yīng)用實(shí)例詳細(xì)分析Flink的設(shè)計(jì)思想和源碼實(shí)現(xiàn)。第二部分基于對(duì)原理的理解，手把手教讀者如何進(jìn)行定制化的特性開發(fā)和性能提升，能夠讓讀者對(duì)Flink的理解有質(zhì)的飛躍。這一部分內(nèi)容來自作者大量的工作實(shí)踐，所引用例均源自企業(yè)級(jí)的真實(shí)需求，能夠解決非常復(fù)雜的現(xiàn)網(wǎng)問題。

第一部分設(shè)計(jì)思想篇第 1章序篇　3 1.1 Flink的誕生與發(fā)展　3 1.1.1 Stratosphere項(xiàng)目　3 1.1.2 Apache Flink的發(fā)展　4 1.2 Flink的應(yīng)用場(chǎng)景　5 1.2.1 事件驅(qū)動(dòng)型應(yīng)用　5 1.2.2 數(shù)據(jù)分析型應(yīng)用　5 1.2.3 數(shù)據(jù)管道型應(yīng)用　9 1.3 Flink的核心特性與架構(gòu)　9 1.3.1 核心特性　9 1.3.2 架構(gòu)　10 1.4 準(zhǔn)備工作　11 1.5 總結(jié)　12 第 2章 Flink編程　13 2.1 API層級(jí)　13 2.2 DataStream API　14 2.2.1 DataStream版本的 WordCount　14 2.2.2 數(shù)據(jù)源　16 2.2.3 數(shù)據(jù)的轉(zhuǎn)換操作　16 2.2.4 數(shù)據(jù)的輸出　20 2.2.5 重分區(qū)　21 2.3 DataSet API　21 2.3.1 DataSet版本的WordCount　21 2.3.2 數(shù)據(jù)源　22 2.3.3 數(shù)據(jù)的轉(zhuǎn)換操作　22 2.3.4 數(shù)據(jù)的輸出　24 2.3.5 重分區(qū)　25 2.4 Table API　25 2.4.1 Table API版本的WordCount　25 2.4.2 初始化執(zhí)行環(huán)境　26 2.4.3 獲取Table對(duì)象　28 2.4.4 Table API中的轉(zhuǎn)換操作及輸出　28 2.5 SQL　34 2.6 總結(jié)　34 第3章 Flink API層的實(shí)現(xiàn)原理　36 3.1 DataStream API　37 3.1.1 StreamExecutionEnvironment執(zhí)行環(huán)境　37 3.1.2 Function接口分析　42 3.1.3 StreamOperator算子分析　45 3.1.4 轉(zhuǎn)換操作分析　48 3.1.5 數(shù)據(jù)流相關(guān)類分析　53 3.2 DataSet API　59 3.2.1 ExecutionEnvironment執(zhí)行環(huán)境　59 3.2.2 InputFormat和OutputFormat　62 3.2.3 數(shù)據(jù)集相關(guān)類分析　63 3.3 Table API和SQL　68 3.4 總結(jié)　71 第4章 Flink的執(zhí)行圖　72 4.1 StreamGraph的生成　73 4.1.1 StreamGraphGenerator分析　73 4.1.2 StreamGraph分析　77 4.1.3 StreamNode和StreamEdge　80 4.2 Plan的生成　81 4.2.1 OperatorTranslation分析　82 4.2.2 Plan分析　84 4.3 從StreamGraph到JobGraph　85 4.3.1 StreamingJobGraphGenerator分析　87 4.3.2 JobGraph分析　93 4.3.3 JobVertex、JobEdge和IntermediateDataSet　94 4.4 從Plan到JobGraph　95 4.5 從JobGraph到ExecutionGraph　96 4.5.1 ExecutionGraphBuilder分析　98 4.5.2 ExecutionGraph分析　99 4.5.3 ExecutionJobVertex、ExecutionVertex和Execution分析　102 4.5.4 IntermediateResult、IntermediateResultPartition和ExecutionEdge　106 4.6 總結(jié)　108 第5章 Flink的運(yùn)行時(shí)架構(gòu)　109 5.1 客戶端代碼的運(yùn)行　110 5.2 高可用相關(guān)組件　115 5.2.1 EmbeddedHaServices　115 5.2.2 EmbeddedLeaderService　117 5.3 派發(fā)器的初始化與啟動(dòng)　122 5.4 資源管理器的初始化與啟動(dòng)　128 5.5 TaskExecutor的初始化與啟動(dòng)　131 5.6 JobMaster的初始化與啟動(dòng)　134 5.7 總結(jié)　137 第6章任務(wù)調(diào)度　138 6.1 調(diào)度器　138 6.1.1 調(diào)度器的基本構(gòu)成與初始化　139 6.1.2 構(gòu)造ExecutionGraph　142 6.2 調(diào)度拓?fù)洹?43 6.3 調(diào)度策略　147 6.3.1 EagerSchedulingStrategy　147 6.3.2 LazyFromSourcesSchedulingStrategy　149 6.3.3 InputDependencyConstraintChecker　152 6.4 調(diào)度過程的實(shí)現(xiàn)　157 6.4.1 開始調(diào)度　157 6.4.2 更新任務(wù)狀態(tài)　159 6.4.3 調(diào)度或更新消費(fèi)者　163 6.5 任務(wù)的部署　163 6.6 Execution對(duì)象在調(diào)度過程中的行為　166 6.7 總結(jié)　173 第7章任務(wù)的生命周期　174 7.1 任務(wù)的提交　174 7.1.1 TaskDeploymentDescriptor　176 7.1.2 ResultPartitionDeployment Descriptor　178 7.1.3 InputGateDeployment Descriptor　180 7.1.4 ShuffleDescriptor　181 7.1.5 ProducerDescriptor和PartitionDescriptor　185 7.1.6 TaskDeploymentDescriptor的提交　188 7.2 任務(wù)的初始化　189 7.2.1 Task的初始化　189 7.2.2 ResultPartition的初始化　191 7.2.3 InputGate的初始化　194 7.3 任務(wù)的執(zhí)行　197 7.3.1 StreamTask的初始化　202 7.3.2 StreamTask中的重要概念　204 7.3.3 StreamTask的實(shí)現(xiàn)類　219 7.3.4 StreamTask的生命周期　222 7.3.5 DataSourceTask、BatchTask和DataSinkTask　227 7.4 總結(jié)　237 第8章數(shù)據(jù)傳輸　238 8.1 基本概念與設(shè)計(jì)思想　238 8.1.1 從邏輯執(zhí)行圖到物理執(zhí)行圖　239 8.1.2 用同一套模型應(yīng)對(duì)批處理和流處理　242 8.1.3 混洗　242 8.1.4 流量控制　245 8.2 數(shù)據(jù)的輸出　252 8.2.1 ResultPartitionType　253 8.2.2 ResultPartitionWriter　256 8.2.3 ResultSubpartition　262 8.3 數(shù)據(jù)的讀取　265 8.3.1 ResultSubpartitionView　266 8.3.2 InputGate　269 8.3.3 InputChannel　273 8.4 反壓機(jī)制的原理　278 8.5 總結(jié)　283 第9章時(shí)間與窗口　284 9.1 基本概念和設(shè)計(jì)思想　284 9.1.1 從批處理到流處理　284 9.1.2 數(shù)據(jù)流模型的設(shè)計(jì)思想　287 9.1.3 Flink中與窗口操作相關(guān)的核心概念　289 9.2 WindowedStream　290 9.3 窗口相關(guān)模型的實(shí)現(xiàn)　292 9.3.1 Window類　292 9.3.2 WindowAssigner類　293 9.3.3 Trigger類　294 9.3.4 Evictor類　296 9.4 WindowOperator　297 9.5 水位線　299 9.5.1 產(chǎn)生水位線　300 9.5.2 多個(gè)數(shù)據(jù)流傳來的水位　303 9.6 定時(shí)器　304 9.7 總結(jié)　307 第 10章狀態(tài)與容錯(cuò)　308 10.1 基本概念與設(shè)計(jì)思想　308 10.1.1 狀態(tài)與容錯(cuò)的基本概念　308 10.1.2 Hadoop與Spark如何設(shè)計(jì)容錯(cuò)機(jī)制　311 10.1.3 Flink中容錯(cuò)機(jī)制的設(shè)計(jì)思想　311 10.1.4 Flink的狀態(tài)與容錯(cuò)機(jī)制的核心概念　313 10.2 狀態(tài)存儲(chǔ)　315 10.2.1 檢查點(diǎn)的觸發(fā)　316 10.2.2 柵欄的傳輸　323 10.2.3 狀態(tài)數(shù)據(jù)的更新和存儲(chǔ)　331 10.2.4 元信息的存儲(chǔ)　336 10.3 狀態(tài)恢復(fù)　341 10.3.1 元信息的讀取　342 10.3.2 狀態(tài)的重分配　344 10.3.3 狀態(tài)數(shù)據(jù)的恢復(fù)　347 10.4 狀態(tài)的重分配策略　349 10.4.1 操作符狀態(tài)的重分配　350 10.4.2 鍵控狀態(tài)的重分配　352 10.5 總結(jié)　353 第二部分特性開發(fā)篇第 11章動(dòng)態(tài)調(diào)整并行度　357 11.1 模型設(shè)計(jì)　357 11.1.1 傳統(tǒng)模型的局限　357 11.1.2 DS2模型的核心概念　358 11.1.3 算法原理　359 11.1.4 架構(gòu)設(shè)計(jì)　360 11.1.5 使用DS2模型的注意事項(xiàng)　361 11.2 指標(biāo)收集　361 11.3 指標(biāo)管理　364 11.4 總結(jié)　366 第 12章自適應(yīng)查詢執(zhí)行　367 12.1 Flink框架下的自適應(yīng)查詢執(zhí)行　368 12.1.1 執(zhí)行階段的劃分　368 12.1.2 優(yōu)化流程　368 12.1.3 優(yōu)化策略　370 12.2 統(tǒng)計(jì)信息的收集　373 12.3 執(zhí)行圖與調(diào)度拓?fù)涞男薷摹?74 12.4 上下游關(guān)系的建立　377 12.5 總結(jié)　378 第 13章 Flink Sort-Merge Shuffle　379 13.1 混洗機(jī)制的對(duì)比　379 13.2 Flink混洗機(jī)制　381 13.3 Blink混洗的數(shù)據(jù)流轉(zhuǎn)　382 13.3.1 ExternalResultPartition　383 13.3.2 PartitionMergeFileWriter　384 13.4 Blink混洗的Sort-Merge過程　386 13.4.1 PushedUnilateralSort Merger　387 13.4.2 NormalizedKeySorter　390 13.4.3 排序線程　393 13.4.4 溢寫線程　393 13.4.5 合并線程　395 13.5 文件的讀取和元信息管理　398 13.5.1 ExternalBlockResultPartition Manager　398 13.5.2 ExternalBlockResultPartition Meta　399 13.5.3 ExternalBlockSubpartition View　400 13.6 總結(jié)　402 第 14章修改檢查點(diǎn)的狀態(tài)　403 14.1 狀態(tài)修改的原理　403 14.1.1 狀態(tài)元信息的讀取　404 14.1.2 狀態(tài)數(shù)據(jù)的讀取　405 14.2 狀態(tài)處理器API　407 14.2.1 數(shù)據(jù)的讀取　409 14.2.2 數(shù)據(jù)的寫出　413 14.3 總結(jié)　414

你還可能感興趣

我要評(píng)論