草莓视频app安卓,欧美一级第一免费高清,丝瓜视频污污下载

這是一本通過分析ClickHouse底層引擎架構(gòu)來解讀ClickHouse極致性能的底層邏輯的著作，同時還總結(jié)了ClickHouse在各種適用場景中的使用技巧和性能調(diào)優(yōu)方法，讓讀者知其然，也能知其所以然。

全書一共12章，分為兩個部分：

第1部分架構(gòu)篇（第1-7章）簡要地介紹了數(shù)據(jù)倉庫的核心技術(shù)和思路，系統(tǒng)講解了ClickHouse的查詢性能優(yōu)勢、適用場景、架構(gòu)設(shè)計和運作過程，深入地剖析了ClickHouse的存儲引擎架構(gòu)、計算引擎架構(gòu)以及決定ClickHouse性能的關(guān)鍵因素，還將ClickHouse與其他數(shù)倉架構(gòu)進(jìn)行了深度對比，不僅闡明了ClickHouse查詢速度快的底層邏輯，也推導(dǎo)出了ClickHouse的適用場景。

第2部分實戰(zhàn)篇（第8-12章）針對ClickHouse的適用場景，講解了它的各種使用技巧以及存算分離架構(gòu)、分布式架構(gòu)等云計算時代的全新架構(gòu)，更重要的是，從數(shù)據(jù)結(jié)構(gòu)、內(nèi)存、磁盤、網(wǎng)絡(luò)、CPU、查詢等方面全面總結(jié)了ClickHouse的性能優(yōu)化方法和原則。

為什么要寫這本書
2021年，一次從深圳到上海的航班上，我和同事討論到了客戶的需求。同事反饋：客戶抱怨現(xiàn)有的Hive數(shù)據(jù)倉庫開發(fā)一個指標(biāo)的周期太長，客戶提出一個想法后，需要很久才能得到數(shù)據(jù)，嚴(yán)重降低了客戶的決策效率。我自信地向同事推薦了ClickHouseClickHouse正好可以用來應(yīng)對這類數(shù)據(jù)探索的場景。我滿心歡喜地認(rèn)為這個客戶的需求得到了圓滿的解決，然而墨菲定律再一次發(fā)揮了它強大的威力。
幾周后，這位同事急吼吼地找到了我：峰少，ClickHouse不行啊，查詢速度要20多秒，離客戶的1秒預(yù)期差太多了。我的第一反應(yīng)是不可能，就客戶的數(shù)據(jù)量來說，再差也不會超過3秒。隨即我意識到，一定是優(yōu)化沒有做到位。于是我開始了解同事先前的工作。
通過調(diào)研，我發(fā)現(xiàn)同事是在做一些加索引、合并ODS表的操作，這些操作的確將ClickHouse的速度提升了幾個數(shù)量級，但是依然有著近20秒的差距。這個差距，通過索引、分區(qū)等手段是解決不了的。這讓我意識到，需要從ClickHouse的底層引擎出發(fā)。最終我只是修改了其中一個數(shù)倉表的主鍵順序，就成功地將查詢速度從20秒優(yōu)化到了100毫秒，遠(yuǎn)超客戶的預(yù)期。
這個事件促使我有了寫書的想法。的確，ClickHouse以速度快聞名，但事實上這是建立在對ClickHouse的底層引擎有著深度認(rèn)知的基礎(chǔ)上的。如果還是以傳統(tǒng)數(shù)倉的方式對ClickHouse調(diào)優(yōu)，就無法充分發(fā)揮ClickHouse的性能優(yōu)勢。
ClickHouse是數(shù)倉中的另類，為了充分發(fā)揮單機優(yōu)勢，放棄了很多傳統(tǒng)數(shù)倉習(xí)以為常的設(shè)計。這導(dǎo)致了ClickHouse和當(dāng)前的主流數(shù)倉不同的適用場景和調(diào)優(yōu)方式，也給目前的數(shù)倉從業(yè)者帶來了挑戰(zhàn)：傳統(tǒng)的調(diào)優(yōu)方式無法在ClickHouse上達(dá)到極致的效果，需要對ClickHouse底層引擎有更全面的了解，并同時理解一套全新的調(diào)優(yōu)的方法論。
當(dāng)然，對于大部分大數(shù)據(jù)工程師來說，只需要了解ClickHouse的調(diào)優(yōu)方法論。但我的很多同事在了解了ClickHouse調(diào)優(yōu)的套路之后，對ClickHouse的神奇特性產(chǎn)生了好奇：為何更換一下位置就能將性能提升這么多？要理解這個問題，就需要對ClickHouse的底層引擎有深入了解。我寫這本書，就是希望能夠系統(tǒng)地將ClickHouse的底層引擎分析透徹，從而幫助讀者知其然，更能知其所以然。
讀者對象
我在寫作時盡量避免解讀ClickHouse源碼，更注重分析ClickHouse背后的思想。因為我認(rèn)為源碼是思想的外在體現(xiàn)，同樣的思想，不同的開發(fā)者在實現(xiàn)時會有不同的代碼邏輯，所以核心在于背后的思想而不是代碼的實現(xiàn)。本書面向的讀者不僅僅是ClickHouse的C 源碼開發(fā)工程師，還包括以下讀者：
ClickHouse初學(xué)者及愛好者
軟件架構(gòu)師
系統(tǒng)架構(gòu)師
ClickHouse開發(fā)者
數(shù)倉建模師
大數(shù)據(jù)工程師
ClickHouse運維工程師
中高級開發(fā)工程師
本書特色
本書從架構(gòu)設(shè)計的層面揭示了ClickHouse查詢速度快的根本原因。讀者閱讀本書后，能夠深刻理解ClickHouse的適用場景，能夠客觀地認(rèn)識ClickHouse并形成自己的認(rèn)知，為今后在實際業(yè)務(wù)中充分發(fā)揮ClickHouse的性能提供堅實的基礎(chǔ)。
在思想內(nèi)核上，本書分為明線和暗線。明線是ClickHouse為什么查詢速度快，暗線是在此基礎(chǔ)上向讀者揭示更高維度的架構(gòu)如何影響功能（能力）這個問題，從而幫助讀者在潛移默化中構(gòu)建架構(gòu)世界觀。
如何閱讀本書
本書分為兩部分。
第一部分　架構(gòu)篇（第1～7章），介紹ClickHouse的架構(gòu)，并從架構(gòu)的角度分析ClickHouse查詢速度快的底層邏輯。任何架構(gòu)都不可能適用于所有的場景，這部分會基于這個邏輯推導(dǎo)出ClickHouse的適用場景。
第二部分　實戰(zhàn)篇（第8～12章），向讀者展示ClickHouse的使用技巧、真實場景下ClickHouse如何建模、云計算時代ClickHouse的全新架構(gòu)和性能優(yōu)化等內(nèi)容。
勘誤和支持
由于作者的水平有限，書中難免會出現(xiàn)一些錯誤或者不準(zhǔn)確的地方，懇請讀者批評指正。為此，我開通了一個微信訂閱號峰少的技術(shù)空間，讀者關(guān)注后可以直接給我留言，反饋意見和建議，我會及時與大家在線交流。
書中的全部源文件可以通過以下鏈接下載，我也會及時更新相應(yīng)的功能。
前端代碼源文件鏈接為https://github.com/Wen-ace/frontend_project_user_profile_with_high_performance_of_clickhouse。
后端代碼源文件鏈接為https://github.com/chen-ace/project_user_profile_with_hign_performance_of_clickhouse。
如果讀者有更多的寶貴意見，也歡迎發(fā)送郵件至郵箱cfcz48@qq.com。期待能夠得到你們的真摯反饋。
致謝
感謝我的恩師南京大學(xué)胡昊教授。正是胡老師當(dāng)年對我的教導(dǎo)，才讓我有了求真探索的精神和看透表象的邏輯洞察力，也讓我具備了寫出這本書的能力。感謝我的恩師為本書作序。
感謝云和恩墨創(chuàng)始人、鯤鵬MVP蓋國強老師，蓋老師在數(shù)據(jù)庫行業(yè)的經(jīng)驗非常豐富，重視提攜新人，感謝蓋國強老師為本書作序。
感謝我的伯樂楊磊，楊磊先生從微末中發(fā)現(xiàn)了我，帶我進(jìn)入更大的平臺，給了我一個可以自由揮灑才華的舞臺，是楊磊先生提高了我的視野，讓我能夠從不同的角度去分析問題。同時感謝楊磊先生為本書編寫推薦語。
感謝我的公司滴普科技及公司的領(lǐng)導(dǎo)趙杰輝、王兵、吳小前、呂鑫。是公司給我創(chuàng)造了寫作的條件，并給我提供了實踐項目。沒有公司和領(lǐng)導(dǎo)們的支持，就不會有這本書的出版。
感謝京東云數(shù)據(jù)庫研發(fā)負(fù)責(zé)人高新剛、ClickHouse中國社區(qū)創(chuàng)始人郭煒、美創(chuàng)科技技術(shù)研究院數(shù)據(jù)庫內(nèi)核專家呂海波、StarRocks社區(qū)活躍貢獻(xiàn)者徐昱、中國科學(xué)院軟件研究所工程師溫一川、中亦科技數(shù)據(jù)庫產(chǎn)品副總經(jīng)理陳宏義（老貓）、南京大學(xué)助理研究員匡宏宇博士。很榮幸本書能得到這些同行和前輩的認(rèn)可。感謝你們對我的支持，為本書寫推薦語。我將不斷前行，輸出更多優(yōu)質(zhì)的內(nèi)容。
感謝我的同事：曹源、鄭聰聰、溫榮蛟、徐業(yè)洲、錢思貝、溫志強、趙宇凱、劉晶、簡婉晴。感謝你們?yōu)楸緯膭?chuàng)作提供了支撐。特別感謝溫榮蛟先生，為第9章提供了前端代碼。
感謝我的父親陳志中。他是一個淳樸的物流司機，不擅于表達(dá)，只知道一心一意支持我，對于我求學(xué)路上的要求，從來都不打折扣地滿足。也正是父親對我的無私支持，才讓我能夠?qū)Ｐ那髮W(xué)，最終寫出了這本書。
最后感謝黨和祖國，讓我這個農(nóng)村出身的孩子能夠通過教育改變自己的命運。愿祖國繁榮昌盛。
謹(jǐn)以此書獻(xiàn)給我的父親和兄弟們，以及眾多熱愛ClickHouse的朋友們！

贊譽
序1
序2
自序
前言
第一部分　架構(gòu)篇
第1章　數(shù)據(jù)倉庫的核心技術(shù)　3
1.1　OLAP和OLTP的本質(zhì)區(qū)別　4
1.1.1　數(shù)據(jù)三范式　4
1.1.2　規(guī)范化的意義　6
1.1.3　規(guī)范化的局限　7
1.1.4　數(shù)倉建模的本質(zhì)　7
1.1.5　OLAP和OLTP的底層數(shù)據(jù)模型　8
1.1.6　維度建�！�8
1.2　典型大數(shù)據(jù)數(shù)倉技術(shù)及其核心思路　10
1.2.1　Hive　10
1.2.2　HBase　11
1.2.3　Kylin　12
1.2.4　其他數(shù)倉　13
1.3　傳統(tǒng)數(shù)倉的缺陷　13
1.3.1　效率低　13
1.3.2　延遲高　14
1.3.3　成本高　14
1.4　ClickHouse查詢性能的優(yōu)勢　15
1.4.1　向量化引擎　15
1.4.2　高效的數(shù)據(jù)壓縮　16
1.4.3　高效的I/O優(yōu)化　17
1.5　本章小結(jié)　18
第2章　ClickHouse簡介　19
2.1　ClickHouse的4個標(biāo)簽　19
2.1.1　性能強大　19
2.1.2　單機處理能力強　20
2.1.3　成本低　21
2.1.4　不支持事務(wù)　21
2.2　ClickHouse的3個適用場景　22
2.2.1　BI報表的交互式分析　22
2.2.2　互聯(lián)網(wǎng)日志分析　22
2.2.3　廣告營銷　23
2.3　本章小結(jié)　24
第3章　ClickHouse架構(gòu)概覽　25
3.1　ClickHouse架構(gòu)簡介　26
3.2　ClickHouse的核心抽象　27
3.2.1　列和字段　27
3.2.2　數(shù)據(jù)類型　28
3.2.3　塊　32
3.2.4　表　33
3.3　ClickHouse的運作過程　35
3.3.1　數(shù)據(jù)插入過程　35
3.3.2　數(shù)據(jù)查詢過程　35
3.3.3　數(shù)據(jù)更新和數(shù)據(jù)刪除過程　36
3.4　本章小結(jié)　37
第4章　MergeTree存儲引擎架構(gòu)　39
4.1　MergeTree存儲引擎的三大特點　40
4.2　MergeTree的數(shù)據(jù)組織　41
4.2.1　塊　41
4.2.2　數(shù)據(jù)堆放方式　41
4.3　MergeTree的文件組織　43
4.3.1　數(shù)據(jù)文件、元數(shù)據(jù)文件、索引文件和其他文件　45
4.3.2　分區(qū)　47
4.3.3　數(shù)據(jù)庫和表　48
4.4　索引　49
4.4.1　主鍵索引　49
4.4.2　標(biāo)記　49
4.5　與事務(wù)數(shù)據(jù)庫存儲引擎的對比　50
4.6　存儲引擎如何影響查詢速度　52
4.6.1　預(yù)排序　52
4.6.2　列存　52
4.6.3　壓縮　53
4.7　MergeTree存儲引擎的工作過程　53
4.7.1　數(shù)據(jù)庫、數(shù)據(jù)表的創(chuàng)建過程　54
4.7.2　數(shù)據(jù)插入過程　54
4.7.3　分區(qū)合并和刪除過程　54
4.7.4　數(shù)據(jù)讀取過程　56
4.8　本章小結(jié)　59
第5章　ClickHouse計算引擎架構(gòu)　61
5.1　ClickHouse計算引擎的架構(gòu)簡介與設(shè)計思想　61
5.1.1　整體架構(gòu)　62
5.1.2　SQL解析器　62
5.1.3　解釋器　63
5.1.4　執(zhí)行器　63
5.1.5　設(shè)計思想　64
5.2　火山模型　65
5.2.1　火山模型概述　65
5.2.2　火山模型的原理　66
5.2.3　火山模型的優(yōu)點與缺點　67
5.3　向量化引擎　67
5.3.1　向量化引擎的實現(xiàn)方式　68
5.3.2　ClickHouse中的向量化算子　69
5.3.3　向量化引擎的前提　70
5.4　計算引擎如何影響查詢速度　72
5.4.1　ClickHouse查詢速度快的前提　72
5.4.2　ClickHouse查詢速度快的本質(zhì)　74
5.5　本章小結(jié)　74
第6章　ClickHouse與其他數(shù)倉架構(gòu)的對比　75
6.1　ClickHouse與Hive的對比　75
6.1.1　Hive的數(shù)據(jù)文件　76
6.1.2　Hive的存儲系統(tǒng)　82
6.1.3　Hive計算引擎與ClickHouse計算引擎的差異　84
6.1.4　ClickHouse比Hive查詢速度快的原因　85
6.2　ClickHouse與HBase的對比　86
6.2.1　HBase的數(shù)據(jù)模型　86
6.2.2　HBase的存儲系統(tǒng)與ClickHouse的異同　87
6.2.3　HBase的適用場景及ClickHouse不適合的原因　87
6.3　ClickHouse與Kylin的對比　88
6.3.1　Kylin的架構(gòu)　88
6.3.2　Kylin解決性能問題的思路　88
6.3.3　Kylin方案的缺陷　89
6.3.4　ClickHouse的方案　89
6.4　本章小結(jié)　91
第7章　深度思考：決定外在能力的因素　93
7.1　從架構(gòu)層面分析ClickHouse　93
7.1.1　ClickHouse速度快的前提　93
7.1.2　對ClickHouse的一些誤解　94
7.2　結(jié)構(gòu)決定功能　95
7.2.1　方法論　96
7.2.2　意義　97
7.2.3　不要過度設(shè)計　98
7.3　從ClickHouse的設(shè)計來理解　99
7.3.1　結(jié)構(gòu)決定能力的上限　99
7.3.2　結(jié)構(gòu)決定應(yīng)用層算法　99
7.4　本章小結(jié)　100
第二部分　實戰(zhàn)篇
第8章　ClickHouse使用技巧　105
8.1　數(shù)據(jù)導(dǎo)入、導(dǎo)出技巧　105
8.1.1　外部文件導(dǎo)入、導(dǎo)出技巧　105
8.1.2　靈活使用集成表引擎導(dǎo)入、導(dǎo)出數(shù)據(jù)　109
8.2　建表技巧　117
8.2.1　表引擎選擇技巧　118
8.2.2　分區(qū)鍵選擇技巧　120
8.2.3　數(shù)據(jù)結(jié)構(gòu)選擇技巧　120
8.2.4　分區(qū)技巧　121
8.3　高級技巧　121
8.3.1　物化視圖　121
8.3.2　投影　122
8.3.3　位圖　122
8.3.4　變更數(shù)據(jù)捕獲　123
8.4　常見報錯及處理方法　123
8.5　本章小結(jié)　124
第9章　ClickHouse實現(xiàn)用戶畫像系統(tǒng)　125
9.1　用戶畫像概述　125
9.1.1　用戶畫像系統(tǒng)介紹　125
9.1.2　用戶畫像系統(tǒng)的需求描述　127
9.1.3　用戶畫像系統(tǒng)的需求分析　127
9.1.4　用戶畫像系統(tǒng)的架構(gòu)　128
9.2　用戶畫像系統(tǒng)的關(guān)鍵技術(shù)實現(xiàn)　129
9.2.1　技術(shù)選型　129
9.2.2　分析階段　130
9.2.3　運營階段　136
9.3　基于ClickHouse的用戶畫像系統(tǒng)的優(yōu)點　137
9.4　本章小結(jié)　139
第10章　ClickHouse的存算分離架構(gòu)　141
10.1　存算分離架構(gòu)背景　141
10.1.1　相關(guān)概述　141
10.1.2　存算分離的典型架構(gòu)　142
10.1.3　存算分離的意義　143
10.1.4　存算分離的局限　145
10.2　ClickHouse中的存算分離　147
10.2.1　實現(xiàn)方式　147
10.2.2　注意事項　150
10.3　存算分離架構(gòu)給ClickHouse帶來的優(yōu)勢　151
10.4　本章小結(jié)　152
第11章　ClickHouse的分布式架構(gòu)　153
11.1　架構(gòu)特點及對比　153
11.1.1　ClickHouse分布式架構(gòu)的優(yōu)點　154
11.1.2　ClickHouse分布式架構(gòu)的缺點　155
11.1.3　ClickHouse與Hadoop的分布式架構(gòu)對比　156
11.2　基本概念　156
11.2.1　集群　157
11.2.2　副本　158
11.2.3　分片　159
11.3　ClickHouse的復(fù)制表引擎　160
11.3.1　創(chuàng)建復(fù)制表　160
11.3.2　復(fù)制表復(fù)制　161
11.3.3　復(fù)制表查詢　161
11.4　ClickHouse分布式表引擎　162
11.4.1　創(chuàng)建分布式表　162
11.4.2　分布式表查詢原理　163
11.4.3　分布式表的數(shù)據(jù)寫入方案　165
11.4.4　分布式表中副本的處理方式　165
11.5　本章小結(jié)　166
第12章　ClickHouse性能優(yōu)化　167
12.1　性能優(yōu)化的原則　167
12.2　數(shù)據(jù)結(jié)構(gòu)優(yōu)化　168
12.3　內(nèi)存優(yōu)化　171
12.4　磁盤優(yōu)化　171
12.5　網(wǎng)絡(luò)優(yōu)化　173
12.6　CPU優(yōu)化　173
12.7　查詢優(yōu)化　174
12.8　數(shù)據(jù)遷移優(yōu)化　176
12.9　本章小結(jié)　177

你還可能感興趣

我要評論