掃一掃
關(guān)注中圖網(wǎng)
官方微博
本類五星書更多>
-
>
中醫(yī)基礎(chǔ)理論
-
>
高校軍事課教程
-
>
思想道德與法治(2021年版)
-
>
毛澤東思想和中國特色社會主義理論體系概論(2021年版)
-
>
中醫(yī)內(nèi)科學(xué)·全國中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材
-
>
中醫(yī)診斷學(xué)--新世紀第五版
-
>
中藥學(xué)·全國中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材
大數(shù)據(jù)技術(shù)原理與應(yīng)用 概念、存儲、處理、分析與應(yīng)用 第4版 版權(quán)信息
- ISBN：9787115641816
- 條形碼：9787115641816 ; 978-7-115-64181-6
- 裝幀：平裝-膠訂
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
大數(shù)據(jù)技術(shù)原理與應(yīng)用 概念、存儲、處理、分析與應(yīng)用 第4版 本書特色
【內(nèi)容特點】
（1）內(nèi)容全面，結(jié)構(gòu)合理：每篇有知識地圖，每章配有本章小結(jié)、習題和實驗。
（2）理論講解透徹，案例分析詳盡：理論內(nèi)容通俗易懂，結(jié)合案例講解方法和技術(shù)，易于教和學(xué)。
【資源特點】重點難點知識微課，配套PPT、程序源代碼、習題答案等。
【服務(wù)特點】作者提供QQ服務(wù)群等支持，定期舉辦直播進行教學(xué)培訓(xùn)。
大數(shù)據(jù)技術(shù)原理與應(yīng)用 概念、存儲、處理、分析與應(yīng)用 第4版 內(nèi)容簡介
本書系統(tǒng)介紹大數(shù)據(jù)的相關(guān)知識，分為大數(shù)據(jù)基礎(chǔ)篇、大數(shù)據(jù)存儲與管理篇、大數(shù)據(jù)處理與分析篇、大數(shù)據(jù)應(yīng)用篇。本書共14章，內(nèi)容包括大數(shù)據(jù)概述、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、MapReduce、Hadoop再探討、數(shù)據(jù)倉庫Hive、Spark、流計算、Flink、圖計算、大數(shù)據(jù)應(yīng)用等。本書在與HDFS、HBase、MapReduce、Hive、Spark和Flink等相關(guān)的章中安排了入門級的實驗，以幫助讀者更好地學(xué)習和掌握大數(shù)據(jù)的關(guān)鍵技術(shù)。
本書可以作為高等院校大數(shù)據(jù)、計算機、信息管理等相關(guān)專業(yè)的大數(shù)據(jù)課程教材，也可供相關(guān)技術(shù)人員參考。
大數(shù)據(jù)技術(shù)原理與應(yīng)用 概念、存儲、處理、分析與應(yīng)用 第4版 目錄
第 1篇 大數(shù)據(jù)基礎(chǔ)
第 1章 大數(shù)據(jù)概述 2
1.1 大數(shù)據(jù)時代 2
1.1.1 第三次信息化浪潮 2
1.1.2 信息科技為大數(shù)據(jù)時代提供技術(shù)支撐 3
1.1.3 數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的到來 4
1.1.4 大數(shù)據(jù)的發(fā)展歷程 5
1.2 什么是大數(shù)據(jù) 7
1.2.1 數(shù)據(jù)量大 7
1.2.2 數(shù)據(jù)類型繁多 8
1.2.3 處理速度快 9
1.2.4 價值密度低 9
1.3 大數(shù)據(jù)的影響 10
1.3.1 大數(shù)據(jù)對科學(xué)研究的影響 10
1.3.2 大數(shù)據(jù)對思維方式的影響 11
1.3.3 大數(shù)據(jù)對社會發(fā)展的影響 12
1.3.4 大數(shù)據(jù)對就業(yè)市場的影響 13
1.3.5 大數(shù)據(jù)對人才培養(yǎng)的影響 13
1.4 大數(shù)據(jù)的應(yīng)用 14
1.4.1 大數(shù)據(jù)在各個領(lǐng)域的應(yīng)用 15
1.4.2 大數(shù)據(jù)應(yīng)用的3個層次 16
1.5 大數(shù)據(jù)關(guān)鍵技術(shù) 17
1.6 大數(shù)據(jù)計算模式 18
1.6.1 批處理計算 18
1.6.2 流計算 18
1.6.3 圖計算 19
1.6.4 查詢分析計算 19
1.7 大數(shù)據(jù)產(chǎn)業(yè) 19
1.8 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng) 21
1.8.1 云計算 21
1.8.2 物聯(lián)網(wǎng) 24
1.8.3 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系 28
1.9 本章小結(jié) 29
1.10 習題 30
第 2章 大數(shù)據(jù)處理架構(gòu)Hadoop 31
2.1 Hadoop概述 31
2.1.1 Hadoop簡介 31
2.1.2 Hadoop的發(fā)展簡史 31
2.1.3 Hadoop的特性 32
2.1.4 Hadoop的應(yīng)用現(xiàn)狀 32
2.1.5 Hadoop的版本 33
2.2 Hadoop生態(tài)系統(tǒng) 33
2.2.1 HDFS 34
2.2.2 HBase 34
2.2.3 MapReduce 34
2.2.4 Hive 34
2.2.5 Pig 35
2.2.6 Mahout 35
2.2.7 ZooKeeper 35
2.2.8 Flume 35
2.2.9 Kafka 35
2.2.10 Ambari 35
2.3 Hadoop的安裝與使用 36
2.3.1 創(chuàng)建hadoop用戶 36
2.3.2 更新apt和安裝Vim編輯器 37
2.3.3 安裝SSH和配置SSH無密碼登錄 37
2.3.4 安裝Java環(huán)境 37
2.3.5 安裝單機Hadoop 38
2.3.6 Hadoop偽分布式安裝 39
2.4 本章小結(jié) 41
2.5 習題 42
實驗1 熟悉常用的Linux操作和Hadoop操作 42
第 2篇 大數(shù)據(jù)存儲與管理
第3章 分布式文件系統(tǒng)HDFS 48
3.1 分布式文件系統(tǒng) 48
3.1.1 計算機集群的基本架構(gòu) 48
3.1.2 分布式文件系統(tǒng)的結(jié)構(gòu) 49
3.1.3 分布式文件系統(tǒng)的設(shè)計需求 50
3.2 HDFS簡介 50
3.3 HDFS的相關(guān)概念 51
3.3.1 數(shù)據(jù)塊 52
3.3.2 名稱節(jié)點和數(shù)據(jù)節(jié)點 52
3.3.3 第二名稱節(jié)點 53
3.4 HDFS體系結(jié)構(gòu) 54
3.4.1 HDFS概述 54
3.4.2 HDFS命名空間管理 55
3.4.3 通信協(xié)議 56
3.4.4 客戶端 56
3.4.5 HDFS體系結(jié)構(gòu)的局限性 56
3.5 HDFS的存儲原理 56
3.5.1 數(shù)據(jù)的冗余存儲 56
3.5.2 數(shù)據(jù)存取策略 57
3.5.3 數(shù)據(jù)錯誤與恢復(fù) 58
3.6 HDFS的數(shù)據(jù)讀寫過程 59
3.6.1 讀數(shù)據(jù)的過程 59
3.6.2 寫數(shù)據(jù)的過程 60
3.7 HDFS編程實踐 61
3.7.1 HDFS常用命令 61
3.7.2 HDFS的Web頁面 63
3.7.3 HDFS常用Java API及應(yīng)用實例 64
3.8 本章小結(jié) 67
3.9 習題 67
實驗2 熟悉常用的HDFS操作 68
第4章 分布式數(shù)據(jù)庫HBase 70
4.1 HBase概述 70
4.1.1 從BigTable說起 70
4.1.2 HBase簡介 70
4.1.3 HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對比分析 71
4.2 HBase訪問接口 72
4.3 HBase數(shù)據(jù)模型 73
4.3.1 數(shù)據(jù)模型概述 73
4.3.2 數(shù)據(jù)模型的相關(guān)概念 73
4.3.3 數(shù)據(jù)坐標 74
4.3.4 概念視圖 75
4.3.5 物理視圖 75
4.3.6 面向列的存儲 76
4.4 HBase的實現(xiàn)原理 78
4.4.1 HBase的功能組件 78
4.4.2 表和Region 79
4.4.3 Region的定位 79
4.5 HBase運行機制 81
4.5.1 HBase的系統(tǒng)架構(gòu) 81
4.5.2 Region服務(wù)器的工作原理 83
4.5.3 Store的工作原理 84
4.5.4 HLog文件的工作原理 85
4.6 HBase編程實踐 85
4.6.1 HBase常用的Shell命令 86
4.6.2 HBase常用的Java API及應(yīng)用實例 88
4.7 本章小結(jié) 98
4.8 習題 99
實驗3 熟悉常用的HBase操作 99
第5章 NoSQL數(shù)據(jù)庫 102
5.1 NoSQL數(shù)據(jù)庫簡介 102
5.2 NoSQL數(shù)據(jù)庫興起的原因 103
5.2.1 關(guān)系數(shù)據(jù)庫無法滿足Web 2.0的需求 103
5.2.2 關(guān)系數(shù)據(jù)庫的關(guān)鍵特性在Web 2.0時代成為“雞肋” 104
5.3 NoSQL數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的簡單比較 105
5.4 NoSQL數(shù)據(jù)庫的四大類型 106
5.4.1 鍵值數(shù)據(jù)庫 107
5.4.2 列族數(shù)據(jù)庫 108
5.4.3 文檔數(shù)據(jù)庫 108
5.4.4 圖數(shù)據(jù)庫 109
5.5 NoSQL數(shù)據(jù)庫的三大基石 109
5.5.1 第 一大基石：CAP 109
5.5.2 第二大基石：BASE 111
5.5.3 第三大基石：*終一致性 113
5.6 從NoSQL數(shù)據(jù)庫到NewSQL數(shù)據(jù)庫 113
5.7 本章小結(jié) 115
5.8 習題 115
實驗4 NoSQL數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫的操作比較 115
第6章 云數(shù)據(jù)庫 119
6.1 云數(shù)據(jù)庫概述 119
6.1.1 云計算是云數(shù)據(jù)庫興起的基礎(chǔ) 119
6.1.2 云數(shù)據(jù)庫的概念 120
6.1.3 云數(shù)據(jù)庫的特性 121
6.1.4 云數(shù)據(jù)庫是個性化數(shù)據(jù)存儲需求的理想選擇 123
6.1.5 云數(shù)據(jù)庫與其他數(shù)據(jù)庫的關(guān)系 123
6.2 云數(shù)據(jù)庫產(chǎn)品 124
6.2.1 主流云數(shù)據(jù)庫廠商簡介 124
6.2.2 亞馬遜的云數(shù)據(jù)庫產(chǎn)品 125
6.2.3 谷歌的云數(shù)據(jù)庫產(chǎn)品 125
6.2.4 微軟的云數(shù)據(jù)庫產(chǎn)品 125
6.2.5 其他云數(shù)據(jù)庫產(chǎn)品 126
6.3 云數(shù)據(jù)庫系統(tǒng)架構(gòu) 127
6.3.1 UMP系統(tǒng)概述 127
6.3.2 UMP系統(tǒng)架構(gòu) 127
6.3.3 UMP系統(tǒng)功能 130
6.4 本章小結(jié) 132
6.5 習題 132
第3篇 大數(shù)據(jù)處理與分析
第7章 MapReduce 134
7.1 MapReduce概述 134
7.1.1 分布式并行編程 134
7.1.2 MapReduce模型簡介 135
7.1.3 Map和Reduce函數(shù) 135
7.2 MapReduce的工作流程 136
7.2.1 MapReduce工作流程概述 136
7.2.2 MapReduce工作流程的各個執(zhí)行階段 137
7.2.3 Shuffle過程詳解 138
7.3 實例分析：WordCount 141
7.3.1 WordCount的程序任務(wù) 141
7.3.2 WordCount的設(shè)計思路 141
7.3.3 WordCount的具體執(zhí)行過程 142
7.3.4 一個WordCount執(zhí)行過程的實例 143
7.4 MapReduce的具體應(yīng)用 144
7.4.1 關(guān)系代數(shù)運算 144
7.4.2 分組與聚合運算 146
7.4.3 矩陣-向量乘法 146
7.4.4 矩陣乘法 146
7.5 MapReduce編程實踐 147
7.5.1 任務(wù)要求 147
7.5.2 編寫Map處理邏輯 148
7.5.3 編寫Reduce處理邏輯 149
7.5.4 編寫main函數(shù) 149
7.5.5 編譯打包代碼以及運行程序 150
7.6 本章小結(jié) 153
7.7 習題 153
實驗5 MapReduce初級編程實踐 154
第8章 Hadoop再探討 157
8.1 Hadoop的優(yōu)化 157
8.1.1 Hadoop的局限與不足 157
8.1.2 針對Hadoop的改進與提升 158
8.2 HDFS 2.0的新特性 158
8.2.1 HDFS HA 158
8.2.2 HDFS聯(lián)邦 160
8.3 新一代資源調(diào)度管理框架YARN 161
8.3.1 MapReduce 1.0的缺陷 162
8.3.2 YARN設(shè)計思路 162
8.3.3 YARN體系結(jié)構(gòu) 163
8.3.4 YARN工作流程 165
8.3.5 YARN框架與MapReduce 1.0框架的對比分析 166
8.3.6 YARN的發(fā)展目標 167
8.4 本章小結(jié) 168
8.5 習題 168
第9章 數(shù)據(jù)倉庫Hive 169
9.1 數(shù)據(jù)倉庫的概念 169
9.2 數(shù)據(jù)湖 171
9.2.1 數(shù)據(jù)湖的概念 171
9.2.2 數(shù)據(jù)湖與數(shù)據(jù)倉庫的區(qū)別 172
9.2.3 數(shù)據(jù)湖能解決的企業(yè)問題 173
9.3 湖倉一體 173
9.4 數(shù)據(jù)倉庫Hive概述 174
9.4.1 傳統(tǒng)數(shù)據(jù)倉庫面臨的挑戰(zhàn) 174
9.4.2 Hive簡介 175
9.4.3 Hive與Hadoop生態(tài)系統(tǒng)中其他組件的關(guān)系 175
9.4.4 Hive與傳統(tǒng)數(shù)據(jù)庫的對比分析 176
9.4.5 Hive在企業(yè)中的部署和應(yīng)用 176
9.5 Hive系統(tǒng)架構(gòu) 178
9.6 Hive工作原理 178
9.6.1 SQL語句轉(zhuǎn)換成MapReduce作業(yè)的基本原理 179
9.6.2 SQL查詢轉(zhuǎn)換成MapReduce作業(yè)的過程 180
9.7 Hive HA基本原理 181
9.8 Impala 182
9.8.1 Impala簡介 182
9.8.2 Impala的系統(tǒng)架構(gòu) 183
9.8.3 Impala查詢的執(zhí)行過程 183
9.8.4 Impala與Hive的比較 184
9.9 Hive編程實踐 185
9.9.1 Hive的數(shù)據(jù)類型 185
9.9.2 Hive的基本操作 186
9.9.3 Hive應(yīng)用實例：WordCount 189
9.9.4 Hive編程的優(yōu)勢 189
9.10 本章小結(jié) 190
9.11 習題 190
實驗6 熟悉Hive的基本操作 191
第 10章 Spark 193
10.1 Spark概述 193
10.1.1 Spark簡介 193
10.1.2 Scala簡介 194
10.1.3 Spark與Hadoop的對比 194
10.2 Spark生態(tài)系統(tǒng) 196
10.3 Spark運行架構(gòu) 198
10.3.1 基本概念 198
10.3.2 架構(gòu)設(shè)計 198
10.3.3 Spark運行基本流程 199
10.3.4 RDD的設(shè)計與運行原理 200
10.4 Spark的部署模式和應(yīng)用方式 209
10.4.1 Spark的部署模式 209
10.4.2 從“Hadoop Storm”架構(gòu)轉(zhuǎn)向Spark架構(gòu) 210
10.4.3 Hadoop和Spark的統(tǒng)一部署 211
10.5 Spark編程實踐 212
10.5.1 啟動Spark Shell 212
10.5.2 RDD基本操作 212
10.5.3 Spark應(yīng)用程序 217
10.6 本章小結(jié) 221
10.7 習題 222
實驗7 Spark初級編程實踐 222
第 11章 流計算 225
11.1 流計算概述 225
11.1.1 靜態(tài)數(shù)據(jù)和流數(shù)據(jù) 225
11.1.2 批量計算和實時計算 226
11.1.3 流計算的概念 226
11.1.4 流計算與Hadoop 227
11.1.5 流計算框架與平臺 227
11.2 流計算的處理流程 228
11.2.1 概述 228
11.2.2 數(shù)據(jù)實時采集 229
11.2.3 數(shù)據(jù)實時計算 229
11.2.4 實時查詢服務(wù) 229
11.3 流計算的應(yīng)用場景 230
11.3.1 應(yīng)用場景1：實時分析 230
11.3.2 應(yīng)用場景2：實時交通 231
11.4 流計算框架Storm 231
11.5 流計算框架Spark Streaming 232
11.6 流處理框架Structured Streaming 233
11.6.1 Structured Streaming簡介 233
11.6.2 Structured Streaming的關(guān)鍵思想 233
11.6.3 Structured Streaming的兩種處理模型 234
11.7 流計算框架Flink 235
11.8 本章小結(jié) 236
11.9 習題 236
第 12章 Flink 237
12.1 Flink簡介 237
12.2 為什么選擇Flink 237
12.2.1 傳統(tǒng)數(shù)據(jù)處理架構(gòu) 238
12.2.2 大數(shù)據(jù)Lambda架構(gòu) 238
12.2.3 流處理架構(gòu) 239
12.2.4 Flink是理想的流計算框架 240
12.2.5 Flink的優(yōu)勢 240
12.3 Flink典型應(yīng)用場景 241
12.3.1 事件驅(qū)動型應(yīng)用 241
12.3.2 數(shù)據(jù)分析應(yīng)用 242
12.3.3 數(shù)據(jù)流水線應(yīng)用 243
12.4 Flink核心組件！244
12.5 Flink體系架構(gòu) 244
12.6 Flink編程模型 246
12.7 Flink編程實踐 246
12.7.1 安裝Flink 246
12.7.2 編程實現(xiàn)WordCount程序 248
12.8 本章小結(jié) 252
12.9 習題 252
實驗8 Flink初級編程實踐 253
第 13章 圖計算 254
13.1 圖計算簡介 254
13.1.1 傳統(tǒng)圖計算解決方案的不足之處 254
13.1.2 通用圖計算軟件 255
13.2 Pregel簡介 256
13.3 Pregel圖計算模型 256
13.3.1 有向圖和頂點 256
13.3.2 頂點之間的消息傳遞 256
13.3.3 Pregel計算過程 257
13.3.4 Pregel計算過程的實例 258
13.4 Pregel的C API 260
13.4.1 消息傳遞機制 261
13.4.2 Combiner 261
13.4.3 Aggregator 262
13.4.4 拓撲改變 262
13.4.5 輸入和輸出 262
13.5 Pregel的體系結(jié)構(gòu) 263
13.5.1 Pregel的執(zhí)行過程 263
13.5.2 容錯性 264
13.5.3 Worker 265
13.5.4 Master 265
13.5.5 Aggregator 266
13.6 Pregel的應(yīng)用實例 266
13.6.1 單源*短路徑問題 266
13.6.2 二分匹配問題 267
13.7 Pregel和MapReduce實現(xiàn)PageRank算法的對比 268
13.7.1 PageRank算法 269
13.7.2 PageRank算法在Pregel中的實現(xiàn) 269
13.7.3 PageRank算法在MapReduce中的實現(xiàn) 270
13.7.4 PageRank算法在Pregel 和MapReduce中實現(xiàn)方式的比較 272
13.8 本章小結(jié) 272
13.9 習題 273
第4篇 大數(shù)據(jù)應(yīng)用
第 14章 大數(shù)據(jù)應(yīng)用 276
14.1 大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用 276
14.2 大數(shù)據(jù)在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用 277
14.2.1 流行病預(yù)測 277
14.2.2 智慧醫(yī)療 278
14.2.3 生物信息學(xué) 279
14.3 大數(shù)據(jù)在物流領(lǐng)域的應(yīng)用 279
14.3.1 智能物流的概念 280
14.3.2 大數(shù)據(jù)是智能物流的關(guān)鍵 280
14.3.3 中國智能物流骨干網(wǎng)—菜鳥 280
14.4 大數(shù)據(jù)在城市管理領(lǐng)域的應(yīng)用 281
14.4.1 智能交通 281
14.4.2 環(huán)保監(jiān)測 282
14.4.3 城市規(guī)劃 282
14.4.4 安防 283
14.5 大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用 283
14.5.1 高頻交易 284
14.5.2 市場情緒分析 284
14.5.3 信貸風險分析 284
14.5.4 大數(shù)據(jù)征信 285
14.6 大數(shù)據(jù)在汽車領(lǐng)域的應(yīng)用 286
14.7 大數(shù)據(jù)在零售領(lǐng)域的應(yīng)用 286
14.7.1 發(fā)現(xiàn)關(guān)聯(lián)購買行為 286
14.7.2 客戶群體細分 287
14.7.3 供應(yīng)鏈管理 288
14.8 大數(shù)據(jù)在餐飲領(lǐng)域的應(yīng)用 288
14.8.1 餐飲領(lǐng)域擁抱大數(shù)據(jù) 288
14.8.2 餐飲O2O 288
14.9 大數(shù)據(jù)在電信領(lǐng)域的應(yīng)用 289
14.10 大數(shù)據(jù)在能源領(lǐng)域的應(yīng)用 290
14.11 大數(shù)據(jù)在體育和娛樂領(lǐng)域的應(yīng)用 291
14.11.1 訓(xùn)練球隊 291
14.11.2 投拍影視作品 291
14.11.3 預(yù)測比賽結(jié)果 292
14.12 大數(shù)據(jù)在安全領(lǐng)域的應(yīng)用 292
14.12.1 “棱鏡門”事件 292
14.12.2 應(yīng)用大數(shù)據(jù)技術(shù)防御網(wǎng)絡(luò)攻擊 293
14.12.3 應(yīng)用大數(shù)據(jù)工具預(yù)防犯罪 293
14.13 大數(shù)據(jù)在日常生活中的應(yīng)用 294
14.14 本章小結(jié) 295
14.15 習題 296
參考文獻 297
第 1章 大數(shù)據(jù)概述 2
1.1 大數(shù)據(jù)時代 2
1.1.1 第三次信息化浪潮 2
1.1.2 信息科技為大數(shù)據(jù)時代提供技術(shù)支撐 3
1.1.3 數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的到來 4
1.1.4 大數(shù)據(jù)的發(fā)展歷程 5
1.2 什么是大數(shù)據(jù) 7
1.2.1 數(shù)據(jù)量大 7
1.2.2 數(shù)據(jù)類型繁多 8
1.2.3 處理速度快 9
1.2.4 價值密度低 9
1.3 大數(shù)據(jù)的影響 10
1.3.1 大數(shù)據(jù)對科學(xué)研究的影響 10
1.3.2 大數(shù)據(jù)對思維方式的影響 11
1.3.3 大數(shù)據(jù)對社會發(fā)展的影響 12
1.3.4 大數(shù)據(jù)對就業(yè)市場的影響 13
1.3.5 大數(shù)據(jù)對人才培養(yǎng)的影響 13
1.4 大數(shù)據(jù)的應(yīng)用 14
1.4.1 大數(shù)據(jù)在各個領(lǐng)域的應(yīng)用 15
1.4.2 大數(shù)據(jù)應(yīng)用的3個層次 16
1.5 大數(shù)據(jù)關(guān)鍵技術(shù) 17
1.6 大數(shù)據(jù)計算模式 18
1.6.1 批處理計算 18
1.6.2 流計算 18
1.6.3 圖計算 19
1.6.4 查詢分析計算 19
1.7 大數(shù)據(jù)產(chǎn)業(yè) 19
1.8 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng) 21
1.8.1 云計算 21
1.8.2 物聯(lián)網(wǎng) 24
1.8.3 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系 28
1.9 本章小結(jié) 29
1.10 習題 30
第 2章 大數(shù)據(jù)處理架構(gòu)Hadoop 31
2.1 Hadoop概述 31
2.1.1 Hadoop簡介 31
2.1.2 Hadoop的發(fā)展簡史 31
2.1.3 Hadoop的特性 32
2.1.4 Hadoop的應(yīng)用現(xiàn)狀 32
2.1.5 Hadoop的版本 33
2.2 Hadoop生態(tài)系統(tǒng) 33
2.2.1 HDFS 34
2.2.2 HBase 34
2.2.3 MapReduce 34
2.2.4 Hive 34
2.2.5 Pig 35
2.2.6 Mahout 35
2.2.7 ZooKeeper 35
2.2.8 Flume 35
2.2.9 Kafka 35
2.2.10 Ambari 35
2.3 Hadoop的安裝與使用 36
2.3.1 創(chuàng)建hadoop用戶 36
2.3.2 更新apt和安裝Vim編輯器 37
2.3.3 安裝SSH和配置SSH無密碼登錄 37
2.3.4 安裝Java環(huán)境 37
2.3.5 安裝單機Hadoop 38
2.3.6 Hadoop偽分布式安裝 39
2.4 本章小結(jié) 41
2.5 習題 42
實驗1 熟悉常用的Linux操作和Hadoop操作 42
第 2篇 大數(shù)據(jù)存儲與管理
第3章 分布式文件系統(tǒng)HDFS 48
3.1 分布式文件系統(tǒng) 48
3.1.1 計算機集群的基本架構(gòu) 48
3.1.2 分布式文件系統(tǒng)的結(jié)構(gòu) 49
3.1.3 分布式文件系統(tǒng)的設(shè)計需求 50
3.2 HDFS簡介 50
3.3 HDFS的相關(guān)概念 51
3.3.1 數(shù)據(jù)塊 52
3.3.2 名稱節(jié)點和數(shù)據(jù)節(jié)點 52
3.3.3 第二名稱節(jié)點 53
3.4 HDFS體系結(jié)構(gòu) 54
3.4.1 HDFS概述 54
3.4.2 HDFS命名空間管理 55
3.4.3 通信協(xié)議 56
3.4.4 客戶端 56
3.4.5 HDFS體系結(jié)構(gòu)的局限性 56
3.5 HDFS的存儲原理 56
3.5.1 數(shù)據(jù)的冗余存儲 56
3.5.2 數(shù)據(jù)存取策略 57
3.5.3 數(shù)據(jù)錯誤與恢復(fù) 58
3.6 HDFS的數(shù)據(jù)讀寫過程 59
3.6.1 讀數(shù)據(jù)的過程 59
3.6.2 寫數(shù)據(jù)的過程 60
3.7 HDFS編程實踐 61
3.7.1 HDFS常用命令 61
3.7.2 HDFS的Web頁面 63
3.7.3 HDFS常用Java API及應(yīng)用實例 64
3.8 本章小結(jié) 67
3.9 習題 67
實驗2 熟悉常用的HDFS操作 68
第4章 分布式數(shù)據(jù)庫HBase 70
4.1 HBase概述 70
4.1.1 從BigTable說起 70
4.1.2 HBase簡介 70
4.1.3 HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對比分析 71
4.2 HBase訪問接口 72
4.3 HBase數(shù)據(jù)模型 73
4.3.1 數(shù)據(jù)模型概述 73
4.3.2 數(shù)據(jù)模型的相關(guān)概念 73
4.3.3 數(shù)據(jù)坐標 74
4.3.4 概念視圖 75
4.3.5 物理視圖 75
4.3.6 面向列的存儲 76
4.4 HBase的實現(xiàn)原理 78
4.4.1 HBase的功能組件 78
4.4.2 表和Region 79
4.4.3 Region的定位 79
4.5 HBase運行機制 81
4.5.1 HBase的系統(tǒng)架構(gòu) 81
4.5.2 Region服務(wù)器的工作原理 83
4.5.3 Store的工作原理 84
4.5.4 HLog文件的工作原理 85
4.6 HBase編程實踐 85
4.6.1 HBase常用的Shell命令 86
4.6.2 HBase常用的Java API及應(yīng)用實例 88
4.7 本章小結(jié) 98
4.8 習題 99
實驗3 熟悉常用的HBase操作 99
第5章 NoSQL數(shù)據(jù)庫 102
5.1 NoSQL數(shù)據(jù)庫簡介 102
5.2 NoSQL數(shù)據(jù)庫興起的原因 103
5.2.1 關(guān)系數(shù)據(jù)庫無法滿足Web 2.0的需求 103
5.2.2 關(guān)系數(shù)據(jù)庫的關(guān)鍵特性在Web 2.0時代成為“雞肋” 104
5.3 NoSQL數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的簡單比較 105
5.4 NoSQL數(shù)據(jù)庫的四大類型 106
5.4.1 鍵值數(shù)據(jù)庫 107
5.4.2 列族數(shù)據(jù)庫 108
5.4.3 文檔數(shù)據(jù)庫 108
5.4.4 圖數(shù)據(jù)庫 109
5.5 NoSQL數(shù)據(jù)庫的三大基石 109
5.5.1 第 一大基石：CAP 109
5.5.2 第二大基石：BASE 111
5.5.3 第三大基石：*終一致性 113
5.6 從NoSQL數(shù)據(jù)庫到NewSQL數(shù)據(jù)庫 113
5.7 本章小結(jié) 115
5.8 習題 115
實驗4 NoSQL數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫的操作比較 115
第6章 云數(shù)據(jù)庫 119
6.1 云數(shù)據(jù)庫概述 119
6.1.1 云計算是云數(shù)據(jù)庫興起的基礎(chǔ) 119
6.1.2 云數(shù)據(jù)庫的概念 120
6.1.3 云數(shù)據(jù)庫的特性 121
6.1.4 云數(shù)據(jù)庫是個性化數(shù)據(jù)存儲需求的理想選擇 123
6.1.5 云數(shù)據(jù)庫與其他數(shù)據(jù)庫的關(guān)系 123
6.2 云數(shù)據(jù)庫產(chǎn)品 124
6.2.1 主流云數(shù)據(jù)庫廠商簡介 124
6.2.2 亞馬遜的云數(shù)據(jù)庫產(chǎn)品 125
6.2.3 谷歌的云數(shù)據(jù)庫產(chǎn)品 125
6.2.4 微軟的云數(shù)據(jù)庫產(chǎn)品 125
6.2.5 其他云數(shù)據(jù)庫產(chǎn)品 126
6.3 云數(shù)據(jù)庫系統(tǒng)架構(gòu) 127
6.3.1 UMP系統(tǒng)概述 127
6.3.2 UMP系統(tǒng)架構(gòu) 127
6.3.3 UMP系統(tǒng)功能 130
6.4 本章小結(jié) 132
6.5 習題 132
第3篇 大數(shù)據(jù)處理與分析
第7章 MapReduce 134
7.1 MapReduce概述 134
7.1.1 分布式并行編程 134
7.1.2 MapReduce模型簡介 135
7.1.3 Map和Reduce函數(shù) 135
7.2 MapReduce的工作流程 136
7.2.1 MapReduce工作流程概述 136
7.2.2 MapReduce工作流程的各個執(zhí)行階段 137
7.2.3 Shuffle過程詳解 138
7.3 實例分析：WordCount 141
7.3.1 WordCount的程序任務(wù) 141
7.3.2 WordCount的設(shè)計思路 141
7.3.3 WordCount的具體執(zhí)行過程 142
7.3.4 一個WordCount執(zhí)行過程的實例 143
7.4 MapReduce的具體應(yīng)用 144
7.4.1 關(guān)系代數(shù)運算 144
7.4.2 分組與聚合運算 146
7.4.3 矩陣-向量乘法 146
7.4.4 矩陣乘法 146
7.5 MapReduce編程實踐 147
7.5.1 任務(wù)要求 147
7.5.2 編寫Map處理邏輯 148
7.5.3 編寫Reduce處理邏輯 149
7.5.4 編寫main函數(shù) 149
7.5.5 編譯打包代碼以及運行程序 150
7.6 本章小結(jié) 153
7.7 習題 153
實驗5 MapReduce初級編程實踐 154
第8章 Hadoop再探討 157
8.1 Hadoop的優(yōu)化 157
8.1.1 Hadoop的局限與不足 157
8.1.2 針對Hadoop的改進與提升 158
8.2 HDFS 2.0的新特性 158
8.2.1 HDFS HA 158
8.2.2 HDFS聯(lián)邦 160
8.3 新一代資源調(diào)度管理框架YARN 161
8.3.1 MapReduce 1.0的缺陷 162
8.3.2 YARN設(shè)計思路 162
8.3.3 YARN體系結(jié)構(gòu) 163
8.3.4 YARN工作流程 165
8.3.5 YARN框架與MapReduce 1.0框架的對比分析 166
8.3.6 YARN的發(fā)展目標 167
8.4 本章小結(jié) 168
8.5 習題 168
第9章 數(shù)據(jù)倉庫Hive 169
9.1 數(shù)據(jù)倉庫的概念 169
9.2 數(shù)據(jù)湖 171
9.2.1 數(shù)據(jù)湖的概念 171
9.2.2 數(shù)據(jù)湖與數(shù)據(jù)倉庫的區(qū)別 172
9.2.3 數(shù)據(jù)湖能解決的企業(yè)問題 173
9.3 湖倉一體 173
9.4 數(shù)據(jù)倉庫Hive概述 174
9.4.1 傳統(tǒng)數(shù)據(jù)倉庫面臨的挑戰(zhàn) 174
9.4.2 Hive簡介 175
9.4.3 Hive與Hadoop生態(tài)系統(tǒng)中其他組件的關(guān)系 175
9.4.4 Hive與傳統(tǒng)數(shù)據(jù)庫的對比分析 176
9.4.5 Hive在企業(yè)中的部署和應(yīng)用 176
9.5 Hive系統(tǒng)架構(gòu) 178
9.6 Hive工作原理 178
9.6.1 SQL語句轉(zhuǎn)換成MapReduce作業(yè)的基本原理 179
9.6.2 SQL查詢轉(zhuǎn)換成MapReduce作業(yè)的過程 180
9.7 Hive HA基本原理 181
9.8 Impala 182
9.8.1 Impala簡介 182
9.8.2 Impala的系統(tǒng)架構(gòu) 183
9.8.3 Impala查詢的執(zhí)行過程 183
9.8.4 Impala與Hive的比較 184
9.9 Hive編程實踐 185
9.9.1 Hive的數(shù)據(jù)類型 185
9.9.2 Hive的基本操作 186
9.9.3 Hive應(yīng)用實例：WordCount 189
9.9.4 Hive編程的優(yōu)勢 189
9.10 本章小結(jié) 190
9.11 習題 190
實驗6 熟悉Hive的基本操作 191
第 10章 Spark 193
10.1 Spark概述 193
10.1.1 Spark簡介 193
10.1.2 Scala簡介 194
10.1.3 Spark與Hadoop的對比 194
10.2 Spark生態(tài)系統(tǒng) 196
10.3 Spark運行架構(gòu) 198
10.3.1 基本概念 198
10.3.2 架構(gòu)設(shè)計 198
10.3.3 Spark運行基本流程 199
10.3.4 RDD的設(shè)計與運行原理 200
10.4 Spark的部署模式和應(yīng)用方式 209
10.4.1 Spark的部署模式 209
10.4.2 從“Hadoop Storm”架構(gòu)轉(zhuǎn)向Spark架構(gòu) 210
10.4.3 Hadoop和Spark的統(tǒng)一部署 211
10.5 Spark編程實踐 212
10.5.1 啟動Spark Shell 212
10.5.2 RDD基本操作 212
10.5.3 Spark應(yīng)用程序 217
10.6 本章小結(jié) 221
10.7 習題 222
實驗7 Spark初級編程實踐 222
第 11章 流計算 225
11.1 流計算概述 225
11.1.1 靜態(tài)數(shù)據(jù)和流數(shù)據(jù) 225
11.1.2 批量計算和實時計算 226
11.1.3 流計算的概念 226
11.1.4 流計算與Hadoop 227
11.1.5 流計算框架與平臺 227
11.2 流計算的處理流程 228
11.2.1 概述 228
11.2.2 數(shù)據(jù)實時采集 229
11.2.3 數(shù)據(jù)實時計算 229
11.2.4 實時查詢服務(wù) 229
11.3 流計算的應(yīng)用場景 230
11.3.1 應(yīng)用場景1：實時分析 230
11.3.2 應(yīng)用場景2：實時交通 231
11.4 流計算框架Storm 231
11.5 流計算框架Spark Streaming 232
11.6 流處理框架Structured Streaming 233
11.6.1 Structured Streaming簡介 233
11.6.2 Structured Streaming的關(guān)鍵思想 233
11.6.3 Structured Streaming的兩種處理模型 234
11.7 流計算框架Flink 235
11.8 本章小結(jié) 236
11.9 習題 236
第 12章 Flink 237
12.1 Flink簡介 237
12.2 為什么選擇Flink 237
12.2.1 傳統(tǒng)數(shù)據(jù)處理架構(gòu) 238
12.2.2 大數(shù)據(jù)Lambda架構(gòu) 238
12.2.3 流處理架構(gòu) 239
12.2.4 Flink是理想的流計算框架 240
12.2.5 Flink的優(yōu)勢 240
12.3 Flink典型應(yīng)用場景 241
12.3.1 事件驅(qū)動型應(yīng)用 241
12.3.2 數(shù)據(jù)分析應(yīng)用 242
12.3.3 數(shù)據(jù)流水線應(yīng)用 243
12.4 Flink核心組件！244
12.5 Flink體系架構(gòu) 244
12.6 Flink編程模型 246
12.7 Flink編程實踐 246
12.7.1 安裝Flink 246
12.7.2 編程實現(xiàn)WordCount程序 248
12.8 本章小結(jié) 252
12.9 習題 252
實驗8 Flink初級編程實踐 253
第 13章 圖計算 254
13.1 圖計算簡介 254
13.1.1 傳統(tǒng)圖計算解決方案的不足之處 254
13.1.2 通用圖計算軟件 255
13.2 Pregel簡介 256
13.3 Pregel圖計算模型 256
13.3.1 有向圖和頂點 256
13.3.2 頂點之間的消息傳遞 256
13.3.3 Pregel計算過程 257
13.3.4 Pregel計算過程的實例 258
13.4 Pregel的C API 260
13.4.1 消息傳遞機制 261
13.4.2 Combiner 261
13.4.3 Aggregator 262
13.4.4 拓撲改變 262
13.4.5 輸入和輸出 262
13.5 Pregel的體系結(jié)構(gòu) 263
13.5.1 Pregel的執(zhí)行過程 263
13.5.2 容錯性 264
13.5.3 Worker 265
13.5.4 Master 265
13.5.5 Aggregator 266
13.6 Pregel的應(yīng)用實例 266
13.6.1 單源*短路徑問題 266
13.6.2 二分匹配問題 267
13.7 Pregel和MapReduce實現(xiàn)PageRank算法的對比 268
13.7.1 PageRank算法 269
13.7.2 PageRank算法在Pregel中的實現(xiàn) 269
13.7.3 PageRank算法在MapReduce中的實現(xiàn) 270
13.7.4 PageRank算法在Pregel 和MapReduce中實現(xiàn)方式的比較 272
13.8 本章小結(jié) 272
13.9 習題 273
第4篇 大數(shù)據(jù)應(yīng)用
第 14章 大數(shù)據(jù)應(yīng)用 276
14.1 大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用 276
14.2 大數(shù)據(jù)在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用 277
14.2.1 流行病預(yù)測 277
14.2.2 智慧醫(yī)療 278
14.2.3 生物信息學(xué) 279
14.3 大數(shù)據(jù)在物流領(lǐng)域的應(yīng)用 279
14.3.1 智能物流的概念 280
14.3.2 大數(shù)據(jù)是智能物流的關(guān)鍵 280
14.3.3 中國智能物流骨干網(wǎng)—菜鳥 280
14.4 大數(shù)據(jù)在城市管理領(lǐng)域的應(yīng)用 281
14.4.1 智能交通 281
14.4.2 環(huán)保監(jiān)測 282
14.4.3 城市規(guī)劃 282
14.4.4 安防 283
14.5 大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用 283
14.5.1 高頻交易 284
14.5.2 市場情緒分析 284
14.5.3 信貸風險分析 284
14.5.4 大數(shù)據(jù)征信 285
14.6 大數(shù)據(jù)在汽車領(lǐng)域的應(yīng)用 286
14.7 大數(shù)據(jù)在零售領(lǐng)域的應(yīng)用 286
14.7.1 發(fā)現(xiàn)關(guān)聯(lián)購買行為 286
14.7.2 客戶群體細分 287
14.7.3 供應(yīng)鏈管理 288
14.8 大數(shù)據(jù)在餐飲領(lǐng)域的應(yīng)用 288
14.8.1 餐飲領(lǐng)域擁抱大數(shù)據(jù) 288
14.8.2 餐飲O2O 288
14.9 大數(shù)據(jù)在電信領(lǐng)域的應(yīng)用 289
14.10 大數(shù)據(jù)在能源領(lǐng)域的應(yīng)用 290
14.11 大數(shù)據(jù)在體育和娛樂領(lǐng)域的應(yīng)用 291
14.11.1 訓(xùn)練球隊 291
14.11.2 投拍影視作品 291
14.11.3 預(yù)測比賽結(jié)果 292
14.12 大數(shù)據(jù)在安全領(lǐng)域的應(yīng)用 292
14.12.1 “棱鏡門”事件 292
14.12.2 應(yīng)用大數(shù)據(jù)技術(shù)防御網(wǎng)絡(luò)攻擊 293
14.12.3 應(yīng)用大數(shù)據(jù)工具預(yù)防犯罪 293
14.13 大數(shù)據(jù)在日常生活中的應(yīng)用 294
14.14 本章小結(jié) 295
14.15 習題 296
參考文獻 297
展開全部
大數(shù)據(jù)技術(shù)原理與應(yīng)用 概念、存儲、處理、分析與應(yīng)用 第4版 作者簡介
林子雨（1978－），男，博士（畢業(yè)于北京大學(xué)），國內(nèi)高校知名大數(shù)據(jù)教師，廈門大學(xué)計算機科學(xué)系副教授，廈門大學(xué)信息學(xué)院實驗教學(xué)中心主任，廈門大學(xué)數(shù)據(jù)庫實驗室負責人，中國計算機學(xué)會數(shù)據(jù)庫專委會委員，中國計算機學(xué)會信息系統(tǒng)專委會委員，中國高校首個“數(shù)字教師”提出者和建設(shè)者。廈門大學(xué)2013年度、2017年度和2020年度獎教金獲得者，獲評“廈門大學(xué)2019年度本科教學(xué)示范崗”，入選“2021年高校計算機專業(yè)優(yōu)秀教師獎勵計劃”。2013年開始在廈門大學(xué)開設(shè)大數(shù)據(jù)課程，建設(shè)了國內(nèi)高校首個大數(shù)據(jù)課程公共服務(wù)平臺，平臺累計網(wǎng)絡(luò)訪問量超過1500萬次，成為全國高校大數(shù)據(jù)教學(xué)知名品牌，并榮獲“2018年福建省教學(xué)成果二等獎”和“2018年廈門大學(xué)教學(xué)成果特等獎”，主持的課程《大數(shù)據(jù)技術(shù)原理與應(yīng)用》獲評“2018年國家精品在線開放課程”、“2020年國家級線上一流本科課程”和“2021年福建省線上線下混合一流本科課程”，主持的課程《Spark編程基礎(chǔ)》獲評“2020年福建省線上一流本科課程”。
書友推薦
- >
巴金－再思錄
- >
二體千字文
- >
朝聞道
- >
龍榆生：詞曲概論/大家小書
- >
有舍有得是人生
- >
名家?guī)阕x魯迅:故事新編
- >
經(jīng)典常談
- >
詩經(jīng)-先民的歌唱
本類暢銷
