-
>
決戰(zhàn)行測5000題(言語理解與表達(dá))
-
>
軟件性能測試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
深度學(xué)習(xí)
-
>
Unreal Engine 4藍(lán)圖完全學(xué)習(xí)教程
-
>
深入理解計(jì)算機(jī)系統(tǒng)-原書第3版
-
>
Word/Excel PPT 2013辦公應(yīng)用從入門到精通-(附贈(zèng)1DVD.含語音視頻教學(xué)+辦公模板+PDF電子書)
Hadoop 3大數(shù)據(jù)技術(shù)快速入門 版權(quán)信息
- ISBN:9787302586463
- 條形碼:9787302586463 ; 978-7-302-58646-3
- 裝幀:一般膠版紙
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>>
Hadoop 3大數(shù)據(jù)技術(shù)快速入門 本書特色
本書基于Hadoop 3.3.0,覆蓋Hadoop、HBase、Hive的核心概念、實(shí)踐應(yīng)用、程序開發(fā)等方面的內(nèi)容,幫你快速解決大數(shù)據(jù)是什么和怎么用的問題。本書適合Java大數(shù)據(jù)開發(fā)人員快速掌握Hadoop技術(shù)。
Hadoop 3大數(shù)據(jù)技術(shù)快速入門 內(nèi)容簡介
本書基于Hadoop 3.3.0,覆蓋Hadoop、HBase、Hive的核心概念、實(shí)踐應(yīng)用、程序開發(fā)等方面的內(nèi)容,幫你快速解決大數(shù)據(jù)是什么和怎么用的問題,書中還利用Docker來部署Hadoop分布式集群,讓你同時(shí)學(xué)會(huì)4種流行的技術(shù)。 本書共9章,主要內(nèi)容包括Hadoop概述、HDFS原理詳解、Yarn原理詳解、Hadoop系統(tǒng)配置、高可用Hadoop配置、HDFS編程、MapReduce編程、Hive實(shí)戰(zhàn)、HBase實(shí)戰(zhàn)。 本書從案例入手、通俗易懂,能使讀者在很短時(shí)間內(nèi)迅速掌握Hadoop大數(shù)據(jù)技術(shù)。本書既適合Hadoop大數(shù)據(jù)初學(xué)者、大數(shù)據(jù)應(yīng)用開發(fā)人員、大數(shù)據(jù)處理人員使用,也適合高等院校和培訓(xùn)機(jī)構(gòu)大數(shù)據(jù)相關(guān)專業(yè)的師生教學(xué)參考。
Hadoop 3大數(shù)據(jù)技術(shù)快速入門 目錄
第1章 概述 1
1.1 什么是大數(shù)據(jù) 1
1.1.1 大數(shù)據(jù)系統(tǒng)的定位 1
1.1.2 與傳統(tǒng)分布式系統(tǒng)的區(qū)別 1
1.1.3 成功的大數(shù)據(jù)系統(tǒng)項(xiàng)目 2
1.2 Hadoop的原理 2
1.2.1 存儲(chǔ)與資源調(diào)度 2
1.2.2 計(jì)算框架原理 2
1.3 總結(jié) 5
第2章 HDFS原理詳解 6
2.1 主從節(jié)點(diǎn)架構(gòu) 6
2.2 數(shù)據(jù)冗余 7
2.3 fsimage與edits 8
2.4 SecondaryNameNode 9
2.5 HA 10
2.6 自動(dòng)故障轉(zhuǎn)移 11
2.7 ZooKeeper 13
2.8 防腦裂 14
2.9 聯(lián)邦 15
2.10 總結(jié) 16
第3章 Yarn原理詳解 17
3.1 概述 17
3.2 作業(yè)調(diào)度策略 19
3.2.1 容量調(diào)度器 19
3.2.2 公平調(diào)度器 21
3.2.3 隊(duì)列其他事項(xiàng) 22
3.3 Yarn與MapReduce程序 22
第4章 配置Hadoop系統(tǒng) 24
4.1 Docker簡介 24
4.2 安裝Docker 25
4.2.1 Windows、macOS做宿主系統(tǒng) 25
4.2.2 Linux做宿主系統(tǒng) 26
4.2.3 測試Docker容器 30
4.3 創(chuàng)建Hadoop容器 32
4.4 配置獨(dú)立模式Hadoop 34
4.5 配置偽分布Hadoop 37
4.5.1 安裝并配置SSH 37
4.5.2 安裝其他命令行程序 38
4.5.3 編輯core-site.xml 38
4.5.4 編輯hdfs-site.xml 39
4.5.5 編輯mapred-site.xml 40
4.5.6 編輯yarn-site.xml 40
4.5.7 編輯hadoop-env.sh 41
4.5.8 運(yùn)行偽分布式Hadoop 41
4.5.9 狀態(tài)監(jiān)控 43
4.6 基于Dockerfile的偽分布Hadoop 45
4.6.1 Dockerfile 45
4.6.2 構(gòu)建Hadoop鏡像 46
4.6.3 運(yùn)行容器 47
4.6.4 配置Hadoop 48
4.7 配置全分布式Hadoop 49
4.7.1 組件部署架構(gòu) 49
4.7.2 配置思路 50
4.7.3 修改配置文件 50
4.7.4 創(chuàng)建集群 51
4.7.5 啟動(dòng)集群 53
4.8 Windows下運(yùn)行Hadoop 55
4.8.1 配置獨(dú)立模式Hadoop 55
4.8.2 配置偽分布式Hadoop 56
4.9 Yarn調(diào)度配置 60
4.9.1 容量調(diào)度器 61
4.9.2 公平調(diào)度器 63
第5章 配置高可用Hadoop 66
5.1 HDFS高可用 66
5.1.1 組件部署架構(gòu) 66
5.1.2 修改配置文件 67
5.1.3 創(chuàng)建鏡像 70
5.1.4 創(chuàng)建HA HDFS集群 72
5.1.5 運(yùn)行HA HDFS 73
5.1.6 測試HA HDFS 74
5.1.7 NameNode自動(dòng)故障轉(zhuǎn)移 75
5.2 Yarn高可用 78
第6章 HDFS編程 81
6.1 安裝開發(fā)工具 81
6.1.1 安裝Git 81
6.1.2 安裝Maven 83
6.1.3 安裝VSCode 84
6.1.4 安裝VSCode插件 85
6.2 Native編程 87
6.2.1 創(chuàng)建HDFS客戶端項(xiàng)目 87
6.2.2 示例1:查看目錄狀態(tài) 91
6.2.3 添加依賴庫 92
6.2.4 運(yùn)行程序 96
6.2.5 示例2:創(chuàng)建目錄和文件 97
6.2.6 示例3:讀取文件內(nèi)容 99
6.2.7 示例4:上傳和下載文件 100
6.3 WebHDFS與HttpFS 101
6.3.1 WebHDFS 101
6.3.2 VSCode插件RestClient 103
6.3.3 HttpFS 104
第7章 MapReduce編程 106
7.1 準(zhǔn)備測試環(huán)境與創(chuàng)建項(xiàng)目 106
7.2 添加MapReduce邏輯 107
7.2.1 添加Map類 108
7.2.2 添加Reduce類 109
7.3 創(chuàng)建Job 110
7.4 添加依賴庫 111
7.5 運(yùn)行程序 112
7.6 查看運(yùn)行日志 114
7.7 在Hadoop中運(yùn)行程序 116
7.8 Combiner 117
7.9 Mapper與Reducer數(shù)量 119
7.10 實(shí)現(xiàn)SQL語句 120
7.10.1 簡單查詢 120
7.10.2 排序 127
7.10.3 復(fù)雜排序 129
7.10.4 分區(qū) 132
7.10.5 組合 134
7.10.6 總結(jié) 135
7.11 實(shí)現(xiàn)SQL JOIN 136
7.11.1 INNER JOIN 136
7.11.2 MapReduce實(shí)現(xiàn)JOIN 137
7.11.3 Mapper JOIN 142
7.11.4 DistributedCache 146
7.12 Counter 148
7.13 其他組件 149
7.14 升級版的WordCount 150
7.15 分布式k-means 154
第8章 Hive 166
8.1 Hive的設(shè)計(jì)架構(gòu) 166
8.2 運(yùn)行架構(gòu) 167
8.3 安裝配置Hive3 168
8.4 運(yùn)行Hive3 173
8.5 其他運(yùn)行方式 175
8.6 Hive數(shù)據(jù)管理 176
8.7 Hive查詢優(yōu)化 190
8.8 索引 192
8.9 HCatalog 192
8.10 Hive編程 194
8.11 總結(jié) 208
第9章 HBase 209
9.1 什么是HBase 209
9.2 HBase架構(gòu) 210
9.3 安裝與配置 211
9.4 基本數(shù)據(jù)操作 218
9.5 HBase設(shè)計(jì)原理 224
9.6 HBase應(yīng)用編程 232
9.7 總結(jié) 245
后記 246
Hadoop 3大數(shù)據(jù)技術(shù)快速入門 作者簡介
牛搞,軟件開發(fā)從業(yè)15年編程實(shí)戰(zhàn)經(jīng)驗(yàn),流媒體技術(shù)專家,高性能服務(wù)器專家。CSDN知名博主,F(xiàn)為IOS、Adroid、C++高級培訓(xùn)講師。著有圖書《Android 9編程通俗演義》《Android 10 Kotlin編程通俗演義》。
- >
【精裝繪本】畫給孩子的中國神話
- >
姑媽的寶刀
- >
上帝之肋:男人的真實(shí)旅程
- >
苦雨齋序跋文-周作人自編集
- >
月亮虎
- >
朝聞道
- >
人文閱讀與收藏·良友文學(xué)叢書:一天的工作
- >
巴金-再思錄