書馨卡幫你省薪 2024個(gè)人購書報(bào)告 2024中圖網(wǎng)年度報(bào)告
歡迎光臨中圖網(wǎng) 請 | 注冊
> >>
Hadoop 3大數(shù)據(jù)技術(shù)快速入門

Hadoop 3大數(shù)據(jù)技術(shù)快速入門

作者:牛搞
出版社:清華大學(xué)出版社出版時(shí)間:2021-09-01
開本: 其他 頁數(shù): 245
中 圖 價(jià):¥46.6(7.9折) 定價(jià)  ¥59.0 登錄后可看到會(huì)員價(jià)
加入購物車 收藏
運(yùn)費(fèi)6元,滿39元免運(yùn)費(fèi)
?新疆、西藏除外
本類五星書更多>

Hadoop 3大數(shù)據(jù)技術(shù)快速入門 版權(quán)信息

Hadoop 3大數(shù)據(jù)技術(shù)快速入門 本書特色

本書基于Hadoop 3.3.0,覆蓋Hadoop、HBase、Hive的核心概念、實(shí)踐應(yīng)用、程序開發(fā)等方面的內(nèi)容,幫你快速解決大數(shù)據(jù)是什么和怎么用的問題。本書適合Java大數(shù)據(jù)開發(fā)人員快速掌握Hadoop技術(shù)。

Hadoop 3大數(shù)據(jù)技術(shù)快速入門 內(nèi)容簡介

本書基于Hadoop 3.3.0,覆蓋Hadoop、HBase、Hive的核心概念、實(shí)踐應(yīng)用、程序開發(fā)等方面的內(nèi)容,幫你快速解決大數(shù)據(jù)是什么和怎么用的問題,書中還利用Docker來部署Hadoop分布式集群,讓你同時(shí)學(xué)會(huì)4種流行的技術(shù)。 本書共9章,主要內(nèi)容包括Hadoop概述、HDFS原理詳解、Yarn原理詳解、Hadoop系統(tǒng)配置、高可用Hadoop配置、HDFS編程、MapReduce編程、Hive實(shí)戰(zhàn)、HBase實(shí)戰(zhàn)。 本書從案例入手、通俗易懂,能使讀者在很短時(shí)間內(nèi)迅速掌握Hadoop大數(shù)據(jù)技術(shù)。本書既適合Hadoop大數(shù)據(jù)初學(xué)者、大數(shù)據(jù)應(yīng)用開發(fā)人員、大數(shù)據(jù)處理人員使用,也適合高等院校和培訓(xùn)機(jī)構(gòu)大數(shù)據(jù)相關(guān)專業(yè)的師生教學(xué)參考。

Hadoop 3大數(shù)據(jù)技術(shù)快速入門 目錄

第1章 概述 1

1.1 什么是大數(shù)據(jù) 1

1.1.1 大數(shù)據(jù)系統(tǒng)的定位 1

1.1.2 與傳統(tǒng)分布式系統(tǒng)的區(qū)別 1

1.1.3 成功的大數(shù)據(jù)系統(tǒng)項(xiàng)目 2

1.2 Hadoop的原理 2

1.2.1 存儲(chǔ)與資源調(diào)度 2

1.2.2 計(jì)算框架原理 2

1.3 總結(jié) 5

第2章 HDFS原理詳解 6

2.1 主從節(jié)點(diǎn)架構(gòu) 6

2.2 數(shù)據(jù)冗余 7

2.3 fsimage與edits 8

2.4 SecondaryNameNode 9

2.5 HA 10

2.6 自動(dòng)故障轉(zhuǎn)移 11

2.7 ZooKeeper 13

2.8 防腦裂 14

2.9 聯(lián)邦 15

2.10 總結(jié) 16

第3章 Yarn原理詳解 17

3.1 概述 17

3.2 作業(yè)調(diào)度策略 19

3.2.1 容量調(diào)度器 19

3.2.2 公平調(diào)度器 21

3.2.3 隊(duì)列其他事項(xiàng) 22

3.3 Yarn與MapReduce程序 22

第4章 配置Hadoop系統(tǒng) 24

4.1 Docker簡介 24

4.2 安裝Docker 25

4.2.1 Windows、macOS做宿主系統(tǒng) 25

4.2.2 Linux做宿主系統(tǒng) 26

4.2.3 測試Docker容器 30

4.3 創(chuàng)建Hadoop容器 32

4.4 配置獨(dú)立模式Hadoop 34

4.5 配置偽分布Hadoop 37

4.5.1 安裝并配置SSH 37

4.5.2 安裝其他命令行程序 38

4.5.3 編輯core-site.xml 38

4.5.4 編輯hdfs-site.xml 39

4.5.5 編輯mapred-site.xml 40

4.5.6 編輯yarn-site.xml 40

4.5.7 編輯hadoop-env.sh 41

4.5.8 運(yùn)行偽分布式Hadoop 41

4.5.9 狀態(tài)監(jiān)控 43

4.6 基于Dockerfile的偽分布Hadoop 45

4.6.1 Dockerfile 45

4.6.2 構(gòu)建Hadoop鏡像 46

4.6.3 運(yùn)行容器 47

4.6.4 配置Hadoop 48

4.7 配置全分布式Hadoop 49

4.7.1 組件部署架構(gòu) 49

4.7.2 配置思路 50

4.7.3 修改配置文件 50

4.7.4 創(chuàng)建集群 51

4.7.5 啟動(dòng)集群 53

4.8 Windows下運(yùn)行Hadoop 55

4.8.1 配置獨(dú)立模式Hadoop 55

4.8.2 配置偽分布式Hadoop 56

4.9 Yarn調(diào)度配置 60

4.9.1 容量調(diào)度器 61

4.9.2 公平調(diào)度器 63

第5章 配置高可用Hadoop 66

5.1 HDFS高可用 66

5.1.1 組件部署架構(gòu) 66

5.1.2 修改配置文件 67

5.1.3 創(chuàng)建鏡像 70

5.1.4 創(chuàng)建HA HDFS集群 72

5.1.5 運(yùn)行HA HDFS 73

5.1.6 測試HA HDFS 74

5.1.7 NameNode自動(dòng)故障轉(zhuǎn)移 75

5.2 Yarn高可用 78

第6章 HDFS編程 81

6.1 安裝開發(fā)工具 81

6.1.1 安裝Git 81

6.1.2 安裝Maven 83

6.1.3 安裝VSCode 84

6.1.4 安裝VSCode插件 85

6.2 Native編程 87

6.2.1 創(chuàng)建HDFS客戶端項(xiàng)目 87

6.2.2 示例1:查看目錄狀態(tài) 91

6.2.3 添加依賴庫 92

6.2.4 運(yùn)行程序 96

6.2.5 示例2:創(chuàng)建目錄和文件 97

6.2.6 示例3:讀取文件內(nèi)容 99

6.2.7 示例4:上傳和下載文件 100

6.3 WebHDFS與HttpFS 101

6.3.1 WebHDFS 101

6.3.2 VSCode插件RestClient 103

6.3.3 HttpFS 104

第7章 MapReduce編程 106

7.1 準(zhǔn)備測試環(huán)境與創(chuàng)建項(xiàng)目 106

7.2 添加MapReduce邏輯 107

7.2.1 添加Map類 108

7.2.2 添加Reduce類 109

7.3 創(chuàng)建Job 110

7.4 添加依賴庫 111

7.5 運(yùn)行程序 112

7.6 查看運(yùn)行日志 114

7.7 在Hadoop中運(yùn)行程序 116

7.8 Combiner 117

7.9 Mapper與Reducer數(shù)量 119

7.10 實(shí)現(xiàn)SQL語句 120

7.10.1 簡單查詢 120

7.10.2 排序 127

7.10.3 復(fù)雜排序 129

7.10.4 分區(qū) 132

7.10.5 組合 134

7.10.6 總結(jié) 135

7.11 實(shí)現(xiàn)SQL JOIN 136

7.11.1 INNER JOIN 136

7.11.2 MapReduce實(shí)現(xiàn)JOIN 137

7.11.3 Mapper JOIN 142

7.11.4 DistributedCache 146

7.12 Counter 148

7.13 其他組件 149

7.14 升級版的WordCount 150

7.15 分布式k-means 154

第8章 Hive 166

8.1 Hive的設(shè)計(jì)架構(gòu) 166

8.2 運(yùn)行架構(gòu) 167

8.3 安裝配置Hive3 168

8.4 運(yùn)行Hive3 173

8.5 其他運(yùn)行方式 175

8.6 Hive數(shù)據(jù)管理 176

8.7 Hive查詢優(yōu)化 190

8.8 索引 192

8.9 HCatalog 192

8.10 Hive編程 194

8.11 總結(jié) 208

第9章 HBase 209

9.1 什么是HBase 209

9.2 HBase架構(gòu) 210

9.3 安裝與配置 211

9.4 基本數(shù)據(jù)操作 218

9.5 HBase設(shè)計(jì)原理 224

9.6 HBase應(yīng)用編程 232

9.7 總結(jié) 245

后記 246

展開全部

Hadoop 3大數(shù)據(jù)技術(shù)快速入門 作者簡介

牛搞,軟件開發(fā)從業(yè)15年編程實(shí)戰(zhàn)經(jīng)驗(yàn),流媒體技術(shù)專家,高性能服務(wù)器專家。CSDN知名博主,F(xiàn)為IOS、Adroid、C++高級培訓(xùn)講師。著有圖書《Android 9編程通俗演義》《Android 10 Kotlin編程通俗演義》。

商品評論(0條)
暫無評論……
書友推薦
本類暢銷
編輯推薦
返回頂部
中圖網(wǎng)
在線客服