-
>
決戰(zhàn)行測(cè)5000題(言語(yǔ)理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
深度學(xué)習(xí)
-
>
Unreal Engine 4藍(lán)圖完全學(xué)習(xí)教程
-
>
深入理解計(jì)算機(jī)系統(tǒng)-原書第3版
-
>
Word/Excel PPT 2013辦公應(yīng)用從入門到精通-(附贈(zèng)1DVD.含語(yǔ)音視頻教學(xué)+辦公模板+PDF電子書)
Flink與Kylin深度實(shí)踐 版權(quán)信息
- ISBN:9787111660170
- 條形碼:9787111660170 ; 978-7-111-66017-0
- 裝幀:一般膠版紙
- 冊(cè)數(shù):暫無(wú)
- 重量:暫無(wú)
- 所屬分類:>
Flink與Kylin深度實(shí)踐 本書特色
適讀人群 :有一定編程及大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn),有數(shù)據(jù)實(shí)時(shí)處理工作需求或者想要從事相關(guān)工作的讀者本書由淺入深地講解了Flink各個(gè)模塊的實(shí)現(xiàn)原理,以及各種API的使用方法,是一本帶你輕松上手Flink*佳實(shí)踐的書籍。
Flink與Kylin深度實(shí)踐 內(nèi)容簡(jiǎn)介
本書從實(shí)用角度出發(fā), 首先介紹了Flink的功能模塊、運(yùn)行模式、部署安裝等內(nèi)容, 然后著重介紹了Flink中的實(shí)時(shí)處理技術(shù)和批量處理技術(shù), 接著講解了Flink的Table與SQL、CEP機(jī)制、調(diào)優(yōu)與監(jiān)控、實(shí)時(shí)數(shù)據(jù)同步解析, *后通過(guò)Flink結(jié)合Kylin實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)的功能。
Flink與Kylin深度實(shí)踐 目錄
◆ 目錄:◆
致數(shù)字化人才的一封信
前言
●第1章Flink及其運(yùn)行模式簡(jiǎn)介
1.1Flink介紹
1.2Flink的特性
1.3功能模塊
1.4編程模型
1.5重新編譯
1.6任務(wù)提交模型
1.7部署運(yùn)行模式
1.8本章小結(jié)
●第2章Flink的部署安裝及入門案例
2.1local模式部署安裝
2.2standalone模式部署安裝
2.3standalone模式的HA環(huán)境
2.4standalone模式在HA環(huán)境下提交任務(wù)
2.5Flink on YARN模式
2.5.1單個(gè)YARN Session模式
2.5.2多個(gè)YARN Session模式
2.5.3“flink run”腳本分析
2.6入門案例
2.6.1實(shí)時(shí)處理程序?qū)崿F(xiàn)
2.6.2離線批量處理程序?qū)崿F(xiàn)
2.7shell命令行代碼調(diào)試
2.7.1批量處理代碼調(diào)試
2.7.2實(shí)時(shí)處理代碼調(diào)試
2.8本章小結(jié)
●第3章Flink實(shí)時(shí)處理之DataStream
3.1DataStream的數(shù)據(jù)源
3.1.1Socket數(shù)據(jù)源
3.1.2文件數(shù)據(jù)源
3.1.3從集合中獲取數(shù)據(jù)
3.1.4自定義數(shù)據(jù)源
3.2DataStream常用算子
3.2.1transformation算子
3.2.2partition算子
3.2.3sink算子
3.3窗口和時(shí)間
3.3.1窗口的類型
3.3.2窗口的應(yīng)用
3.3.3窗口數(shù)值聚合統(tǒng)計(jì)
3.3.4時(shí)間的類型
3.4用watermark解決亂序與數(shù)據(jù)延遲問(wèn)題
3.4.1watermark的作用
3.4.2watermark解決數(shù)據(jù)延時(shí)問(wèn)題
3.4.3watermark如何生成
3.4.4watermark處理亂序數(shù)據(jù)
3.4.5比watermark更晚的數(shù)據(jù)如何解決
3.4.6多并行度的watermark機(jī)制
3.5DataStream的狀態(tài)保存和恢復(fù)
3.5.1keyed state的托管狀態(tài)
3.5.2operator state的托管狀態(tài)
3.5.3狀態(tài)管理之StateBackend
3.5.4用checkpoint保存數(shù)據(jù)
3.5.5用savepoint保存數(shù)據(jù)
3.6DataStream集成Kafka
3.6.1導(dǎo)入jar包
3.6.2將Kafka作為Flink的source
3.6.3將Kafka作為Flink的sink
3.7本章小結(jié)
●第4章Flink批量處理之DataSet
4.1DataSet的內(nèi)置數(shù)據(jù)源
4.1.1文件數(shù)據(jù)源
4.1.2集合數(shù)據(jù)源
4.2DataSet常用算子
4.2.1transformation算子
4.2.2partition算子
4.2.3sink算子
4.3DataSet的參數(shù)傳遞
4.4DataSet連接器
4.4.1文件系統(tǒng)連接器
4.4.2Flink集成HBase之?dāng)?shù)據(jù)讀取
4.4.3Flink讀取數(shù)據(jù)寫入HBase
4.5廣播變量、累加器與分布式緩存
4.5.1廣播變量
4.5.2累加器
4.5.3分布式緩存
4.6本章小結(jié)
●第5章Flink的Table與SQL
5.1Table與SQL簡(jiǎn)介
5.2為什么需要SQL
5.3Table與SQL的語(yǔ)法解析
5.3.1創(chuàng)建TableEnvironment對(duì)象
5.3.2注冊(cè)表
5.3.3查詢表
5.3.4注冊(cè)數(shù)據(jù)保存表
5.3.5Table與SQL的數(shù)據(jù)查詢執(zhí)行原理
5.3.6DataStream與DataSet集成
5.4Table與SQL編程開(kāi)發(fā)
5.4.1使用SQL讀取CSV文件并進(jìn)行查詢
5.4.2DataStream與表的互相轉(zhuǎn)換
5.4.3DataSet與表的互相轉(zhuǎn)換
5.4.4SQL處理Kafka的JSON格式數(shù)據(jù)
5.5本章小結(jié)
●第6章Flink數(shù)據(jù)去重與數(shù)據(jù)連接
6.1數(shù)據(jù)去重
6.1.1基于MapState實(shí)現(xiàn)流式去重
6.1.2基于SQL實(shí)現(xiàn)流式去重
6.2流的連接實(shí)現(xiàn)
6.2.1使用CoGroup實(shí)現(xiàn)流連接
6.2.2interval join機(jī)制
6.2.3SQL實(shí)現(xiàn)連接操作
6.3本章小結(jié)
●第7章Flink中的復(fù)雜事件處理(CEP)機(jī)制
7.1CEP簡(jiǎn)介
7.2CEP中的模式
7.2.1個(gè)體模式(Individual Pattern)
7.2.2組合模式(Combining Pattern)
7.2.3模式組(Group of Patterns)
7.3CEP綜合案例
7.3.1用戶IP變換報(bào)警
7.3.2高溫預(yù)警
7.3.3支付超時(shí)監(jiān)控
7.4本章小結(jié)
●第8章Flink調(diào)優(yōu)與監(jiān)控
8.1監(jiān)控指標(biāo)
8.1.1系統(tǒng)監(jiān)控指標(biāo)
8.1.2自定義監(jiān)控指標(biāo)
8.2反壓機(jī)制與監(jiān)控
8.2.1反壓線程采樣
8.2.2反壓線程配置
8.3checkpoint監(jiān)控
8.4checkpoint調(diào)優(yōu)
8.4.1如何衡量checkpoint的速度大小
8.4.2相鄰checkpoint的間隔時(shí)間設(shè)置
8.4.3checkpoint資源設(shè)置
8.4.4checkpoint的Task本地性恢復(fù)
8.4.5異步checkpoint設(shè)置
8.4.6checkpoint數(shù)據(jù)壓縮
8.5內(nèi)存管理調(diào)優(yōu)
8.5.1內(nèi)存托管
8.5.2內(nèi)存段管理
8.5.3內(nèi)存段與字節(jié)緩沖區(qū)
8.5.4內(nèi)存段對(duì)垃圾收集器的影響
8.5.5內(nèi)存配置
8.5.6堆外內(nèi)存
8.6本章小結(jié)
●第9章基于Flink實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)同步解析
9.1實(shí)時(shí)數(shù)倉(cāng)架構(gòu)
9.2MySQL數(shù)據(jù)實(shí)時(shí)同步
9.2.1MySQL的binlog介紹
9.2.2maxwell簡(jiǎn)介
9.2.3開(kāi)啟MySQL的binlog功能
9.2.4安裝maxwell實(shí)現(xiàn)實(shí)時(shí)采集MySQL數(shù)據(jù)
9.2.5啟動(dòng)服務(wù)
9.2.6插入數(shù)據(jù)并進(jìn)行測(cè)試
9.3數(shù)據(jù)庫(kù)建表
9.4開(kāi)發(fā)模擬數(shù)據(jù)生成模塊
9.4.1創(chuàng)建Maven工程并導(dǎo)入jar包
9.4.2開(kāi)發(fā)Flink程序批量導(dǎo)入商品表數(shù)據(jù)
9.4.3開(kāi)發(fā)訂單生成程序模擬訂單持續(xù)生成
9.5數(shù)據(jù)獲取模塊開(kāi)發(fā)
9.5.1全量拉取數(shù)據(jù)
9.5.2增量拉取數(shù)據(jù)
9.6本章小結(jié)
●第10章基于Kylin的實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)
10.1Kylin簡(jiǎn)介
10.1.1為什么要使用Kylin
10.1.2Kylin的使用場(chǎng)景
10.1.3Kylin如何解決海量數(shù)據(jù)的查詢問(wèn)題
10.2Kylin基礎(chǔ)知識(shí)
10.2.1數(shù)據(jù)倉(cāng)庫(kù)、OLAP、BI
10.2.2事實(shí)表與維度表
10.2.3維度與度量
10.2.4數(shù)據(jù)倉(cāng)庫(kù)常用建模方式
10.2.5數(shù)據(jù)立方體
10.2.6Kylin的工作原理
10.2.7Kylin的體系架構(gòu)
10.2.8Kylin的特點(diǎn)
10.3Kylin環(huán)境搭建
10.3.1單機(jī)模式安裝
10.3.2集群環(huán)境搭建
10.4Kylin的使用
10.4.1創(chuàng)建Hive數(shù)據(jù)
10.4.2創(chuàng)建Kylin工程
10.4.3為Kylin添加模型
10.4.4通過(guò)Kylin來(lái)構(gòu)建Cube
10.4.5構(gòu)建Cube
10.4.6數(shù)據(jù)查詢分析
10.5Kylin的構(gòu)建流程
10.6Cube構(gòu)建算法
10.6.1逐層構(gòu)建法
10.6.2快速構(gòu)建法
10.7Cube構(gòu)建的優(yōu)化
10.7.1使用衍生維度(Derived Dimension)
10.7.2使用聚合組(Aggregation Group)
10.7.3并發(fā)粒度優(yōu)化
10.7.4rowKey優(yōu)化
10.7.5增量Cube構(gòu)建
10.8備份以及恢復(fù)Kylin的元數(shù)據(jù)
10.9Kylin的垃圾清理
10.10BI工具集成
10.11使用Kylin分析HBase數(shù)據(jù)
10.12本章小結(jié)
- >
自卑與超越
- >
苦雨齋序跋文-周作人自編集
- >
龍榆生:詞曲概論/大家小書
- >
月亮虎
- >
月亮與六便士
- >
伊索寓言-世界文學(xué)名著典藏-全譯本
- >
小考拉的故事-套裝共3冊(cè)
- >
名家?guī)阕x魯迅:朝花夕拾