Easticsearch����Hadoop��ь��` ���(qu��n)��Ϣ
- ISBN��9787302469674
- �l�δa��9787302469674 ; 978-7-302-46967-4
- �b�������o
- �Ԕ�(sh��)�����o
- ���������o
- ���ٷ��>>
Easticsearch����Hadoop��ь��` ������ɫ
ElasticSearch��һ���_Դ�ķֲ�ʽ�������������и߿ɿ�����֧�ַdz������I(y��)������������Elasticsearch Hadoop����һ�������Ĺ������Á��B�� Elasticsearch �� Hadoop �����B(t��i)ϵ�y(t��ng)��ͨ�^Kibana���g(sh��)��Elasticsearch Hadoop������Hadoop ���B(t��i)ϵ�y(t��ng)�Ы@�ô�(sh��)��(j��)�����ĽY(ji��)����
����ȫ���BElasticsearch Hadoop���g(sh��)���ڴ�(sh��)��(j��)�����Լ���(sh��)��(j��)��ҕ���ķ�������(n��i)�ݹ���7��������Hadoop��Elasticsearch�� Marvel�� Kibana ���b��ͨ�^���� MapReduce ���I(y��)����Hadoop��(sh��)��(j��)��(d��o)�� Elasticsearch��ȫ����� Elasticsearch���|(zh��)����ȫ�ı����������� ��ԃ�� �Y�x���;ۺϣ�ʹ�� Kibana��(chu��ng)�����N��ҕ���ͽ���ʽ�x��������ʹ��Storm�� Elasticsearch��F(xi��n)�����������(sh��)��(j��)�Լ����P(gu��n)���������}��
�����m�Ϗ��´�(sh��)��(j��)�����ˆT����(sh��)��(j��)��(y��ng)���_�l(f��)���ˆT������Ҳ�m�ϸߵ�ԺУ����Ӗ(x��n)�C(j��)��(g��u)���P(gu��n)���I(y��)�Ď����̌W(xu��)������
Easticsearch����Hadoop��ь��` ��(n��i)�ݺ���
Hadoop�ѽ�(j��ng)�ǘI(y��)�繫�J(r��n)�Ĵ�(sh��)��(j��)̎��������(bi��o)��(zh��n)����������(sh��)��(j��)�Ĵ惦�c̎�����Dz���Ԓ�������^���S���I(y��)��(w��)�ď�(f��)�s���Լ�����Ķ�׃�������������е���Ҫ�����Y(ji��)���Ķ��M(j��n)�з�������ĿǰHadoop�x�� ����̎���ķ�ʽ�����c�����������Л]��һ�N�܉���`���ʹ�úͼӹ���(sh��)��(j��)�ķ��������b�ڴ���ElasticsearchÓ�f������Elasticsearch���Ժܷ���،�������(sh��)��(j��)�M(j��n)�������c�ۺ��������܉�?q��)��r푑�(y��ng)���Ñ��o���ÿ�β�ͬ�IJ�ԃ�����¶��xSchema�����A(y��)̎����
��(sh��)��(j��)�ƌW(xu��)�ҿ��Էdz��`��،���(sh��)��(j��)�M(j��n)�и��N�S�ȵ��@ȡ�c�������Ѹ���ľ����P(gu��n)ע�ژI(y��)��(w��)�������ھ�(sh��)��(j��)�����ărֵ�����ҿ����S�r����(j��)��һ����ԃ�õ��ľ����S�rȥ��(g��u)���µIJ�ԃ�Ķ��^�m(x��)�ھ����@����ǰ�Dz�������ġ����⣬Elasticsearch߀�ܺ�Hadoop�M(j��n)�нY(ji��)����Hadoop �m�Ϻ�����(sh��)��(j��)�Ěw�n�c�x���A(y��)̎����Elasticsearch�t�M(j��n)�Ќ��r�z���c��������������Ŀǰ��B�@�ɷ���Y(ji��)��ʹ�õķdz��õ������Y�������Ō���һ�����������档
Medcl
Elastic������^(q��)�l(f��)����
Elastic���̎��c������
Elasticsearch�ǽ������(sh��)��(j��)�I(l��ng)��܊ͻ���һ�T���c���g(sh��)����Ό�Elasticsearch�cHadoop �wϵ��Y(ji��)�ϣ��Ǻܶ����P(gu��n)�ĺ��ɻ�Ć��}��Elasticsearch for Hadoop�����ܺõĽ�Q���@�����}�������L��ȱ�����P(gu��n)�Y��������ȫ��Ľ�B�˷�����ԭ�������������������ü�(x��)��(ji��)�����ſ��Ԏ������x����
�����
��ELKstack��(qu��n)��ָ�ϡ�����
��־�a(ch��n)Ʒ���O(ji��n)
Easticsearch����Hadoop��ь��` Ŀ�
Ŀ�
��1�� �h(hu��n)������ 1
1.1 ���b����Hadoop��Ⱥ 1
Java���b������ 2
�Ñ����Ӻ����� 2
SSH�J(r��n)�C���� 3
Hadoop���d 4
�h(hu��n)��׃������ 4
Hadoop���� 5
����core-site.xml 6
����hdfs-site.xml 6
����yarn-site.xml 6
����mapred-site.xml 7
��ʽ��HDFS 7
����Hadoop�M(j��n)�� 8
1.2 ���bElasticsearch�����P(gu��n)��� 8
���dElasticsearch 9
����Elasticsearch 9
���bHead��� 11
���bMarvel��� 11
����Elasticsearch 12
1.3 �\(y��n)��WordCountʾ�� 13
���d���gʾ������ 13
��ʾ���ļ��ς���HDFS 13
�\(y��n)��**�����I(y��) 14
1.4 ʹ��Head �� Marvel�g�[��(sh��)��(j��) 16
ʹ��Head�g�[��(sh��)��(j��) 16
���RMarvel 18
ʹ��Sense�g�[��(sh��)��(j��) 19
�Y(ji��) 21
��2�� ���RES-Hadoop 22
2.1 ����WordCount���� 23
����Mapper 23
����Reducer 24
����Driver 25
ʹ���f��API——org.apache.hadoop.mapred 28
2.2 ���H����——�W(w��ng)�j(lu��)��(sh��)��(j��)�O(ji��n)�� 28
�@ȡ�����┵(sh��)��(j��) 28
���_���} 29
��Q���� 30
��Q����1——�A(y��)�ۺϽY(ji��)�� 30
��Q����2——ֱ�Ӳ�ԃ�ۺϽY(ji��)�� 32
2.3 �_�l(f��)MapReduce���I(y��) 33
����Mapper� 34
����Driver 37
���g���I(y��) 38
��(sh��)��(j��)��HDFS 41
�\(y��n)�����I(y��) 41
�鿴TOP N�Y(ji��)�� 42
2.4 ����(sh��)��(j��)��Elasticsearch����HDFS 44
�˽�Twitter��(sh��)��(j��)�� 44
��(d��o)��Elasticsearch 45
��(chu��ng)��MapReduce���I(y��) 46
����Tweets2HdfsMapper 46
�\(y��n)��ʾ�� 50
�_�J(r��n)ݔ�� 50
�Y(ji��) 52
��3�� ��������Elasticsearch 53
3.1 �������� 53
�^���D(zhu��n)�Q 54
���� 54
��� 55
�ęn 55
�ֶ� 55
3.2 �cElasticsearch���� 56
Elasticsearch��CRUD 56
��(chu��ng)���ęn 56
�@ȡ�ęn 57
�����ęn 58
�h���ęn 58
��(chu��ng)������ 58
ӳ�� 59
��(sh��)��(j��)��� 60
��(chu��ng)��ӳ�� 61
����ģ�� 62
3.3 ���������^�� 63
ʲô�Ƿ��D(zhu��n)���� 63
ݔ�딵(sh��)��(j��)���� 64
ֹͣ�~ 64
���� 65
�~�� 65
ͬ�x�~ 65
������ 65
3.4 Elastic��ԃ 67
������ԃ�Z�� 68
URI��ԃ 68
match_all��ԃ 68
term��ԃ 68
boolean��ԃ 70
match��ԃ 71
range��ԃ 72
wildcard��ԃ 73
�^�V�� 73
3.5 �ۺϲ�ԃ 75
��(zh��)�оۺϲ�ԃ 76
terms�ۺ� 76
histogram�ۺ� 78
range�ۺ� 78
geo distance�ۺ� 79
Ƕ�ۺ� 81
�Ԝy�} 82
�Y(ji��) 82
��4�� ����Kibana�M(j��n)�д�(sh��)��(j��)��ҕ�� 83
4.1 ���b���� 83
Kibana���b 84
��(zh��n)�䔵(sh��)��(j��) 84
�Ԝy�} 85
����Kibana 86
4.2 ��(sh��)��(j��)�l(f��)�F(xi��n) 87
4.3 ��(sh��)��(j��)��ҕ�� 90
D 91
�ѷe����D 94
ʹ�öѷe����D�������ֱ���D 96
��e�D 97
D�M�D 98
�h(hu��n)�ΈD 98
��Ƭ�؈D 99
�Ԝy�} 100
4.4 �ӑB(t��i)�D�� 101
�Y(ji��) 104
��5�� ���r���� 105
5.1 �˽�Twitterڅ�ݷ����� 105
���F(xi��n)Ŀ��(bi��o) 106
Apache Storm���b 107
5.2 ����ʽ��(sh��)��(j��)����Storm 107
����Storm spout 108
����Storm bolt 110
��(chu��ng)��Storm topology 112
���g�\(y��n)��Storm���I(y��) 113
5.3 څ�ݷ��� 114
significant term�ۺ� 114
ʹ��Kibana����څ�� 116
5.4 ʹ��Percolator�����ķ�� 117
Percolator 118
Percolator��(y��u)�� 120
���ķ�� 121
�Y(ji��) 124
��6�� ES-Hadoop���� 125
6.1 �ֲ�ʽ�h(hu��n)���е�Elasticsearch 125
��Ⱥ��(ji��)�c 126
��(ji��)�c��� 126
��(ji��)�c�l(f��)�F(xi��n) 128
��(sh��)��(j��)�ֲ� 129
��Ƭ 129
���� 129
��Ƭ���� 130
6.2 ES-Hadoop�ܘ�(g��u) 132
�ӑB(t��i)���� 132
����Elasticsearch 133
��Elasticsearch���xȡ 134
ʧ�����@ 134
��(sh��)��(j��)���ػ� 135
6.3 ���a(ch��n)�h(hu��n)������ 135
Ӳ�� 135
��(n��i)�� 135
CPU 135
�űP 136
�W(w��ng)�j(lu��) 136
��Ⱥ���b 137
��Ⱥ��?f��)�Y(ji��)��(g��u) 137
�O(sh��)�����Q 138
�O(sh��)��·�� 138
�O(sh��)��(n��i)�� 139
�X�ц��} 140
�O(sh��)�û֏�(f��)����(sh��) 141
�A(y��)�O(sh��)���� 142
��(sh��)��(j��)��(d��o)�� 142
ȫ�ęz�� 144
���پۺ� 144
���a(ch��n)�h(hu��n)������z���б� 145
6.4 ��Ⱥ���� 146
�O(ji��n)�ؼ�Ⱥ���� 146
��ݺͻ֏�(f��) 149
��(sh��)��(j��)��� 149
��(sh��)��(j��)�֏�(f��) 150
�Y(ji��) 151
��7�� �cHadoop���B(t��i)ϵ�y(t��ng)���� 152
7.1 �cPig���� 152
Pig���b 154
��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 155
��JSONԴ����(sh��)��(j��) 157
����D(zhu��n)�Q 157
��Elasticsearch���xȡ��(sh��)��(j��) 158
7.2 �cHive���� 158
���bApache Hive 158
��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 159
��JSONԴ����(sh��)��(j��) 161
����D(zhu��n)�Q 161
��Elasticsearch���xȡ��(sh��)��(j��) 162
7.3 �cCascading���� 163
��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 163
����һ��Cascading���I(y��) 163
�\(y��n)�����I(y��) 164
��Elasticsearch���xȡ��(sh��)��(j��) 165
����һ��reader���I(y��) 165
ʹ��Lingual 165
7.4 �cSpark���� 167
���bSpark 168
��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 168
ʹ��SparkSQL��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 169
��Elasticsearch���xȡ��(sh��)��(j��) 170
ʹ��SparkSQL��Elasticsearch���xȡ��(sh��)��(j��) 170
7.5 �cYARN���� 171
�Y(ji��) 172
��� ���� 174
�������� 174
es.resource 174
es.resource.read 174
es.resource.write 175
es.nodes 175
es.port 175
�x������ 175
es.query 175
es.input.json 176
es.write.operation 177
es.update.script 177
es.update.script.lang 177
es.update.script.params 177
es.update.script.params.json 178
es.batch.size.bytes 178
es.batch.size.entries 178
es.batch.write.refresh 178
es.batch.write.retry.count 178
es.batch.write.retry.wait 179
es.ser.reader.value.class 179
es.ser.writer.value.class 179
es.update.retry.on.conflict 179
ӳ������ 179
es.mapping.id 179
es.mapping.parent 180
es.mapping.version 180
es.mapping.version.type 180
es.mapping.routing 180
es.mapping.ttl 180
es.mapping.timestamp 181
es.mapping.date.rich 181
es.mapping.include 181
es.mapping.exclude 181
�������� 181
es.index.auto.create 181
es.index.read.missing.as.empty 182
es.field.read.empty.as.null 182
es.field.read.validate.presence 182
�W(w��ng)�j(lu��)���� 182
es.nodes.discovery 182
es.nodes.client.only 183
es.http.timeout 183
es.http.retries 183
es.scroll.keepalive 183
es.scroll.size 183
es.action.heart.beat.lead 183
�J(r��n)�C���� 184
es.net.http.auth.user 184
es.net.http.auth.pass 184
SSL���� 184
es.net.ssl 184
es.net.ssl.keystore.location 184
es.net.ssl.keystore.pass 184
es.net.ssl.keystore.type 184
es.net.ssl.truststore.location 184
es.net.ssl.truststore.pass 185
es.net.ssl.cert.allow.self.signed 185
es.net.ssl.protocol 185
es.scroll.size 185
�������� 185
es.net.proxy.http.host 185
es.net.proxy.http.port 185
es.net.proxy.http.user 185
es.net.proxy.http.pass 186
es.net.proxy.http.use.system.props 186
es.net.proxy.socks.host 186
es.net.proxy.socks.port 186
es.net.proxy.socks.user 186
es.net.proxy.socks.pass 186
es.net.proxy.socks.use.system.props 186
չ�_ȫ��
Easticsearch����Hadoop��ь��` ���ߺ���
�Z��������(sh��)��(j��)�ܘ�(g��u)����Oracle OCM��DB2�w��֮����TechTarget�ؼs���ң��Ĕ�(sh��)��(j��)�����(sh��)��(j��)�D(zhu��n)�͵�����������۔zӰ��������(w��)���Ї�(li��n)ͨ���Ї���������O(sh��)�y����PICC����Ŀǰ����һ�Ҵ�(sh��)��(j��)��Q�����ṩ���������ڴ�(sh��)��(j��)���g(sh��)�đ�(y��ng)���c���`�����С��_Դ��(sh��)��(j��)��������Impala����(zh��n)��һ����