�x���¹�������ֱ�ӳ���
�gӭ���R�ЈD�W(w��ng) Ո | ע��

���] Easticsearch����Hadoop��ь��`

�����磺���A��W(xu��)����������r�g��2017-06-01
�_���� 32�_ 퓔�(sh��)�� 186
�� �D �r:¥40.6(7.4��) ���r  ¥55.0 ��䛺�ɿ������T�r
����ُ��܇ �ղ�
�_������ ȫ�����]
?�½������س���
������Ǖ�����>

Easticsearch����Hadoop��ь��` ���(qu��n)��Ϣ

Easticsearch����Hadoop��ь��` ������ɫ

ElasticSearch��һ���_Դ�ķֲ�ʽ�������������и߿ɿ�����֧�ַdz������I(y��)������������Elasticsearch Hadoop����һ�������Ĺ������Á��B�� Elasticsearch �� Hadoop �����B(t��i)ϵ�y(t��ng)��ͨ�^Kibana���g(sh��)��Elasticsearch Hadoop�����׏�Hadoop ���B(t��i)ϵ�y(t��ng)�Ы@�ô�(sh��)��(j��)�����ĽY(ji��)���� ����ȫ���BElasticsearch Hadoop���g(sh��)���ڴ�(sh��)��(j��)�����Լ���(sh��)��(j��)��ҕ���ķ�������(n��i)�ݹ���7��������Hadoop��Elasticsearch�� Marvel�� Kibana ���b��ͨ�^���� MapReduce ���I(y��)����Hadoop��(sh��)��(j��)��(d��o)�� Elasticsearch��ȫ����� Elasticsearch���|(zh��)����ȫ�ı����������� ��ԃ�� �Y�x���;ۺϣ�ʹ�� Kibana��(chu��ng)�����N��ҕ���ͽ���ʽ�x��������ʹ��Storm�� Elasticsearch��F(xi��n)�����������(sh��)��(j��)�Լ����P(gu��n)���������}�� �����m�Ϗ��´�(sh��)��(j��)�����ˆT����(sh��)��(j��)��(y��ng)���_�l(f��)���ˆT������Ҳ�m�ϸߵ�ԺУ����Ӗ(x��n)�C(j��)��(g��u)���P(gu��n)���I(y��)�Ď����̌W(xu��)������

Easticsearch����Hadoop��ь��` ��(n��i)�ݺ���

Hadoop�ѽ�(j��ng)�ǘI(y��)�繫�J(r��n)�Ĵ�(sh��)��(j��)̎�����Œ���(bi��o)��(zh��n)����������(sh��)��(j��)�Ĵ惦�c̎�����Dz���Ԓ�������^���S���I(y��)��(w��)�ď�(f��)�s���Լ�����Ķ�׃�������������е���Ҫ�����Y(ji��)���Ķ��M(j��n)�з�������ĿǰHadoop�x�� ����̎���ķ�ʽ��΢���c�����������Л]��һ�N�܉���`���ʹ�úͼӹ���(sh��)��(j��)�ķ��������b�ڴ���ElasticsearchÓ�f������Elasticsearch���Ժܷ���،�������(sh��)��(j��)�M(j��n)�������c�ۺ��������܉�?q��)��r푑�(y��ng)���Ñ��o���ÿ�β�ͬ�IJ�ԃ�����¶��xSchema�����A(y��)̎���� ��(sh��)��(j��)�ƌW(xu��)�ҿ��Էdz��`��،���(sh��)��(j��)�M(j��n)�и��N�S�ȵ��@ȡ�c�������Ѹ���ľ����P(gu��n)ע�ژI(y��)��(w��)�������ھ�(sh��)��(j��)�����ărֵ�����ҿ����S�r����(j��)��һ����ԃ�õ��ľ����S�rȥ��(g��u)���µIJ�ԃ�Ķ��^�m(x��)�ھ����@����ǰ�Dz�������ġ����⣬Elasticsearch߀�ܺ�Hadoop�M(j��n)�нY(ji��)����Hadoop �m�Ϻ�����(sh��)��(j��)�Ěw�n�c�x���A(y��)̎����Elasticsearch�t�M(j��n)�Ќ��r�z���c��������������Ŀǰ��B�@�ɷ���Y(ji��)��ʹ�õķdz��õ������Y�������Ō���һ�����������档
Medcl Elastic������^(q��)�l(f��)���� Elastic���̎��c������
Elasticsearch�ǽ������(sh��)��(j��)�I(l��ng)��܊ͻ���һ�T���c���g(sh��)����Ό�Elasticsearch�cHadoop �wϵ��Y(ji��)�ϣ��Ǻܶ����P(gu��n)�ĺ��ɻ�Ć��}��Elasticsearch for Hadoop�����ܺõĽ�Q���@�����}�������L��ȱ�����P(gu��n)�Y��������ȫ��Ľ�B�˷�����ԭ�������������������ü�(x��)��(ji��)�����ſ��Ԏ������x���� ����� ��ELKstack��(qu��n)��ָ�ϡ����� ��־�׮a(ch��n)Ʒ���O(ji��n)

Easticsearch����Hadoop��ь��` Ŀ�

Ŀ� ��1�� �h(hu��n)������ 1 1.1 ���b����Hadoop��Ⱥ 1 Java���b������ 2 �Ñ����Ӻ����� 2 SSH�J(r��n)�C���� 3 Hadoop���d 4 �h(hu��n)��׃������ 4 Hadoop���� 5 ����core-site.xml 6 ����hdfs-site.xml 6 ����yarn-site.xml 6 ����mapred-site.xml 7 ��ʽ��HDFS 7 ����Hadoop�M(j��n)�� 8 1.2 ���bElasticsearch�����P(gu��n)��� 8 ���dElasticsearch 9 ����Elasticsearch 9 ���bHead��� 11 ���bMarvel��� 11 ����Elasticsearch 12 1.3 �\(y��n)��WordCountʾ�� 13 ���d���gʾ������ 13 ��ʾ���ļ��ς���HDFS 13 �\(y��n)��**�����I(y��) 14 1.4 ʹ��Head �� Marvel�g�[��(sh��)��(j��) 16 ʹ��Head�g�[��(sh��)��(j��) 16 ���RMarvel 18 ʹ��Sense�g�[��(sh��)��(j��) 19 С�Y(ji��) 21 ��2�� ���RES-Hadoop 22 2.1 ����WordCount���� 23 ����Mapper 23 ����Reducer 24 ����Driver 25 ʹ���f��API——org.apache.hadoop.mapred 28 2.2 ���H����——�W(w��ng)�j(lu��)��(sh��)��(j��)�O(ji��n)�� 28 �@ȡ�����┵(sh��)��(j��) 28 ���_���} 29 ��Q���� 30 ��Q����1——�A(y��)�ۺϽY(ji��)�� 30 ��Q����2——ֱ�Ӳ�ԃ�ۺϽY(ji��)�� 32 2.3 �_�l(f��)MapReduce���I(y��) 33 ����Mapper� 34 ����Driver 37 ���g���I(y��) 38 �ς���(sh��)��(j��)��HDFS 41 �\(y��n)�����I(y��) 41 �鿴TOP N�Y(ji��)�� 42 2.4 ����(sh��)��(j��)��Elasticsearch����HDFS 44 �˽�Twitter��(sh��)��(j��)�� 44 ��(d��o)��Elasticsearch 45 ��(chu��ng)��MapReduce���I(y��) 46 ����Tweets2HdfsMapper 46 �\(y��n)��ʾ�� 50 �_�J(r��n)ݔ�� 50 С�Y(ji��) 52 ��3�� ��������Elasticsearch 53 3.1 �������� 53 �^���D(zhu��n)�Q 54 ���� 54 ��� 55 �ęn 55 �ֶ� 55 3.2 �cElasticsearch���� 56 Elasticsearch��CRUD 56 ��(chu��ng)���ęn 56 �@ȡ�ęn 57 �����ęn 58 �h���ęn 58 ��(chu��ng)������ 58 ӳ�� 59 ��(sh��)��(j��)��� 60 ��(chu��ng)��ӳ�� 61 ����ģ�� 62 3.3 ���������^�� 63 ʲô�Ƿ��D(zhu��n)���� 63 ݔ�딵(sh��)��(j��)���� 64 ֹͣ�~ 64 ��С�� 65 �~�� 65 ͬ�x�~ 65 ������ 65 3.4 Elastic��ԃ 67 ������ԃ�Z�� 68 URI��ԃ 68 match_all��ԃ 68 term��ԃ 68 boolean��ԃ 70 match��ԃ 71 range��ԃ 72 wildcard��ԃ 73 �^�V�� 73 3.5 �ۺϲ�ԃ 75 ��(zh��)�оۺϲ�ԃ 76 terms�ۺ� 76 histogram�ۺ� 78 range�ۺ� 78 geo distance�ۺ� 79 Ƕ�׾ۺ� 81 �Ԝy�} 82 С�Y(ji��) 82 ��4�� ����Kibana�M(j��n)�д�(sh��)��(j��)��ҕ�� 83 4.1 ���b���� 83 Kibana���b 84 ��(zh��n)�䔵(sh��)��(j��) 84 �Ԝy�} 85 ����Kibana 86 4.2 ��(sh��)��(j��)�l(f��)�F(xi��n) 87 4.3 ��(sh��)��(j��)��ҕ�� 90 D 91 �ѷe����D 94 ʹ�öѷe����D�������ֱ���D 96 ��e�D 97 D�M�D 98 �h(hu��n)�ΈD 98 ��Ƭ�؈D 99 �Ԝy�} 100 4.4 �ӑB(t��i)�D�� 101 С�Y(ji��) 104 ��5�� ���r���� 105 5.1 �˽�Twitterڅ�ݷ����� 105 ���F(xi��n)Ŀ��(bi��o) 106 Apache Storm���b 107 5.2 ����ʽ��(sh��)��(j��)����Storm 107 ����Storm spout 108 ����Storm bolt 110 ��(chu��ng)��Storm topology 112 ���g�\(y��n)��Storm���I(y��) 113 5.3 څ�ݷ��� 114 significant term�ۺ� 114 ʹ��Kibana����څ�� 116 5.4 ʹ��Percolator�����ķ�� 117 Percolator 118 Percolator��(y��u)�� 120 ���ķ�� 121 С�Y(ji��) 124 ��6�� ES-Hadoop���� 125 6.1 �ֲ�ʽ�h(hu��n)���е�Elasticsearch 125 ��Ⱥ�͹�(ji��)�c 126 ��(ji��)�c��� 126 ��(ji��)�c�l(f��)�F(xi��n) 128 ��(sh��)��(j��)�ֲ� 129 ��Ƭ 129 ���� 129 ��Ƭ���� 130 6.2 ES-Hadoop�ܘ�(g��u) 132 �ӑB(t��i)���� 132 ����Elasticsearch 133 ��Elasticsearch���xȡ 134 ʧ�����@ 134 ��(sh��)��(j��)���ػ� 135 6.3 ���a(ch��n)�h(hu��n)������ 135 Ӳ�� 135 ��(n��i)�� 135 CPU 135 �űP 136 �W(w��ng)�j(lu��) 136 ��Ⱥ���b 137 ��Ⱥ��?f��)�Y(ji��)��(g��u) 137 �O(sh��)�����Q 138 �O(sh��)��·�� 138 �O(sh��)�Ã�(n��i)�� 139 �X�ц��} 140 �O(sh��)�û֏�(f��)����(sh��) 141 �A(y��)�O(sh��)���� 142 ��(sh��)��(j��)��(d��o)�� 142 ȫ�ęz�� 144 ���پۺ� 144 ���a(ch��n)�h(hu��n)������z���б� 145 6.4 ��Ⱥ���� 146 �O(ji��n)�ؼ�Ⱥ���� 146 ��ݺͻ֏�(f��) 149 ��(sh��)��(j��)��� 149 ��(sh��)��(j��)�֏�(f��) 150 С�Y(ji��) 151 ��7�� �cHadoop���B(t��i)ϵ�y(t��ng)���� 152 7.1 �cPig���� 152 Pig���b 154 ��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 155 ��JSONԴ����(sh��)��(j��) 157 ����D(zhu��n)�Q 157 ��Elasticsearch���xȡ��(sh��)��(j��) 158 7.2 �cHive���� 158 ���bApache Hive 158 ��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 159 ��JSONԴ����(sh��)��(j��) 161 ����D(zhu��n)�Q 161 ��Elasticsearch���xȡ��(sh��)��(j��) 162 7.3 �cCascading���� 163 ��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 163 ����һ��Cascading���I(y��) 163 �\(y��n)�����I(y��) 164 ��Elasticsearch���xȡ��(sh��)��(j��) 165 ����һ��reader���I(y��) 165 ʹ��Lingual 165 7.4 �cSpark���� 167 ���bSpark 168 ��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 168 ʹ��SparkSQL��Elasticsearch�Ќ�(d��o)�딵(sh��)��(j��) 169 ��Elasticsearch���xȡ��(sh��)��(j��) 170 ʹ��SparkSQL��Elasticsearch���xȡ��(sh��)��(j��) 170 7.5 �cYARN���� 171 С�Y(ji��) 172 ��� ���� 174 �������� 174 es.resource 174 es.resource.read 174 es.resource.write 175 es.nodes 175 es.port 175 �x������ 175 es.query 175 es.input.json 176 es.write.operation 177 es.update.script 177 es.update.script.lang 177 es.update.script.params 177 es.update.script.params.json 178 es.batch.size.bytes 178 es.batch.size.entries 178 es.batch.write.refresh 178 es.batch.write.retry.count 178 es.batch.write.retry.wait 179 es.ser.reader.value.class 179 es.ser.writer.value.class 179 es.update.retry.on.conflict 179 ӳ������ 179 es.mapping.id 179 es.mapping.parent 180 es.mapping.version 180 es.mapping.version.type 180 es.mapping.routing 180 es.mapping.ttl 180 es.mapping.timestamp 181 es.mapping.date.rich 181 es.mapping.include 181 es.mapping.exclude 181 �������� 181 es.index.auto.create 181 es.index.read.missing.as.empty 182 es.field.read.empty.as.null 182 es.field.read.validate.presence 182 �W(w��ng)�j(lu��)���� 182 es.nodes.discovery 182 es.nodes.client.only 183 es.http.timeout 183 es.http.retries 183 es.scroll.keepalive 183 es.scroll.size 183 es.action.heart.beat.lead 183 �J(r��n)�C���� 184 es.net.http.auth.user 184 es.net.http.auth.pass 184 SSL���� 184 es.net.ssl 184 es.net.ssl.keystore.location 184 es.net.ssl.keystore.pass 184 es.net.ssl.keystore.type 184 es.net.ssl.truststore.location 184 es.net.ssl.truststore.pass 185 es.net.ssl.cert.allow.self.signed 185 es.net.ssl.protocol 185 es.scroll.size 185 �������� 185 es.net.proxy.http.host 185 es.net.proxy.http.port 185 es.net.proxy.http.user 185 es.net.proxy.http.pass 186 es.net.proxy.http.use.system.props 186 es.net.proxy.socks.host 186 es.net.proxy.socks.port 186 es.net.proxy.socks.user 186 es.net.proxy.socks.pass 186 es.net.proxy.socks.use.system.props 186
չ�_ȫ��

Easticsearch����Hadoop��ь��` ���ߺ���

�Z��������(sh��)��(j��)�ܘ�(g��u)����Oracle OCM��DB2�w��֮����TechTarget�ؼs���ң��Ĕ�(sh��)��(j��)�����(sh��)��(j��)�D(zhu��n)�͵�����������۔zӰ��������(w��)���Ї�“(li��n)ͨ���Ї���������O(sh��)�y����PICC����Ŀǰ��š��һ�Ҵ�(sh��)��(j��)��Q�����ṩ���������ڴ�(sh��)��(j��)���g(sh��)�đ�(y��ng)���c���`�����С��_Դ��(sh��)��(j��)��������Impala����(zh��n)��һ����

��Ʒ�uՓ(0�l)
���o�uՓ����
�������]
��݋���]
����픲�
�ЈD�W(w��ng)
�ھ��ͷ�