���] �Լ���(d��ng)������(sh��)��(j��)ϵ�y(t��ng)

Ŀ���

��1�¡���ʲôҪ�Լ���(d��ng)������(sh��)��(j��)ϵ�y(t��ng) 1
1.1����(sh��)��(j��)�r(sh��)�� 1
1.2����(sh��)��(zh��n)��(sh��)��(j��)�(xi��ng)Ŀ 2
1.3����(sh��)��(j��)�ݾ�ƽ�_(t��i) 2
��2�¡��(xi��ng)Ŀ��������(zh��n)�� 4
2.1���(xi��ng)Ŀ���� 4
2.2���(xi��ng)Ŀ���� 4
2.3���(xi��ng)Ŀ�ܘ�(g��u) 4
2.4������ϵ�y(t��ng) 5
2.5����(sh��)��(j��)�惦(ch��) 7
2.6����(sh��)��(j��)̎�� 8
2.7���_�l(f��)���� 9Ŀ���

��1�¡���ʲôҪ�Լ���(d��ng)������(sh��)��(j��)ϵ�y(t��ng) 1
1.1����(sh��)��(j��)�r(sh��)�� 1
1.2����(sh��)��(zh��n)��(sh��)��(j��)�(xi��ng)Ŀ 2
1.3����(sh��)��(j��)�ݾ�ƽ�_(t��i) 2
��2�¡��(xi��ng)Ŀ��������(zh��n)�� 4
2.1���(xi��ng)Ŀ���� 4
2.2���(xi��ng)Ŀ���� 4
2.3���(xi��ng)Ŀ�ܘ�(g��u) 4
2.4������ϵ�y(t��ng) 5
2.5����(sh��)��(j��)�惦(ch��) 7
2.6����(sh��)��(j��)̎�� 8
2.7���_�l(f��)���� 9
2.8���{(di��o)ԇ���� 10
2.9���汾���� 10
��3�¡���(sh��)��(j��)�h(hu��n)��������� 11
3.1�����M�������f�� 11
3.1.1�����N��(sh��)��(j��)Դ�IJɼ����� 12
3.1.2����I(y��)��(sh��)��(j��)�惦(ch��)���� 12
3.1.3����I(y��)��(sh��)��(j��)ϵ�y(t��ng)�Ĕ�(sh��)��(j��)�}�칤�� 12
3.1.4����I(y��)��(sh��)��(j��)ϵ�y(t��ng)�ķ���Ӌ(j��)�㹤�� 13
3.1.5����I(y��)��(sh��)��(j��)ϵ�y(t��ng)�Ĕ�(sh��)��(j��)�칤�� 13
3.2����(sh��)��(j��)ϵ�y(t��ng)���M�����b�������� 13
3.2.1�����b��ǰ�ڜ�(zh��n)�乤�� 13
3.2.2��Hadoop���A(ch��)�h(hu��n)�����b������ 15
3.2.3��Hive���b������ 21
3.2.4��Sqoop���b������ 24
3.2.5��Spark���b������ 30
3.2.6��Zookeeper���b������ 31
3.2.7��HBase���b������ 33
3.3���Ԅ�(d��ng)�����b�������f�� 35
3.3.1���Ԅ�(d��ng)�����b���������w�ܘ�(g��u)�O(sh��)Ӌ(j��) 35
3.3.2����(sh��)��(j��)ϵ�y(t��ng)�Ԅ�(d��ng)������߉݋�{(di��o)���P(gu��n)ϵ 36
3.4�������Y(ji��) 43
��4�¡���(sh��)��(j��)�ī@ȡ 44
4.1��ʹ�����x�@ȡ��“(li��n)�W(w��ng)��(sh��)��(j��) 45
4.2��Python��Scrapy ��ܵİ��b 45
4.3��ץȡ�ͽ�����Ƹšλ��Ϣ 47
4.4��šλ��Ϣ����� 51
4.5���ɂ�(g��)���x��Ϲ��� 53
4.6��׌���x�ļܘ�(g��u)�O(sh��)Ӌ(j��)���Ӻ��� 55
4.7���@ȡ��(sh��)��(j��)��������ʽ 57
4.8��ʹ��Sqoopͬ��Փ�������Ӕ�(sh��)��(j��) 57
4.9�������Y(ji��) 59
��5�¡���(sh��)��(j��)��̎�� 60
5.1��Hive��ʲô 60
5.2����ʲôʹ��Hive����(sh��)��(j��)�}�콨ģ 60
5.3���w���(xi��ng)Ŀ��Hive��ģ���E 61
5.3.1��߉݋ģ�͵Ą�(chu��ng)�� 62
5.3.2������ģ�͵Ą�(chu��ng)�� 67
5.3.3�������x��(sh��)��(j��)��(d��o)��stg_job�� 74
5.4��ʹ��Hive�M(j��n)�Д�(sh��)��(j��)��ϴ�D(zhu��n)�Q 77
5.5����(sh��)��(j��)��ϴ�D(zhu��n)�Q�ı�Ҫ�� 78
5.6��ʹ��HiveQL��ϴ��(sh��)��(j��)����ȡ�S����Ϣ 79
5.6.1 ʹ��HQL��ϴ��(sh��)��(j��) 79
5.6.2 ��ȡ�S����Ϣ 82
5.7�����xHive UDF���b̎��߉݋ 85
5.7.1��Hive UDF���_�l(f��)��������{(di��o)�� 86
5.7.2��Python�汾��UDF 89
5.8��ʹ�������B�Ә�(g��u)��ۺϱ�rpt_job 92
5.9��׌��(sh��)��(j��)̎���Ԅ�(d��ng)�{(di��o)�� 96
5.9.1��HQL�Ď׷N��(zh��)�з�ʽ 96
5.9.2��Hive Thrift����(w��) 99
5.9.3��ʹ��JDBC�B��Hive 100
5.9.4��Python�{(di��o)��HiveServer����(w��) 103
5.9.5����crontab��(sh��)�F(xi��n)���΄�(w��)�{(di��o)�� 105
5.10�������Y(ji��) 107
��6�¡���(sh��)��(j��)�Ĵ惦(ch��) 108
6.1��NoSQL��HBase���� 108
6.2��HBase�е���Ҫ���� 110
6.3��HBase�͑��˼�JavaAPI 111
6.4��Hive��(sh��)��(j��)��(d��o)��HBase�ăɷN���� 114
6.4.1�����ü��е�JAR����(sh��)�F(xi��n)���� 114
6.4.2���ք�(d��ng)����MapReduce���� 116
6.5��ʹ��Java API��ԃHBase�е�šλ��Ϣ 122
6.5.1����ʲô��HBase����Hive 122
6.5.2�����l���M�ϲ�ԃHBase�е�šλ��Ϣ 123
6.6������@ʾšλ���е�ij�l���w��Ϣ 132
6.7�������Y(ji��) 133
��7�¡���(sh��)��(j��)��չʾ 134
7.1������ 134
7.2����(sh��)��(j��)������һ�㲽�E 135
7.3����R������(sh��)��(j��)����չʾ 135
7.3.1����Ubuntu�ϰ��bR 135
7.3.2��R�Ļ���ʹ�÷�ʽ 137
7.4����Hive�䮔(d��ng)R�Ĕ�(sh��)��(j��)��Դ 139
7.4.1��RHive�M�� 139
7.4.2����R�D�����ϵ�Web����� 145
7.5�������Y(ji��) 151
��8�¡���(sh��)��(j��)�ķ����ھ� 152
8.1������Spark�Ĕ�(sh��)��(j��)�ھ��g(sh��) 152
8.2��Spark��Hadoop���P(gu��n)ϵ 153
8.3����Ubuntu�ϰ��bSpark��Ⱥ 154
8.3.1��JDK��Hadoop���b 154
8.3.2�����bScala 154
8.3.3�����bSpark 155
8.4��Spark���\(y��n)�з�ʽ 157
8.5��ʹ��Spark���Hadoop Yarn���� 160
8.5.1��ʹ��spark-sql�鿴Hive�� 160
8.5.2����beeline�͑���ʹ��Spark���� 161
8.5.3����Java���a������Spark��ThriftServer 163
8.6����(du��)��Ƹ��˾���Q��ȫ�ęz�� 168
8.6.1����HDFS��(sh��)��(j��)Դ��(g��u)��JavaRDD 169
8.6.2��ʹ��Spark SQL����RDD 173
8.6.3����RDD�\(y��n)�нY(ji��)��չ�F(xi��n)��ǰ�� 174
8.7����ΰ�Spark�õø��� 175
8.8��SparkR�M����ʹ�� 177
8.8.1��SparkR���b������(d��ng) 177
8.8.2���\(y��n)���Ԏ���Sample���� 179
8.8.3������SparkR����šλ�y(t��ng)Ӌ(j��)D 179
8.9�������Y(ji��) 181
��9�¡��Լ���(d��ng)�ִ֧�δ�(sh��)��(j��)ϵ�y(t��ng)����ƽ�_(t��i) 182
9.1����ƽ�_(t��i)�ܘ�(g��u) 182
9.1.1��һ���ƻ��A(ch��)ƽ�_(t��i)�ܘ�(g��u) 182
9.1.2�������ƻ��A(ch��)ƽ�_(t��i)�ܘ�(g��u) 184
9.2����ƽ�_(t��i)������� 185
9.2.1�����b�M��ǰ��(zh��n)�� 185
9.2.2��Identity��Keystone���M�� 190
9.2.3��Image��Glance���M�� 198
9.2.4��Compute��Nova���M�� 201
9.2.5��Storage��Cinder���M�� 206
9.2.6��Networking��Neutron���M�� 210
9.2.7��Ceph�ֲ�ʽ�惦(ch��)ϵ�y(t��ng) 221
9.2.8��Dashboard��Horizon���M�� 230
9.3��Identity��Keystone���cLDAP������ 232
9.4������Image�M�����R���� 235
9.5�����ØI(y��)��(w��)ϵ�y(t��ng)�o�p�w�� 236
9.6�������Y(ji��) 237
�����īI(xi��n) 238��Ϣ