�x���¹�������ֱ�ӳ���
�gӭ���R�ЈD�W(w��ng) Ո | ע��

���] SRE(Google�\�S����)

�����磺��ӹ��I(y��)����������r�g��2016-10-01
�_���� 16�_ 퓔�(sh��)�� 496
�� �D �r:¥63.7(5.0��) ���r  ¥128.0 ��䛺�ɿ������T�r
����ُ��܇ �ղ�
�_������ ȫ�����]
?�½������س���
������Ǖ�����>
�I�^����Ʒ����߀�I��

SRE(Google�\�S����) ���(qu��n)��Ϣ

SRE(Google�\�S����) ��(n��i)�ݺ���

����ܛ��ϵ�y(t��ng)�������ڵĽ^�󲿷ֶ�̎�ڡ�ʹ�á��A�������ǡ��O(sh��)Ӌ���򡰌��F(xi��n)���A������ô��ʲô�҂��s�����J��ܛ�����̑�(y��ng)ԓ��Ҫ�P(gu��n)ע�O(sh��)Ӌ�͌��F(xi��n)�����ڱ�������Google SRE���P(gu��n)�I�ɆT�������������Ό�ܛ���M���������ڵ����w���P(gu��n)ע�����Լ���ʲô�@�����܉����Google�ɹ��ؘ�(g��u)�����������O(ji��n)�غ��\�S�����ϬF(xi��n)�惞(y��u)�x��ܛ��ϵ�y(t��ng)��ͨ�^��x�������x�߿��ԌW(xu��)��(x��)��Google���̎������ϵ�y(t��ng)����Ҏ(gu��)ģ�����M�ɿ��Ժ��YԴ����Ч�ʷ����ָ��(d��o)˼���c���w���`�D�D�@Щ���ǿ�������ֱ�ӑ�(y��ng)�õČ��F��(j��ng)����κ�һ����Ҫ��(chu��ng)�����Uչ��Ҏ(gu��)ģ����ϵ�y(t��ng)���˶���(y��ng)ԓ��x����������ᘌ���Θ�(g��u)��һ�����L�ھS�o��ϵ�y(t��ng)�ṩ�˺ܺÌ��F�Č��`��(j��ng)���

SRE(Google�\�S����) Ŀ�

Ŀ�
ǰ�� �������������������������������� xxxi
���� ������������������������������ xxxv
�ڢ񲿷֡����[
��1 �¡���B���������� 2
ϵ�y(t��ng)����Tģʽ ������ 2
Google �Ľ�Q֮����SRE �������������������������������������������� 4
SRE ����Փ �������������������� 6
�_���L���P(gu��n)ע�аl(f��)���� �������������������������������������� 6
�ڱ��Ϸ���(w��)SLO ��ǰ����*�󻯵����ٶ� ���������������������������������������������� 7
�O(ji��n)��ϵ�y(t��ng) ���������������������������������������������������������������������������������� 8
��(y��ng)���¼�̎�� �������������������������������������������������������������������� 8
׃������ ������������ 9
�����A(y��)�y������Ҏ(gu��)�� ���������������������������������������������� 9
�YԴ���� �������� 10
Ч���c���ܣ� 10
�Y(ji��) �������������������������������������� 10
��2 �¡�Google ���a(ch��n)�h(hu��n)����SRE ҕ�ǣ����������� 11
Ӳ�� �������������������������������������� 11
������������(w��)����ϵ�y(t��ng)����ܛ�� �������������������� 13
������������(w��)�� �������������������������������������������������������� 13
�惦 ������������������������ 14
�W(w��ng)�j(lu��) ������������������������ 15
����ϵ�y(t��ng)ܛ�� �������� 16
�ֲ�ʽ�i����(w��) ���������������������������������������������������������������� 16
�O(ji��n)���c����ϵ�y(t��ng) �������������������������������������������������������� 16
ܛ�����A(ch��)�O(sh��)ʩ �������� 17
�аl(f��)�h(hu��n)�� ������������������������ 17
ɯʿ�ȁ�������һ��ʾ������(w��) �������������������������� 18
�Ñ�Ո���̎���^�� ������������������������������������������ 18
�΄�(w��)�͔�(sh��)��(j��)�ĽM����ʽ ���������������������������������� 19
�ڢ򲿷֡�ָ��(d��o)˼��
��3 �¡������L(f��ng)�U���������������������������������������������������������������� 23
�����L(f��ng)�U ������������������������ 23
��������(w��)���L(f��ng)�U �� 24
����(w��)���L(f��ng)�U���̶� ���������������������������������������������������������������� 25
��e���M�߷���(w��)���L(f��ng)�U���̶� ������������ 26
���A(ch��)�O(sh��)ʩ����(w��)���L(f��ng)�U���̶� ������������������ 28
ʹ���e�`�A(y��)���Ŀ�� �������������������������������������������������������� 30
�e�`�A(y��)���(g��u)���^�� ������������������������������������������ 31
��̎ ������������������������ 32
��4 �¡�����(w��)�|(zh��)��Ŀ�ˣ����������������������������������������������������� 34
����(w��)�|(zh��)���g(sh��)�Z �������� 34
ָ�� ������������������������ 34
Ŀ�� ������������������������ 35
�f(xi��)�h ������������������������ 36
ָ���ڌ��`�еđ�(y��ng)�� �������������������������������������������������������� 37
�\�S�ˆT��*�K�Ñ����P(gu��n)��ʲô ���� 37
ָ�˵��ռ��� 37
�R�� ������������������������ 38
ָ�˵Ę˜ʻ� ���������������������������������������������������������������� 39
Ŀ���ڌ��`�еđ�(y��ng)�� �������������������������������������������������������� 39
Ŀ�˵Ķ��x�� 40
Ŀ�˵��x�� 40
�����ֶ� �������� 42
SLO ���Խ����Ñ��A(y��)�� �������������������������������� 42
�f(xi��)�h�ڌ��`�еđ�(y��ng)�� �������������������������������������������������������� 43
��5 �¡��p�٬��£��������������������������������������������������������������� 44
���µĶ��x ���������������� 44
��ʲô����Խ��Խ�� �������������������������������������������������������� 45
ʲô�������̹��� ���������������������������������������������������������������� 46
���·����Dz���һ������ ������������������������������������������ 47
�Y(ji��) �������������������������������������� 48
��6 �¡��ֲ�ʽϵ�y(t��ng)�ıO(ji��n)�أ����������������������������������������� 49
�g(sh��)�Z���x ������������������������ 49
��ʲôҪ�O(ji��n)�� �������� 50
���O(ji��n)��ϵ�y(t��ng)�O(sh��)�ú����A(y��)�� ������������������������������������������ 51
�F(xi��n)���cԭ�� ���������������� 52
�ںбO(ji��n)���c�׺бO(ji��n)�� �������������������������������������������������������� 53
4 ���S��ָ�� ���������� 53
�P(gu��n)���L��} �������� 54
����ָ�˕r���ú��m�ľ��� ���������������������������������� 55
������ֱ�������ٺ����������������������������������������������������� 55
������������������ �������������������������������������������������������� 56
�O(ji��n)��ϵ�y(t��ng)���L�ھS�o �������������������������������������������������������� 57
Bigtable SRE �������^����� ������ 57
Gmail �����A(y��)֪�������_�������˹����A(y��) ������������������������������������������������ 58
�L�� ������������������������ 59
�Y(ji��) �������������������������������������� 59
��7 �¡�Google ���Ԅӻ�ϵ�y(t��ng)�����M������������ 60
�Ԅӻ��ărֵ �������� 60
һ���� ���������������� 60
ƽ�_�� ���������������� 61
�ޏ�(f��)�ٶȸ��� ���������������������������������������������������������������� 61
�Є��ٶȸ��� ���������������������������������������������������������������� 62
��(ji��)ʡ�r�g �������� 62
�Ԅӻ���Google SRE �ărֵ ���������������������������� 62
�Ԅӻ��đ�(y��ng)�ð��� ���������������������������������������������������������������� 63
Google SRE ���Ԅӻ�ʹ�ð��� �������� 63
�Ԅӻ���ČӴνY(ji��)��(g��u) ���������������������������������� 64
׌�Լ�Ó�x�������Ԅӻ����еĖ|�� ���� 66
�澏��ʹ�����Ԅӻ���(y��ng)�õ���Ⱥ�Ͼ��� ������������������������������������������������������������������ 67
ʹ��Prodtest �z�y��һ����r ������������ 68
��ȵؽ�Q��һ����r ���������������������������������� 69
���I(y��)���A�� 71
�Է���(w��)�錧(d��o)��ļ�Ⱥ�Ͼ����� ������������ 72
Borg ���}��Ҏ(gu��)ģӋ��C���Q�� �������������������������� 73
�ɿ�����*�����Ĺ��ܣ������������������������������������������������� 74
���h �������������������������������������� 75
��8 �¡��l(f��)�����̣��������������������������������������������������������������� 76
�l(f��)�����̎��Ľ�ɫ ���������������������������������������������������������������� 76
�l(f��)�������܌W(xu��) �������� 77
�Է���(w��)ģ�ͣ� 77
׷���ٶ� �������� 77
���]�� ���������������� 77
���{(di��o)���Ժ����� �������������������������������������������������������� 78
���m(x��)��(g��u)���c���� �� 78
��(g��u)�� ������������������������ 78
��֧ ������������������������ 79
�yԇ ������������������������ 79
��� ������������������������ 79
Rapid ϵ�y(t��ng) ���� 80
���� ������������������������ 81
���ù��� ������������������������ 81
�Y(ji��) �������������������������������������� 82
���H�Hֻ��Google ���� ������������������������������ 83
һ�_ʼ���M�аl(f��)������ ���������������������������������� 83
��9 �¡����λ� 85
ϵ�y(t��ng)�ķ�(w��n)�����c�`���ԣ������������������������������������������������� 85
��ζ��һ�N���� �� 86
�ҽ^�����ŗ��ҵĴ��a�������������������������������������������������� 86
��ؓ���a�С�����һ��ָ�� �������������������������������������� 87
*С API ������������������������ 87
ģ�K�� �������������������������������� 87
�l(f��)���ĺ��λ� �������� 88
�Y(ji��) �������������������������������������� 88
�ڢ󲿷֡�*�ь��`
��10 �¡����ڕr�g���Д�(sh��)��(j��)�M����Ч�󾯣��� 93
Borgmon ����Դ 94
��(y��ng)��ܛ���ıO(ji��n)�����c �������������������������������������������������������� 95
�O(ji��n)��ָ�˵��ռ� �� 96
�r�g���Д�(sh��)��(j��)�Ĵ惦 �������������������������������������������������������� 97
�˺��c������ 98
Borg Ҏ(gu��)�tӋ�� ������ 99
�� ���������������������������������� 104
�O(ji��n)��ϵ�y(t��ng)�ķ�Ƭ�C�� ���������������������������������������������������� 105
�ںбO(ji��n)�� �������������������� 106
�����ļ��ľS�o �������������������������������������������������������������������� 106
ʮ��֮�� �������������������� 108
��11 �¡�on-call ֵ݆���������������������������������������������� 109
��B ���������������������������������� 109
on-call ���̎���һ�� ���������������������������������������������������� 110
on-call ����ƽ�� ��������������������������������������������������������������������111
��(sh��)���ϱ���ƽ�� ������������������������������������������������������111
�|(zh��)���ϱ���ƽ�� ������������������������������������������������������111
�a�N��ʩ ���� 112
��ȫ�� ���������������������������� 112
�����\�S�����^�� ������������������������������������������������������������ 114
�\�S�����^�� ������������������������������������������������������������ 114
���p�Ĕ��˨D�\�S�������� �������� 115
�Y(ji��) ���������������������������������� 115
��12 �¡���Ч�Ĺ����Ų��ֶΣ������������������������������� 116
��Փ ���������������������������������� 117
���` ���������������������������������� 119
���ψ�� ���� 119
��λ �������������������� 119
�z�� �������������������� 120
�\�� �������������������� 122
�yԇ���ޏ�(f��)�������������������������������������������������������������������� 124
�����ؓ��Y(ji��)�� �������������������������������������������������������������������� 125
���� �������������������� 126
�������� �������������������� 127
ʹ�����Ų������ ������������������������������������������������������������ 130
�Y(ji��) ���������������������������������� 130
��13 �¡��o���¼�푑�(y��ng)������������������������������������������������ 131
��ϵ�y(t��ng)���F(xi��n)���}�r��ô�k �������������������������������������� 131
�yԇ��(d��o)�µľo���¹� ���������������������������������������������������� 132
����(ji��) �������������������� 132
푑�(y��ng) �������������������� 132
�º󿂽Y(ji��) ���� 132
׃�����������ľo���¹� �������������������������������������� 133
����(ji��) �������������������� 133
�¹�푑�(y��ng) ���� 134
�º󿂽Y(ji��) ���� 134
���̌�(d��o)�µć����¹� ���������������������������������������������������� 135
����(ji��) �������������������� 135
��(z��i)�y푑�(y��ng) ���� 136
�º󿂽Y(ji��) ���� 136
���еĆ��}���н�Q���� �������������������������������������� 137
���^ȥ�W(xu��)��(x��)���������؏�(f��)�� ������������������������������ 138
���¹ʱ���ӛ� ���������������������������������������������������� 138
�����Щ��������������ܵĆ��}�����硭�� �������������������������� 138
�Ą����Ӝyԇ ������������������������������������������������������������ 138
�Y(ji��) ���������������������������������� 138
��14 �¡��o���¹ʹ������������������������������������������������� 140
�o���̹����ľo���¹ʣ��������������������������������������������� 140
���@�Οo���̹������¹ʵ����� ���������������� 141
�^���P(gu��n)ע���g(sh��)���} �������������������������������������������� 141
��ͨ���� ���� 141
��Ո�ԁ� ���� 142
�o���¹ʵ����̹���Ҫ�� �������������������������������������� 142
Ƕ��ʽš؟���x ���������������������������������������������������� 142
�������� ���� 143
���r�¹ʠ�B(t��i)�ęn �������������������������������������������� 143
���_���_��š؟���� �������������������������������������� 143
һ�����̹������õ��¹� �������������������������������������� 144
ʲô�r��?q��)��������¹ʣ��������������������������������������������?144
�Y(ji��) ���������������������������������� 145
��15 �¡��º󿂽Y(ji��)����ʧ���ЌW(xu��)��(x��)������������������ 146
Google ���º󿂽Y(ji��)�܌W(xu��) �������������������������������������������� 146
�f(xi��)����֪�R���� �������������������������������������������������������������������� 148
�����º󿂽Y(ji��)�Ļ� ������������������������������������������������������������ 149
С�Y(ji��)�Լ�������(y��u)�� ������������������������������������������������������������ 151
��16 �¡���ۙ���ϣ�����������������������������������������������������������152
Escalator �������������������� 152
Outalator �������������������� 153
�ۺ� �������������������� 154
�Ә˺� ������������ 155
���� �������������������� 155
δ�A(y��)�ϵ��ĺ�̎ ���������������������������������������������������� 156
��17 �¡��yԇ�ɿ��ԣ�����������������������������������������������������157
ܛ���yԇ����� �������������������������������������������������������������������� 158
���y(t��ng)�yԇ ���� 159
���a(ch��n)�yԇ ���� 160
��(chu��ng)��һ����(g��u)���͜yԇ�h(hu��n)�� �������������������������������������� 163
��Ҏ(gu��)ģ�yԇ ������������ 165
�yԇ��Ҏ(gu��)ģʹ�õĹ��� ������������������������������ 166
ᘌ���(z��i)�y�Ĝyԇ ���������������������������������������������������� 167
���ٶȵĿ��� ������������������������������������������������������������ 168
�l(f��)�������a(ch��n)�h(hu��n)�� ���������������������������������������������������� 170
���S�yԇʧ�� ������������������������������������������������������������ 170
���� �������������������� 172
���a(ch��n)�h(hu��n)��̽� ������������������������������������������������������������ 173
�Y(ji��) ���������������������������������� 175
��18 �¡�SRE ���T�е�ܛ�����̌��`����������176
��ʲôܛ�������Ŀ��SRE ����Ҫ ������ 176
Auxon �����������Ŀ������Ҫ��Q�Ć��} ������������������������������������������������ 177
���y(t��ng)������Ҏ(gu��)������ �������������������������������������� 177
��Q������������D������Ҏ(gu��)�� 179
������D������Ҏ(gu��)�� ���������������������������������������������������� 180
���_�a(ch��n)Ʒ��D���Ȍ�(d��o)�l�� ���������������������� 181
Auxon ���� ������������������������������������������������������������������ 182
����͌��F(xi��n)���ɹ��Ͳ��� ���������������������� 183
�����˽�̶������M������ �������������� 185
�Fꠃ�(n��i)���M�� ������������������������������������������������������������ 187
��SRE �F������B(y��ng)ܛ�������L(f��ng)�� ������������ 187
��SRE �F��н�����ܛ�����̷Շ�����Ƹ�c�_�l(f��)�r�g 188
�����@һ�c�������������������������������������������������������������������� 189
�Y(ji��) ���������������������������������� 190
��19 �¡�ǰ�˷���(w��)����ؓ�d���⣮������������������������ 191
�Еr��Ӳ�������ܽ�Q���} ������������������������������ 191
ʹ��DNS �M��ؓ�d���� ������������������������������������������ 192
ؓ�d���⣺̓�MIP������������������������������������������������������������ 194
��20 �¡���(sh��)��(j��)���ă�(n��i)����ؓ�d����ϵ�y(t��ng)��������197
������r �������������������� 198
�R�e�����΄�(w��)�����ٿ��ƺ����_���΄�(w��) �������������������������������������������������������������� 199
�����΄�(w��)�ĺ��Α�(y��ng)���k�������ٿ��ƣ������������������������������������������������������� 199
һ���ɿ����R�e�����΄�(w��)�ķ��������_����B(t��i) �������������������������� 200
���Ä����Ӽ������B�ӳش�С ���������������������� 201
�x����m���Ӽ� ���������������������������������������������������� 201
�Ӽ��x���㷨һ���S�C�x�� �������������� 202
�Ӽ��x���㷨�����_�����㷨 �������� 204
ؓ�d������� ���� 206
����݆ԃ�㷨 ������������������������������������������������������������ 206
*�e݆ԃ���� ������������������������������������������������������������ 209
�ә�(qu��n)݆ԃ���� ������������������������������������������������������������ 210
��21 �¡���(y��ng)���^�d������������������������������������������������������������212
QPS ���� ������������������ 213
�oÿ���Ñ��O(sh��)������ ���������������������������������������������������� 213
�͑��˂�(c��)�Ĺ�(ji��)���C�� ���������������������������������������������������� 214
��Ҫ�� ���������������������������� 216
�YԴ��������̖ �������������������������������������������������������������������� 217
̎���^�d�e�` ���� 217
�Q���Εr��ԇ ������������������������������������������������������������ 218
�B����ɵ�ؓ�d �������������������������������������������������������������������� 220
�Y(ji��) ���������������������������������� 221
��22 �¡�̎���B�i���ϣ��������������������������������������������� 223
�B�i���Ϯa(ch��n)����ԭ�����Ώ��O(sh��)Ӌ�ϱ��� �������������������������������������������������������� 224
����(w��)���^�d�������������������������������������������������������������������� 224
�YԴ�ıM ���� 225
����(w��)����������������������������������������������������������������������� 228
��ֹܛ������(w��)���^�d ���������������������������������������������������� 228
���� ���� 229
���������̓�(y��u)�Ž��� �������������������������������������� 230
��ԇ �������������������� 231
Ո�����t�ͽ�ֹ�r�g �������������������������������������� 234
�����Ӻ��侏�� �������������������������������������������������������������������� 236
�����{(di��o)�����h���� �������������������������������������� 238
�B�i���ϵ��|�l(f��)�l�� ���������������������������������������������������� 238
�M�̱��� ���� 239
�M�̸��� ���� 239
�µİl(f��)�� ���� 239
��Ȼ���L ���� 239
Ӌ���л�Ӌ����IJ����� ���������������������� 239
�B�i���ϵĜyԇ �������������������������������������������������������������������� 240
�yԇֱ�����F(xi��n)���ϣ�߀Ҫ�^�m(x��)�yԇ �������������������������������������������������������������� 240
�yԇ*���õĿ͑��� �������������������������������������� 241
�yԇ���P(gu��n)�I�Ժ�� �������������������������������������������� 242
��Q�B�i���ϵ��������E �������������������������������������� 242
�����YԴ ���� 242
ֹͣ�����z�錧(d��o)�µ��΄�(w��)���� �������� 242
�؆�ܛ������(w��)�� ���������������������������������������������������� 242
�G������ ���� 243
�M�뽵��ģʽ ������������������������������������������������������������ 243
������̎��ؓ�d ���������������������������������������������������� 244
����������� ���������������������������������������������������� 244
�Y(ji��) ���������������������������������� 244
��23 �¡������P(gu��n)�I��B(t��i)�����÷ֲ�ʽ���R����߿ɿ��ԣ����������������������������������� 246
ʹ�ù��Rϵ�y(t��ng)�Ą������ֲ�ʽϵ�y(t��ng)�f(xi��)�{(di��o)ʧ�� ������������������������������������������������ 248
����1 ���X�ц��} ���������������������������������������������� 249
����2 ����Ҫ�˹����A(y��)�Ğ�(z��i)���ГQ ���������������������������������������������������������������� 249
����3 ���І��}��С�M�ɆT�㷨 �� 249
�ֲ�ʽ���R����ι����� �������������������������������������� 250
Paxos ��Ҫ���f(xi��)�hʾ�� �������������������������������� 251
�ֲ�ʽ���R��ϵ�y(t��ng)�ܘ�(g��u)ģʽ ������������������������������ 251
�ɿ��ď�(f��)�Ơ�B(t��i)�C �������������������������������������������� 252
�ɿ��ď�(f��)�Ɣ�(sh��)��(j��)�惦�����ô惦 252
ʹ���I(l��ng)�^���x�e�C�ƌ��F(xi��n)�߿��õ�̎��ϵ�y(t��ng) �������������������������������� 253
�ֲ�ʽ�f(xi��)�{(di��o)���i����(w��) �������������������������������������� 253
�ɿ��ķֲ�ʽ��к���Ϣ���f �������� 254
�ֲ�ʽ���Rϵ�y(t��ng)�����܆��} ������������������������������ 255
��(f��)��ʽPaxos ����Ϣ���^��Ԕ�� �� 257
��(y��ng)���������x���� �������������������������������������������� 258
������s ���� 259
�ֲ�ʽ���Rϵ�y(t��ng)�������c�W(w��ng)�j(lu��)���t �������������������������������������������������������������� 259
����Paxos �f(xi��)�h�����܃�(y��u)�� ���������������� 260
��(w��n)�����I(l��ng)�^�˙C�� �������������������������������������������� 261
��̎�� ������������ 262
�űP�L�� ���� 262
�ֲ�ʽ���Rϵ�y(t��ng)�IJ��𣮣������������������������������������������� 263
�����Ĕ�(sh��)���������������������������������������������������������������������� 263
������λ�ã������������������������������������������������������������������� 265
����Ҏ(gu��)����ؓ�d���� �������������������������������������� 266
���ֲ�ʽ���Rϵ�y(t��ng)�ıO(ji��n)�� �������������������������������������� 270
�Y(ji��) ���������������������������������� 272
��24 �¡��ֲ�ʽ�������΄�(w��)ϵ�y(t��ng)���������������������� 273
Cron ���������������������������������� 273
��B �������������������� 273
�ɿ��� ������������ 274
Cron �΄�(w��)�̓���� ���������������������������������������������������������� 274
��Ҏ(gu��)ģCron ϵ�y(t��ng) ���������������������������������������������������������������� 275
�����A(ch��)�O(sh��)ʩ�ĔUչ �������������������������������������������� 275
������ĔUչ ������������������������������������������������������������ 276
Google Cron ϵ�y(t��ng)�Ę�(g��u)���^�� �������������������������� 277
��ۙCron �΄�(w��)�Ġ�B(t��i) ���������������������������������� 277
Paxos �f(xi��)�h��ʹ�� ���������������������������������������������� 277
�I(l��ng)�^�˽�ɫ��׷�S�߽�ɫ ���������������������� 278
�����B(t��i) ���� 281
�\�S����Cron ϵ�y(t��ng) ���������������������������������������� 282
�Y(ji��) ���������������������������������� 283
��25 �¡���(sh��)��(j��)̎����ˮ������������������������������������������ 284
��ˮ���O(sh��)Ӌģʽ����Դ���������������������������������������������� 284
������ˮ���O(sh��)Ӌģʽ�c��(sh��)��(j��) ���������������������� 284
��������ˮ��ģʽ������(zh��n) �������������������������������������� 285
�����ְl(f��)������ɵĆ��} �������������������������������������� 285
�ֲ�ʽ�h(hu��n)���������Ԕ�(sh��)��(j��)��ˮ����ȱ�c �������������������������������������������������������������� 286
�O(ji��n)����������ˮ���Ć��} ���������������������� 287
�@ȺЧ��(y��ng) ���� 287
Ħ��ؓ�dģʽ ������������������������������������������������������������ 288
Google Workflow ���� ������������������������������������������������ 289
Workflow ��ģ�ͨDҕ�D�D��������MVC��ģʽ �������������������� 290
Workflow �еĈ�(zh��)���A�� ������������������������������������������ 291
Workflow ���_�Ա��� ���������������������������������� 291
���ϘI(y��)��(w��)�ij��m(x��)�� ������������������������������������������������������������ 292
�Y(ji��) ���������������������������������� 294
��26 �¡���(sh��)��(j��)�����ԣ��x��һ�£��������������������� 295
��(sh��)��(j��)�����Եď����� ���������������������������������������������������� 296
�ṩ���ߵĔ�(sh��)��(j��)�����ԵIJ��� �������� 297
����c��n�������������������������������������������������������������������� 298
��Ӌ��h(hu��n)���µ����� �������������������������������������� 299
���ϔ�(sh��)��(j��)�����ԺͿ����ԣ�Google SRE ��Ŀ�� �������������������������������������� 300
��(sh��)��(j��)���������ֶ�����(sh��)��(j��)��������Ŀ�� ������������������������������������������������ 300
����һ���֏�(f��)ϵ�y(t��ng)�����ǂ��ϵ�y(t��ng) �������������������������������������������������������������� 301
��ɔ�(sh��)��(j��)�Gʧ���¹���� ���������������������� 301
�S�o��(sh��)��(j��)�����Ե���Ⱥ͏V�ȵ����y֮̎ ���������������������������������������� 303
Google SRE ���ϔ�(sh��)��(j��)�����Ե��ֶ� ���� 304
24 �N��(sh��)��(j��)�����Ե��¹ʽM�� ������������ 304
**�ӣ� ܛ�h�� ���������������������������������������������������� 305
�ڶ��ӣ���ݺ����P(gu��n)�Ļ֏�(f��)���� 306
�~��һ�ӣ���(f��)�ƙC�� �������������������������������������� 308
1T vs�� 1E ���惦������(sh��)��(j��)�]��ô���Σ������������������������������������������������������� 309
�����ӣ������A(y��)�� �������������������������������������������� 310
�_����(sh��)��(j��)�֏�(f��)���Կ����������� 313
�������� �������������������� 314
Gmail�D2011 ��2 �£���GTape �ϻ֏�(f��)��(sh��)��(j��)�� �Ŏ��� 314
Google Music�D2012 ��3 �£�һ������h���¹ʵęz�y�^�� ��315
SRE �Ļ��������ڔ�(sh��)��(j��)�������ϵđ�(y��ng)�� �������������������������������������������������������������� 319
���ֳ��W(xu��)�ߵ��đB(t��i) �������������������������������������������� 319
���ε�Ҫ��C ������������������������������������������������������������ 320
��Ҫһ����Ը ������������������������������������������������������������ 320
�v����� ���� 320
�Y(ji��) ���������������������������������� 321
��27 �¡��ɿ����M�Юa(ch��n)Ʒ�Ĵ�Ҏ(gu��)ģ�l(f��)�������� 322
�l(f��)���f(xi��)�{(di��o)���̎� �������������������������������������������������������������������� 323
�l(f��)���f(xi��)�{(di��o)���̎��Ľ�ɫ ������������������������������ 324
�����l(f��)������ ���� 325
�l(f��)���z���б� ������������������������������������������������������������ 326
�Ƅ��ںϺͺ��� ���������������������������������������������������� 326
�l(f��)��δ֪�Įa(ch��n)Ʒ ���������������������������������������������������� 327
���һ���l(f��)���z���б����������������������������������������������� 327
�ܘ�(g��u)�c��ه�������������������������������������������������������������������� 328
���� �������������������� 328
����Ҏ(gu��)�� ���� 328
����ģʽ ���� 329
�͑����О飮������������������������������������������������������������������ 329
�����c�Ԅӻ� ������������������������������������������������������������ 330
�_�l(f��)���� ���� 330
�ⲿ��ه ���� 331
�l(f��)��Ӌ�� ���� 331
�ɿ��l(f��)������Ҫ�ķ���Փ �������������������������������������� 332
�ҶȺ��A���԰l(f��)�� �������������������������������������������� 332
�����_�P(gu��n)��� ������������������������������������������������������������ 333
��(y��ng)���͑��˞E���О� �������������������������������������� 334
�^�d�О�͉����yԇ �������������������������������������� 335
LCE �İl(f��)չ ������������ 335
LCE �z���б���׃�w ������������������������������������ 336
LCE �]�н�Q�Ć��} ������������������������������������ 337
�Y(ji��) ���������������������������������� 338
�ڢ����֡�����
��28 �¡�Ѹ�����B(y��ng)SRE ����on-call������ 341
�µ�SRE �ѽ�(j��ng)��Ƹ���ˣ�������ô�k ������������������������������������������������������������ 341
��Ӗ(x��n)���ڣ����wϵ�����ǻ�y ���������������������� 344
ϵ�y(t��ng)�����۷e�͵ČW(xu��)��(x��)��ʽ �������������� 345
Ŀ���ԏ����Ŀ���������Ǭ��� 346
���B(y��ng)���򹤳��������S�C��(y��ng)׃���� �������� 347
���򹤳̣�Ū����ϵ�y(t��ng)��ι��� 347
�y(t��ng)Ӌ�W(xu��)�ͱ��^��˼�S���ډ����ˆԳֿƌW(xu��)����Փ ������������������ 347
�S�C��(y��ng)׃��������������֮�������l(f��)���r��ô�k ���������� 348
��֪�R��“(li��n)���������򹤳�ij�����a(ch��n)�h(hu��n)������(w��) �������������������������� 348
�б�ؓ��on-call ���̎���5 �����c������ 349
���¹ʵĿ������º󿂽Y(ji��)����x�͕��� ������������������������������������������������ 349
����̎���ֽ�ɫ����(x��) �������������������������������������� 350
�Ɖ���Ė|���������ޏ�(f��)���� �������� 351
�S�o�ęn�njW(xu��)ͽ�΄�(w��)��һ���� �������� 352
�M�����M��Ҋ��(x��)on-call ���������������������������� 353
on-call ֮��ͨ�^��Ӗ(x��n)�ăxʽ�����Լ��պ�ij��m(x��)���� ���������� 354
�Y(ji��) ���������������������������������� 354
��29 �¡�̎���Д����΄�(w��)���������������������������������������� 355
�����\�Sؓ�d ���� 356
��ΛQ�ߌ��Д����΄�(w��)��̎������ �������� 356
�������ęC�� ���� 357
����B(t��i) ������������ 357
��һ���������� ���������������������������������������������������� 358
���Hһ�c�Ľ��h ���������������������������������������������������� 359
�p���� ���� 361
��30 �¡�ͨ�^Ƕ��SRE �ķ�ʽ�����Fꠏ��\�S�^�d�л֏�(f��)�������������������������� 363
**�A�Σ��˽����(w��)���˽������� �������� 364
�_��*��ĉ�����Դ �������������������������������������� 364
�ҵ���(d��o)������������������������������������������������������������������������ 364
�ڶ��A�Σ���������֪�R �������������������������������������� 365
����һ���õ��º󿂽Y(ji��)����ʾ�� 366
���o���¼���������� ������������������������������ 366
�����A�Σ�����(d��o)��׃ ���������������������������������������������������� 367
�Ļ��A(ch��)�_ʼ�������������������������������������������������������������������� 367
�@ȡ�F꠳ɆT�Ď��� �������������������������������������� 367
������߉݋�����^�� ������������������������������ 368
�������(d��o)�Ԇ��} ���������������������������������������������������� 368
�Y(ji��) ���������������������������������� 369
�� 31 �¡�SRE �c�����F꠵Ĝ�ͨ�c�f(xi��)���� 370
��ͨ�����a(ch��n)���h �������������������������������������������������������������������� 371
�h�� �������������������� 372
��ϯ�ˆT ���� 373
SRE �ă�(n��i)���f(xi��)�� ������������������������������������������������������������������ 374
�Fꠘ�(g��u)�� ���� 375
��Ч�����ļ��g(sh��) ���������������������������������������������������� 375
SRE ��(n��i)���ąf(xi��)������������Viceroy ������ 376
Viceroy ���Q�� �������������������������������������������������������� 376
�����R������(zh��n) ������������������������������������������������������������ 378
���h �������������������� 379
SRE �c�������T֮�g�ąf(xi��)�� ������������������������������ 380
������������DFP �w�Ƶ�F1 �������������������������� 380
�Y(ji��) ���������������������������������� 382
��32 �¡�SRE ���cģʽ�����M�v�̣������������� 383
SRE ���cģʽ����ʲô����ô���Լ���ʲô ���������������������������������������������� 383
PRR ģ�� ������������������ 384
SRE ���cģ�� �� 384
�����֧�֣������������������������������������������������������������������� 385
PRR ������PRR ģ�� �������������������������������������������������� 386
���c �������������������� 386
���� �������������������� 387
���M���ؘ�(g��u)�������������������������������������������������������������������� 387
��Ӗ(x��n) �������������������� 388
�����֡�����(w��) ���������������������������������������������������������������� 388
���m(x��)���M ���� 388
����PRR ģ�͵����M�����څ��cģ�� �������������������������������������������������������������������� 389
���څ��cģ�͵��m�Ì��� ���������������������� 389
���څ��cģ�͵ă�(y��u)�� �������������������������������������� 390
����l(f��)չ�ķ���(w��)����ܺ�SRE ƽ�_ ������ 391
��(j��ng)��Ӗ(x��n) ���� 391
Ӱ�SRE ���ⲿ���� ���������������������������������� 392
�Y(ji��)��(g��u)���Ľ�Q��������� ���������������������� 392
�·���(w��)�͹��탞(y��u)�� �������������������������������������������� 394
�Y(ji��) ���������������������������������� 395
�ڢ����֡��Y(ji��)���Z
��33 �¡������ИI(y��)�Č��`��(j��ng)򞣮�������������������������� 398
�������ИI(y��)�������Y��SRE ������������������������������ 399
��(z��i)�y�A(y��)���c����(x��) �������������������������������������������������������������������� 400
�ĽM���ܘ�(g��u)����Գֲ�и�،���ȫ�M���P(gu��n)ע �������������������������������� 401
�P(gu��n)ע�κμ���(ji��) ������������������������������������������������������������ 401
�������� ���� 401
ģ�M�Լ��M�о��Ϟ�(z��i)�y����(x��) �������������� 402
��Ӗ(x��n)�c���ˣ������������������������������������������������������������������� 402
��Ԕ���������ռ���ϵ�y(t��ng)�O(sh��)Ӌ���P(gu��n)ע�������������������������������������������������������� 402
�v����� ���� 403
�º󿂽Y(ji��)���Ļ� �������������������������������������������������������������������� 403
���؏�(f��)�Թ����Ԅӻ��������\�Sؓ�d 404
�Y(ji��)��(g��u)�������ԵěQ�� ���������������������������������������������������� 406
�Y(ji��) ���������������������������������� 407
��34 �¡��Y(ji��)�Z�������������������������������������������������������������������� 408
���A��ϵ�y(t��ng)�����ԣ��������������������������������������������������������� 411
���B�����a(ch��n)�h(hu��n)���\�S�^���е�*�ь��`������412
���C���¹ʠ�B(t��i)�ęnʾ���������������������������������������� 417
���D���º󿂽Y(ji��)ʾ���������������������������������������������������� 419
���E���l(f��)���f(xi��)�{(di��o)�z����������������������������������������� 423
���F�����a(ch��n)�h(hu��n)�����hӛ�ʾ������������������������������ 425
�����īI�������������� 427
������������������������������ 439
չ�_ȫ��

SRE(Google�\�S����) ���ߺ���

Besty Beyer ��Google �~�sؓ؟SRE ��һ�����g(sh��)�ęn��������֮ǰ����鲼ȫ���Google ��(sh��)��(j��)�����cMountain View Ӳ���\�S�F꠾����ęn���ڰᵽ�~�s֮ǰ��Betsy ��Stanford ���g(sh��)�Ԍ����n�̵��v����������(j��ng)�W(xu��)��(x��)���H�P(gu��n)ϵ�cӢ���ČW(xu��)������Stanford ��Tulane �@�ÌW(xu��)�v��Chris Jones ��Google App Engine ��һ��SRE��Google App Engine ��һ��PaaS ����(w��)��ÿ��̎�����^280 �|��Ո�������k�������f��ɽ����֮ǰ�Ĺ�������Google �V��y(t��ng)Ӌ����(sh��)��(j��)�}�����Լ��Ñ�֧��ϵ�y(t��ng)�ľS�o����֮ǰ��Chris ����(j��ng)�ڌW(xu��)УIT �ИI(y��)��š��ͬ�r���c�^���x��(sh��)��(j��)�������Լ�һЩBSD ��(n��i)�˵��޸�������Ӌ��C��������(j��ng)���W(xu��)���Լ����g(sh��)���ߌW(xu��)�ČW(xu��)λ��ͬ�r��Ҳ��һ���Ј�(zh��)�յ�š�I(y��)���̎���Jennifer Petoff ��Google SRE �F꠵�һ���Ŀ��(j��ng)�����������c�ڶ��������۠��m��������(j��ng)ؓ؟��������ȫ���Ŀ���������ƌW(xu��)�о��������������YԴ���Լ��V��ȡ�Jennifer�ڼ���Google ֮ǰ�����ڻ����ИI(y��)��š������������Stanford ��W(xu��)�Ļ��W(xu��)��ʿ�c�W(xu��)ʿ�W(xu��)λ��ͬ�r��߀����Rochester ��W(xu��)������W(xu��)�W(xu��)λ��Niall Murphy ��Google �۠��m�FꠏV��SRE ��ؓ؟�ˡ�������20 �껥“(li��n)�W(w��ng)�ИI(y��)��(j��ng)���Ŀǰ��INEX���۠��m�W(w��ng)�j(lu��)��“(li��n)�м~������ϯ��������(j��ng)�����Լ����c�����ܶ�Ƽ������c����������O��Reilly �����IPv6 Network Administration���Լ��ܶ�RFC����Ŀǰ�څ��c�����۠��m��“(li��n)�W(w��ng)�l(f��)չʷ��������Ӌ��C�ƌW(xu��)����(sh��)�W(xu��)���Լ�Ԋ��W(xu��)�ČW(xu��)�v�������rһ�������e�ˣ�������Ŀǰ�c���Ӻ̓ɂ����Ӿ�ס�ڶ��������O��”��ǰGoogle SRE��2007-2015����ɽ���ǿ����������c��(g��u)���\�SYoutube ȫ��CDN�W(w��ng)�j(lu��)��2008��W�\��ֱ���Ŀ����(g��u)���S�o����ҕ�l���a��ݔϵ�y(t��ng)�����cGoogle��(n��i)����ƽ�_�\�S������ؓ؟�\�Sȫ����f���e����(w��)����Ⱥ���Լ�Borg��Omega�ȴ�Ҏ(gu��)ģ��Ⱥ��ϵ�y(t��ng)��2015�����Coding����CTOһš���؇��󣬷e�O�ƄӇ���(n��i)�������\�S�ܘ�(g��u)������Ŀǰ���_���\�S“(li��n)��֮��(y��ng)���\�SҎ(gu��)���ƶ��M���߿����\�SҎ(gu��)���ƶ�����

��Ʒ�uՓ(0�l)
���o�uՓ����
�������]
����N
����픲�
�ЈD�W(w��ng)
�ھ��ͷ�