SRE(GoogleÔËά½âÃÜ)

Ŀ¼
Ç°ÑÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® xxxi
ÐòÑÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® xxxv
µÚ¢ñ²¿·Ö¡¡¸ÅÀÀ
µÚ1 Õ¡¡½éÉÜ£®£®£®£®£® 2
ϵͳ¹ÜÀíԱģʽ £®£®£® 2
Google µÄ½â¾öÖ®µÀ£ºSRE £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 4
SRE ·½·¨ÂÛ £®£®£®£®£®£®£®£®£®£® 6
È·±£³¤ÆÚ¹Ø×¢Ñз¢¹¤×÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 6
ÔÚ±£ÕÏ·þÎñSLO µÄÇ°ÌáÏÂ*´ó»¯µü´úËÙ¶È £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 7
¼à¿Øϵͳ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 8
Ó¦¼±Ê¼þ´¦Àí £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 8
±ä¸ü¹ÜÀí £®£®£®£®£®£® 9
ÐèÇóÔ¤²âºÍÈÝÁ¿¹æ»® £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 9
×ÊÔ´²¿Êð £®£®£®£® 10
ЧÂÊÓëÐÔÄÜ£® 10
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 10
µÚ2 Õ¡¡Google Éú²ú»·¾³£ºSRE Êӽǣ®£®£®£®£®£® 11
Ó²¼þ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 11
¹ÜÀíÎïÀí·þÎñÆ÷µÄϵͳ¹ÜÀíÈí¼þ £®£®£®£®£®£®£®£®£®£® 13
¹ÜÀíÎïÀí·þÎñÆ÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 13
´æ´¢ £®£®£®£®£®£®£®£®£®£®£®£® 14
ÍøÂç £®£®£®£®£®£®£®£®£®£®£®£® 15
ÆäËûϵͳÈí¼þ £®£®£®£® 16
·Ö²¼Ê½Ëø·þÎñ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 16
¼à¿ØÓ뾯±¨ÏµÍ³ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 16
Èí¼þ»ù´¡ÉèÊ© £®£®£®£® 17
Ñз¢»·¾³ £®£®£®£®£®£®£®£®£®£®£®£® 17
ɯʿ±ÈÑÇËÑË÷£ºÒ»¸öʾ·¶·þÎñ £®£®£®£®£®£®£®£®£®£®£®£®£® 18
Óû§ÇëÇóµÄ´¦Àí¹ý³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 18
ÈÎÎñºÍÊý¾ÝµÄ×éÖ¯·½Ê½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 19
µÚ¢ò²¿·Ö¡¡Ö¸µ¼Ë¼Ïë
µÚ3 Õ¡¡Óµ±§·çÏÕ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 23
¹ÜÀí·çÏÕ £®£®£®£®£®£®£®£®£®£®£®£® 23
¶ÈÁ¿·þÎñµÄ·çÏÕ £® 24
·þÎñµÄ·çÏÕÈÝÈÌ¶È £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 25
±æ±ðÏû·ÑÕß·þÎñµÄ·çÏÕÈÝÈÌ¶È £®£®£®£®£®£® 26
»ù´¡ÉèÊ©·þÎñµÄ·çÏÕÈÝÈÌ¶È £®£®£®£®£®£®£®£®£® 28
ʹÓôíÎóÔ¤ËãµÄÄ¿µÄ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 30
´íÎóÔ¤ËãµÄ¹¹½¨¹ý³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 31
ºÃ´¦ £®£®£®£®£®£®£®£®£®£®£®£® 32
µÚ4 Õ¡¡·þÎñÖÊÁ¿Ä¿±ê£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 34
·þÎñÖÊÁ¿ÊõÓï £®£®£®£® 34
Ö¸±ê £®£®£®£®£®£®£®£®£®£®£®£® 34
Ä¿±ê £®£®£®£®£®£®£®£®£®£®£®£® 35
ЭÒé £®£®£®£®£®£®£®£®£®£®£®£® 36
Ö¸±êÔÚʵ¼ùÖеÄÓ¦Óà £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 37
ÔËάÈËÔ±ºÍ*ÖÕÓû§¸÷¹ØÐÄʲô £®£® 37
Ö¸±êµÄÊÕ¼¯£® 37
»ã×Ü £®£®£®£®£®£®£®£®£®£®£®£® 38
Ö¸±êµÄ±ê×¼»¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 39
Ä¿±êÔÚʵ¼ùÖеÄÓ¦Óà £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 39
Ä¿±êµÄ¶¨Ò壮 40
Ä¿±êµÄÑ¡Ôñ£® 40
¿ØÖÆÊֶΠ£®£®£®£® 42
SLO ¿ÉÒÔ½¨Á¢Óû§Ô¤ÆÚ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 42
ЭÒéÔÚʵ¼ùÖеÄÓ¦Óà £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 43
µÚ5 Õ¡¡¼õÉÙËöÊ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 44
ËöʵĶ¨Òå £®£®£®£®£®£®£®£® 44
ΪʲôËöÊÂÔ½ÉÙÔ½ºÃ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 45
ʲôËã×÷¹¤³Ì¹¤×÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 46
ËöÊ·±¶àÊDz»ÊÇÒ»¶¨²»ºÃ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 47
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 48
µÚ6 Õ¡¡·Ö²¼Ê½ÏµÍ³µÄ¼à¿Ø£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 49
ÊõÓﶨÒå £®£®£®£®£®£®£®£®£®£®£®£® 49
ΪʲôҪ¼à¿Ø £®£®£®£® 50
¶Ô¼à¿ØϵͳÉèÖúÏÀíÔ¤ÆÚ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 51
ÏÖÏóÓëÔ­Òò £®£®£®£®£®£®£®£® 52
ºÚºÐ¼à¿ØÓë°×ºÐ¼à¿Ø £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 53
4 ¸ö»Æ½ðÖ¸±ê £®£®£®£®£® 53
¹ØÓÚ³¤Î²ÎÊÌâ £®£®£®£® 54
¶ÈÁ¿Ö¸±êʱ²ÉÓúÏÊʵľ«¶È £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 55
¼ò»¯£¬Ö±µ½²»ÄÜÔÙ¼ò»¯£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 55
½«ÉÏÊöÀíÄîÕûºÏÆðÀ´ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 56
¼à¿ØϵͳµÄ³¤ÆÚά»¤ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 57
Bigtable SRE £º¾¯±¨¹ý¶àµÄ°¸Àý £®£®£® 57
Gmail £º¿ÉÔ¤ÖªµÄ¡¢¿É½Å±¾»¯µÄÈ˹¤¸ÉÔ¤ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 58
³¤ÅÜ £®£®£®£®£®£®£®£®£®£®£®£® 59
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 59
µÚ7 Õ¡¡Google µÄ×Ô¶¯»¯ÏµÍ³µÄÑݽø£®£®£®£®£®£® 60
×Ô¶¯»¯µÄ¼ÛÖµ £®£®£®£® 60
Ò»ÖÂÐÔ £®£®£®£®£®£®£®£® 60
ƽ̨ÐÔ £®£®£®£®£®£®£®£® 61
ÐÞ¸´Ëٶȸü¿ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 61
Ðж¯Ëٶȸü¿ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 62
½Úʡʱ¼ä £®£®£®£® 62
×Ô¶¯»¯¶ÔGoogle SRE µÄ¼ÛÖµ £®£®£®£®£®£®£®£®£®£®£®£®£®£® 62
×Ô¶¯»¯µÄÓ¦Óð¸Àý £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 63
Google SRE µÄ×Ô¶¯»¯Ê¹Óð¸Àý £®£®£®£® 63
×Ô¶¯»¯·ÖÀàµÄ²ã´Î½á¹¹ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 64
ÈÃ×Ô¼ºÍÑÀ빤×÷£º×Ô¶¯»¯ËùÓеĶ«Î÷ £®£® 66
Ê滺ÌÛÍ´£º½«×Ô¶¯»¯Ó¦Óõ½¼¯ÈºÉÏÏßÖÐ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 67
ʹÓÃProdtest ¼ì²â²»Ò»ÖÂÇé¿ö £®£®£®£®£®£® 68
Ãݵȵؽâ¾ö²»Ò»ÖÂÇé¿ö £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 69
רҵ»¯ÇãÏò£® 71
ÒÔ·þÎñΪµ¼ÏòµÄ¼¯ÈºÉÏÏßÁ÷³Ì £®£®£®£®£®£® 72
Borg £º²Ö¿â¹æÄ£¼ÆËã»úµÄµ®Éú £®£®£®£®£®£®£®£®£®£®£®£®£® 73
¿É¿¿ÐÔÊÇ*»ù±¾µÄ¹¦ÄÜ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 74
½¨Òé £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 75
µÚ8 Õ¡¡·¢²¼¹¤³Ì£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 76
·¢²¼¹¤³ÌʦµÄ½ÇÉ« £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 76
·¢²¼¹¤³ÌÕÜѧ £®£®£®£® 77
×Ô·þÎñÄ£ÐÍ£® 77
×·ÇóËÙ¶È £®£®£®£® 77
ÃܱÕÐÔ £®£®£®£®£®£®£®£® 77
Ç¿µ÷²ßÂÔºÍÁ÷³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 78
³ÖÐø¹¹½¨Ó벿Êð £® 78
¹¹½¨ £®£®£®£®£®£®£®£®£®£®£®£® 78
·ÖÖ§ £®£®£®£®£®£®£®£®£®£®£®£® 79
²âÊÔ £®£®£®£®£®£®£®£®£®£®£®£® 79
´ò°ü £®£®£®£®£®£®£®£®£®£®£®£® 79
Rapid ϵͳ £®£® 80
²¿Êð £®£®£®£®£®£®£®£®£®£®£®£® 81
ÅäÖùÜÀí £®£®£®£®£®£®£®£®£®£®£®£® 81
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 82
²»½ö½öÖ»¶ÔGoogle ÓÐÓà £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 83
Ò»¿ªÊ¼¾Í½øÐз¢²¼¹¤³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 83
µÚ9 Õ¡¡¼òµ¥»¯ 85
ϵͳµÄÎȶ¨ÐÔÓëÁé»îÐÔ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 85
·¦Î¶ÊÇÒ»ÖÖÃÀµÂ £® 86
ÎÒ¾ø¶Ô²»·ÅÆúÎҵĴúÂ룮£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 86
¡°¸º´úÂëÐС±×÷Ϊһ¸öÖ¸±ê £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 87
*С API £®£®£®£®£®£®£®£®£®£®£®£® 87
Ä£¿é»¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 87
·¢²¼µÄ¼òµ¥»¯ £®£®£®£® 88
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 88
µÚ¢ó²¿·Ö¡¡*¼Ñʵ¼ù
µÚ10 Õ¡¡»ùÓÚʱ¼äÐòÁÐÊý¾Ý½øÐÐÓÐЧ±¨¾¯£®£® 93
Borgmon µÄÆðÔ´ 94
Ó¦ÓÃÈí¼þµÄ¼à¿ØÂñµã £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 95
¼à¿ØÖ¸±êµÄÊÕ¼¯ £® 96
ʱ¼äÐòÁÐÊý¾ÝµÄ´æ´¢ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 97
±êÇ©ÓëÏòÁ¿£® 98
Borg ¹æÔò¼ÆËã £®£®£® 99
±¨¾¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 104
¼à¿ØϵͳµÄ·ÖƬ»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 105
ºÚºÐ¼à¿Ø £®£®£®£®£®£®£®£®£®£® 106
ÅäÖÃÎļþµÄά»¤ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 106
Ê®ÄêÖ®ºó £®£®£®£®£®£®£®£®£®£® 108
µÚ11 Õ¡¡on-call ÂÖÖµ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 109
½éÉÜ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 109
on-call ¹¤³ÌʦµÄÒ»Ìì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 110
on-call ¹¤×÷ƽºâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®111
ÊýÁ¿Éϱ£³Öƽºâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®111
ÖÊÁ¿Éϱ£³Öƽºâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®111
²¹Ìù´ëÊ© £®£® 112
°²È«¸Ð £®£®£®£®£®£®£®£®£®£®£®£®£®£® 112
±ÜÃâÔËάѹÁ¦¹ý´ó £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 114
ÔËάѹÁ¦¹ý´ó £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 114
¼éÕ©µÄµÐÈ˨DÔËάѹÁ¦²»¹» £®£®£®£® 115
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 115
µÚ12 Õ¡¡ÓÐЧµÄ¹ÊÕÏÅŲéÊֶΣ®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 116
ÀíÂÛ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 117
ʵ¼ù £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 119
¹ÊÕϱ¨¸æ £®£® 119
¶¨Î» £®£®£®£®£®£®£®£®£®£® 119
¼ì²é £®£®£®£®£®£®£®£®£®£® 120
Õï¶Ï £®£®£®£®£®£®£®£®£®£® 122
²âÊÔºÍÐÞ¸´£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 124
ÉñÆæµÄ¸ºÃæ½á¹û £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 125
ÖÎÓú £®£®£®£®£®£®£®£®£®£® 126
°¸Àý·ÖÎö £®£®£®£®£®£®£®£®£®£® 127
ʹ¹ÊÕÏÅŲé¸ü¼òµ¥ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 130
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 130
µÚ13 Õ¡¡½ô¼±Ê¼þÏìÓ¦£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 131
µ±ÏµÍ³³öÏÖÎÊÌâʱÔõô°ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 131
²âÊÔµ¼ÖµĽô¼±ÊÂ¹Ê £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 132
ϸ½Ú £®£®£®£®£®£®£®£®£®£® 132
ÏìÓ¦ £®£®£®£®£®£®£®£®£®£® 132
ʺó×Ü½á £®£® 132
±ä¸ü²¿Êð´øÀ´µÄ½ô¼±ÊÂ¹Ê £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 133
ϸ½Ú £®£®£®£®£®£®£®£®£®£® 133
ʹÊÏìÓ¦ £®£® 134
ʺó×Ü½á £®£® 134
Á÷³Ìµ¼ÖµÄÑÏÖØÊÂ¹Ê £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 135
ϸ½Ú £®£®£®£®£®£®£®£®£®£® 135
ÔÖÄÑÏìÓ¦ £®£® 136
ʺó×Ü½á £®£® 136
ËùÓеÄÎÊÌⶼÓнâ¾ö·½°¸ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 137
Ïò¹ýȥѧϰ£¬¶ø²»ÊÇÖظ´Ëü £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 138
Ϊʹʱ£Áô¼Ç¼ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 138
Ìá³öÄÇЩ´óµÄ£¬ÉõÖÁ²»¿ÉÄܵÄÎÊÌ⣺¼ÙÈç¡­¡­ £®£®£®£®£®£®£®£®£®£®£®£®£® 138
¹ÄÀøÖ÷¶¯²âÊÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 138
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 138
µÚ14 Õ¡¡½ô¼±Ê¹ʹÜÀí£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 140
ÎÞÁ÷³Ì¹ÜÀíµÄ½ô¼±Ê¹ʣ®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 140
¶ÔÕâ´ÎÎÞÁ÷³Ì¹ÜÀíµÄʹʵÄÆÊÎö £®£®£®£®£®£®£®£® 141
¹ýÓÚ¹Ø×¢¼¼ÊõÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 141
¹µÍ¨²»³© £®£® 141
²»Çë×ÔÀ´ £®£® 142
½ô¼±Ê¹ʵÄÁ÷³Ì¹ÜÀíÒªËØ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 142
ǶÌ×ʽְÔð·ÖÀë £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 142
¿ØÖÆÖÐÐÄ £®£® 143
ʵʱʹÊ״̬Îĵµ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 143
Ã÷È·¹«¿ªµÄÖ°Ôð½»½Ó £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 143
Ò»´ÎÁ÷³Ì¹ÜÀíÁ¼ºÃµÄÊÂ¹Ê £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 144
ʲôʱºò¶ÔÍâÐû²¼Ê¹ʣ®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 144
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 145
µÚ15 Õ¡¡Êºó×ܽ᣺´Óʧ°ÜÖÐѧϰ£®£®£®£®£®£®£®£®£® 146
Google µÄʺó×ܽáÕÜѧ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 146
Э×÷ºÍ֪ʶ¹²Ïí £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 148
½¨Á¢Êºó×ܽáÎÄ»¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 149
С½áÒÔ¼°²»¶ÏÓÅ»¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 151
µÚ16 Õ¡¡¸ú×Ù¹ÊÕÏ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®152
Escalator £®£®£®£®£®£®£®£®£®£® 152
Outalator £®£®£®£®£®£®£®£®£®£® 153
¾ÛºÏ £®£®£®£®£®£®£®£®£®£® 154
¼Ó±êÇ© £®£®£®£®£®£® 155
·ÖÎö £®£®£®£®£®£®£®£®£®£® 155
δԤÁϵ½µÄºÃ´¦ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 156
µÚ17 Õ¡¡²âÊÔ¿É¿¿ÐÔ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®157
Èí¼þ²âÊÔµÄÀàÐÍ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 158
´«Í³²âÊÔ £®£® 159
Éú²ú²âÊÔ £®£® 160
´´ÔìÒ»¸ö¹¹½¨ºÍ²âÊÔ»·¾³ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 163
´ó¹æÄ£²âÊÔ £®£®£®£®£®£® 165
²âÊÔ´ó¹æģʹÓõŤ¾ß £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 166
Õë¶ÔÔÖÄѵIJâÊÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 167
¶ÔËٶȵĿÊÇó £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 168
·¢²¼µ½Éú²ú»·¾³ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 170
ÔÊÐí²âÊÔʧ°Ü £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 170
¼¯³É £®£®£®£®£®£®£®£®£®£® 172
Éú²ú»·¾³Ì½Õë £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 173
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 175
µÚ18 Õ¡¡SRE ²¿ÃÅÖеÄÈí¼þ¹¤³Ìʵ¼ù£®£®£®£®£®176
ΪʲôÈí¼þ¹¤³ÌÏîÄ¿¶ÔSRE ºÜÖØÒª £®£®£® 176
Auxon °¸Àý·ÖÎö£ºÏîÄ¿±³¾°ºÍÒª½â¾öµÄÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 177
´«Í³µÄÈÝÁ¿¹æ»®·½·¨ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 177
½â¾ö·½°¸£º»ùÓÚÒâͼµÄÈÝÁ¿¹æ»® 179
»ùÓÚÒâͼµÄÈÝÁ¿¹æ»® £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 180
±í´ï²úÆ·ÒâͼµÄÏȵ¼Ìõ¼þ £®£®£®£®£®£®£®£®£®£®£® 181
Auxon ¼ò½é £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 182
ÐèÇóºÍʵÏÖ£º³É¹¦ºÍ²»×ã £®£®£®£®£®£®£®£®£®£®£® 183
ÌáÉýÁ˽â³Ì¶È£¬Íƽø²ÉÓÃÂÊ £®£®£®£®£®£®£® 185
ÍŶÓÄÚ²¿×é³É £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 187
ÔÚSRE ÍŶÓÖÐÅàÑøÈí¼þ¹¤³Ì·çÆø £®£®£®£®£®£® 187
ÔÚSRE ÍŶÓÖн¨Á¢ÆðÈí¼þ¹¤³Ì·ÕΧ£ºÕÐƸÓ뿪·¢Ê±¼ä 188
×öµ½ÕâÒ»µã£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 189
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 190
µÚ19 Õ¡¡Ç°¶Ë·þÎñÆ÷µÄ¸ºÔؾùºâ£®£®£®£®£®£®£®£®£®£®£®£®£® 191
ÓÐʱºòÓ²¼þ²¢²»Äܽâ¾öÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 191
ʹÓÃDNS ½øÐиºÔؾùºâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 192
¸ºÔؾùºâ£ºÐéÄâIP£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 194
µÚ20 Õ¡¡Êý¾ÝÖÐÐÄÄÚ²¿µÄ¸ºÔؾùºâϵͳ£®£®£®£®197
ÀíÏëÇé¿ö £®£®£®£®£®£®£®£®£®£® 198
ʶ±ðÒì³£ÈÎÎñ£ºÁ÷ËÙ¿ØÖƺÍõ˽ÅѼÈÎÎñ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 199
Òì³£ÈÎÎñµÄ¼òµ¥Ó¦¶Ô°ì·¨£ºÁ÷ËÙ¿ØÖÆ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 199
Ò»¸ö¿É¿¿µÄʶ±ðÒì³£ÈÎÎñµÄ·½·¨£ºõ˽ÅѼ״̬ £®£®£®£®£®£®£®£®£®£®£®£®£® 200
ÀûÓû®·Ö×Ó¼¯ÏÞÖÆÁ¬½Ó³Ø´óС £®£®£®£®£®£®£®£®£®£®£® 201
Ñ¡ÔñºÏÊʵÄ×Ó¼¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 201
×Ó¼¯Ñ¡ÔñËã·¨Ò»£ºËæ»úÑ¡Ôñ £®£®£®£®£®£®£® 202
×Ó¼¯Ñ¡ÔñËã·¨¶þ£ºÈ·¶¨ÐÔËã·¨ £®£®£®£® 204
¸ºÔؾùºâ²ßÂÔ £®£® 206
¼òµ¥ÂÖѯËã·¨ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 206
*ÏÐÂÖѯ²ßÂÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 209
¼ÓȨÂÖѯ²ßÂÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 210
µÚ21 Õ¡¡Ó¦¶Ô¹ýÔØ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®212
QPS ÏÝÚå £®£®£®£®£®£®£®£®£® 213
¸øÿ¸öÓû§ÉèÖÃÏÞÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 213
¿Í»§¶Ë²àµÄ½ÚÁ÷»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 214
ÖØÒªÐÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£® 216
×ÊÔ´ÀûÓÃÂÊÐźŠ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 217
´¦Àí¹ýÔØ´íÎó £®£® 217
¾ö¶¨ºÎʱÖØÊÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 218
Á¬½ÓÔì³ÉµÄ¸ºÔØ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 220
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 221
µÚ22 Õ¡¡´¦ÀíÁ¬Ëø¹ÊÕÏ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 223
Á¬Ëø¹ÊÕϲúÉúµÄÔ­ÒòºÍÈçºÎ´ÓÉè¼ÆÉϱÜÃâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 224
·þÎñÆ÷¹ýÔØ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 224
×ÊÔ´ºÄ¾¡ £®£® 225
·þÎñ²»¿ÉÓ㮣®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 228
·ÀÖ¹Èí¼þ·þÎñÆ÷¹ýÔØ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 228
¶ÓÁйÜÀí £®£® 229
Á÷Á¿Å×ÆúºÍÓÅÑŽµ¼¶ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 230
ÖØÊÔ £®£®£®£®£®£®£®£®£®£® 231
ÇëÇóÑӳٺͽØֹʱ¼ä £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 234
ÂýÆô¶¯ºÍÀ仺´æ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 236
±£³Öµ÷ÓÃÕ»ÓÀÔ¶ÏòÏ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 238
Á¬Ëø¹ÊÕϵĴ¥·¢Ìõ¼þ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 238
½ø³Ì±ÀÀ£ £®£® 239
½ø³Ì¸üР£®£® 239
еķ¢²¼ £®£® 239
×ÔÈ»Ôö³¤ £®£® 239
¼Æ»®Öлò¼Æ»®ÍâµÄ²»¿ÉÓà £®£®£®£®£®£®£®£®£®£®£® 239
Á¬Ëø¹ÊÕϵIJâÊÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 240
²âÊÔÖ±µ½³öÏÖ¹ÊÕÏ£¬»¹Òª¼ÌÐø²âÊÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 240
²âÊÔ*³£ÓõĿͻ§¶Ë £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 241
²âÊԷǹؼüÐÔºó¶Ë £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 242
½â¾öÁ¬Ëø¹ÊÕϵÄÁ¢¼´²½Öè £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 242
Ôö¼Ó×ÊÔ´ £®£® 242
Í£Ö¹½¡¿µ¼ì²éµ¼ÖµÄÈÎÎñËÀÍö £®£®£®£® 242
ÖØÆôÈí¼þ·þÎñÆ÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 242
¶ªÆúÁ÷Á¿ £®£® 243
½øÈë½µ¼¶Ä£Ê½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 243
Ïû³ýÅú´¦Àí¸ºÔØ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 244
Ïû³ýÓꦵÄÁ÷Á¿ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 244
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 244
µÚ23 Õ¡¡¹ÜÀí¹Ø¼ü״̬£ºÀûÓ÷ֲ¼Ê½¹²Ê¶À´Ìá¸ß¿É¿¿ÐÔ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 246
ʹÓù²Ê¶ÏµÍ³µÄ¶¯Á¦£º·Ö²¼Ê½ÏµÍ³Ð­µ÷ʧ°Ü £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 248
°¸Àý1 £ºÄÔÁÑÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 249
°¸Àý2 £ºÐèÒªÈ˹¤¸ÉÔ¤µÄÔÖ±¸Çл» £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 249
°¸Àý3 £ºÓÐÎÊÌâµÄС×é³ÉÔ±Ëã·¨ £® 249
·Ö²¼Ê½¹²Ê¶ÊÇÈçºÎ¹¤×÷µÄ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 250
Paxos ¸ÅÒª£ºÐ­ÒéʾÀý £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 251
·Ö²¼Ê½¹²Ê¶µÄϵͳ¼Ü¹¹Ä£Ê½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 251
¿É¿¿µÄ¸´ÖÆ״̬»ú £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 252
¿É¿¿µÄ¸´ÖÆÊý¾Ý´æ´¢ºÍÅäÖô洢 252
ʹÓÃÁìÍ·ÈËÑ¡¾Ù»úÖÆʵÏָ߿ÉÓõĴ¦Àíϵͳ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 253
·Ö²¼Ê½Ð­µ÷ºÍËø·þÎñ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 253
¿É¿¿µÄ·Ö²¼Ê½¶ÓÁкÍÏûÏ¢´«µÝ £®£®£®£® 254
·Ö²¼Ê½¹²Ê¶ÏµÍ³µÄÐÔÄÜÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 255
¸´ºÏʽPaxos £ºÏûÏ¢Á÷¹ý³ÌÏê½â £® 257
Ó¦¶Ô´óÁ¿µÄ¶Á²Ù×÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 258
·¨¶¨×âÔ¼ £®£® 259
·Ö²¼Ê½¹²Ê¶ÏµÍ³µÄÐÔÄÜÓëÍøÂçÑÓ³Ù £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 259
¿ìËÙPaxos ЭÒ飺ÐÔÄÜÓÅ»¯ £®£®£®£®£®£®£®£® 260
Îȶ¨µÄÁìÍ·ÈË»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 261
Åú´¦Àí £®£®£®£®£®£® 262
´ÅÅÌ·ÃÎÊ £®£® 262
·Ö²¼Ê½¹²Ê¶ÏµÍ³µÄ²¿Ê𣮣®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 263
¸±±¾µÄÊýÁ¿£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 263
¸±±¾µÄλÖ㮣®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 265
ÈÝÁ¿¹æ»®ºÍ¸ºÔؾùºâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 266
¶Ô·Ö²¼Ê½¹²Ê¶ÏµÍ³µÄ¼à¿Ø £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 270
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 272
µÚ24 Õ¡¡·Ö²¼Ê½ÖÜÆÚÐÔÈÎÎñϵͳ£®£®£®£®£®£®£®£®£®£®£® 273
Cron £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 273
½éÉÜ £®£®£®£®£®£®£®£®£®£® 273
¿É¿¿ÐÔ £®£®£®£®£®£® 274
Cron ÈÎÎñºÍÃݵÈÐÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 274
´ó¹æÄ£Cron ϵͳ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 275
¶Ô»ù´¡ÉèÊ©µÄÀ©Õ¹ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 275
¶ÔÐèÇóµÄÀ©Õ¹ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 276
Google Cron ϵͳµÄ¹¹½¨¹ý³Ì £®£®£®£®£®£®£®£®£®£®£®£®£® 277
¸ú×ÙCron ÈÎÎñµÄ״̬ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 277
Paxos ЭÒéµÄʹÓà £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 277
ÁìÍ·È˽ÇÉ«ºÍ×·ËæÕß½ÇÉ« £®£®£®£®£®£®£®£®£®£®£® 278
±£´æ״̬ £®£® 281
ÔËά´óÐÍCron ϵͳ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 282
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 283
µÚ25 Õ¡¡Êý¾Ý´¦ÀíÁ÷Ë®Ïߣ®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 284
Á÷Ë®ÏßÉè¼ÆģʽµÄÆðÔ´£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 284
¼òµ¥Á÷Ë®ÏßÉè¼ÆģʽÓë´óÊý¾Ý £®£®£®£®£®£®£®£®£®£®£® 284
ÖÜÆÚÐÔÁ÷Ë®ÏßģʽµÄÌôÕ½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 285
¹¤×÷·Ö·¢²»¾ùÔì³ÉµÄÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 285
·Ö²¼Ê½»·¾³ÖÐÖÜÆÚÐÔÊý¾ÝÁ÷Ë®ÏßµÄȱµã £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 286
¼à¿ØÖÜÆÚÐÔÁ÷Ë®ÏßµÄÎÊÌâ £®£®£®£®£®£®£®£®£®£®£® 287
¾ªÈºÐ§Ó¦ £®£® 287
Ħ¶û¸ºÔØģʽ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 288
Google Workflow ¼ò½é £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 289
Workflow ÊÇÄ£ÐͨDÊÓͼ¨D¿ØÖÆÆ÷£¨MVC£©Ä£Ê½ £®£®£®£®£®£®£®£®£®£® 290
Workflow ÖеÄÖ´Ðн׶Π£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 291
Workflow ÕýÈ·ÐÔ±£ÕÏ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 291
±£ÕÏÒµÎñµÄ³ÖÐøÐÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 292
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 294
µÚ26 Õ¡¡Êý¾ÝÍêÕûÐÔ£º¶ÁдһÖ£®£®£®£®£®£®£®£®£®£®£® 295
Êý¾ÝÍêÕûÐÔµÄÇ¿ÐèÇó £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 296
Ìṩ³¬¸ßµÄÊý¾ÝÍêÕûÐԵIJßÂÔ £®£®£®£® 297
±¸·ÝÓë´æµµ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 298
ÔƼÆËã»·¾³ÏµÄÐèÇó £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 299
±£ÕÏÊý¾ÝÍêÕûÐԺͿÉÓÃÐÔ£ºGoogle SRE µÄÄ¿±ê £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 300
Êý¾ÝÍêÕûÐÔÊÇÊֶΣ¬Êý¾Ý¿ÉÓÃÐÔÊÇÄ¿±ê £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 300
½»¸¶Ò»¸ö»Ö¸´ÏµÍ³£¬¶ø·Ç±¸·Ýϵͳ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 301
Ôì³ÉÊý¾Ý¶ªÊ§µÄʹÊÀàÐÍ £®£®£®£®£®£®£®£®£®£®£® 301
ά»¤Êý¾ÝÍêÕûÐÔµÄÉî¶ÈºÍ¹ã¶ÈµÄÀ§ÄÑÖ®´¦ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 303
Google SRE ±£ÕÏÊý¾ÝÍêÕûÐÔµÄÊֶΠ£®£® 304
24 ÖÖÊý¾ÝÍêÕûÐÔµÄʹÊ×éºÏ £®£®£®£®£®£® 304
**²ã£º Èíɾ³ý £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 305
µÚ¶þ²ã£º±¸·ÝºÍÏà¹ØµÄ»Ö¸´·½·¨ 306
¶îÍâÒ»²ã£º¸´ÖÆ»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 308
1T vs£® 1E £º´æ´¢¸ü¶àÊý¾ÝûÄÇô¼òµ¥£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 309
µÚÈý²ã£ºÔçÆÚÔ¤¾¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 310
È·±£Êý¾Ý»Ö¸´²ßÂÔ¿ÉÒÔÕý³£¹¤×÷ 313
°¸Àý·ÖÎö £®£®£®£®£®£®£®£®£®£® 314
Gmail¨D2011 Äê2 Ô£º´ÓGTape Éϻָ´Êý¾Ý£¨ ´Å´ø£© 314
Google Music¨D2012 Äê3 Ô£ºÒ»´ÎÒâÍâɾ³ýʹʵļì²â¹ý³Ì £®315
SRE µÄ»ù±¾ÀíÄîÔÚÊý¾ÝÍêÕûÐÔÉϵÄÓ¦Óà £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 319
±£³Ö³õѧÕßµÄÐÄ̬ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 319
ÐÅÈε«ÒªÑéÖ¤ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 320
²»ÒªÒ»ÏáÇéÔ¸ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 320
×ÝÉî·ÀÓù £®£® 320
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 321
µÚ27 Õ¡¡¿É¿¿µØ½øÐвúÆ·µÄ´ó¹æÄ£·¢²¼£®£®£® 322
·¢²¼Ð­µ÷¹¤³Ìʦ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 323
·¢²¼Ð­µ÷¹¤³ÌʦµÄ½ÇÉ« £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 324
½¨Á¢·¢²¼Á÷³Ì £®£® 325
·¢²¼¼ì²éÁÐ±í £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 326
Íƶ¯ÈںϺͼò»¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 326
·¢²¼Î´ÖªµÄ²úÆ· £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 327
Æð²ÝÒ»¸ö·¢²¼¼ì²éÁÐ±í£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 327
¼Ü¹¹ÓëÒÀÀµ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 328
¼¯³É £®£®£®£®£®£®£®£®£®£® 328
ÈÝÁ¿¹æ»® £®£® 328
¹ÊÕÏģʽ £®£® 329
¿Í»§¶ËÐÐΪ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 329
Á÷³ÌÓë×Ô¶¯»¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 330
¿ª·¢Á÷³Ì £®£® 330
ÍⲿÒÀÀµ £®£® 331
·¢²¼¼Æ»® £®£® 331
¿É¿¿·¢²¼ËùÐèÒªµÄ·½·¨ÂÛ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 332
»Ò¶ÈºÍ½×¶ÎÐÔ·¢²¼ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 332
¹¦ÄÜ¿ª¹Ø¿ò¼Ü £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 333
Ó¦¶Ô¿Í»§¶ËÀÄÓÃÐÐΪ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 334
¹ýÔØÐÐΪºÍѹÁ¦²âÊÔ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 335
LCE µÄ·¢Õ¹ £®£®£®£®£®£® 335
LCE ¼ì²éÁбíµÄ±äǨ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 336
LCE ûÓнâ¾öµÄÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 337
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 338
µÚ¢ô²¿·Ö¡¡¹ÜÀí
µÚ28 Õ¡¡Ñ¸ËÙÅàÑøSRE ¼ÓÈëon-call£®£®£® 341
еÄSRE ÒѾ­ÕÐƸµ½ÁË£¬½ÓÏÂÀ´Ôõô°ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 341
Åàѵ³õÆÚ£ºÖØÌåϵ£¬¶ø·Ç»ìÂÒ £®£®£®£®£®£®£®£®£®£®£® 344
ϵͳÐÔ¡¢ÀÛ»ýÐ͵Äѧϰ·½Ê½ £®£®£®£®£®£®£® 345
Ä¿±êÐÔÇ¿µÄÏîÄ¿¹¤×÷£¬¶ø·ÇËöÊ 346
ÅàÑø·´Ïò¹¤³ÌÄÜÁ¦ºÍËæ»úÓ¦±äÄÜÁ¦ £®£®£®£® 347
·´Ïò¹¤³Ì£ºÅªÃ÷°×ϵͳÈçºÎ¹¤×÷ 347
ͳ¼ÆѧºÍ±È½ÏÐÔ˼ά£ºÔÚѹÁ¦Ï¼á³Ö¿Æѧ·½·¨ÂÛ £®£®£®£®£®£®£®£®£® 347
Ëæ»úÓ¦±äµÄÄÜÁ¦£ºµ±ÒâÁÏÖ®ÍâµÄÊÂÇé·¢ÉúʱÔõô°ì £®£®£®£®£® 348
½«ÖªÊ¶´®ÁªÆðÀ´£º·´Ïò¹¤³Ìij¸öÉú²ú»·¾³·þÎñ £®£®£®£®£®£®£®£®£®£®£®£®£® 348
Óб§¸ºµÄon-call ¹¤³ÌʦµÄ5 ¸öÌص㣮£®£® 349
¶ÔʹʵĿÊÍû£ºÊºó×ܽáµÄÔĶÁºÍÊéд £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 349
¹ÊÕÏ´¦Àí·Ö½ÇÉ«ÑÝÏ° £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 350
ÆÆ»µÕæµÄ¶«Î÷£¬²¢ÇÒÐÞ¸´ËüÃÇ £®£®£®£® 351
ά»¤ÎĵµÊÇѧͽÈÎÎñµÄÒ»²¿·Ö £®£®£®£® 352
¾¡Ôç¡¢¾¡¿ì¼ûÏ°on-call £®£®£®£®£®£®£®£®£®£®£®£®£®£® 353
on-call Ö®ºó£ºÍ¨¹ýÅàѵµÄÒÇʽ¸Ð£¬ÒÔ¼°ÈÕºóµÄ³ÖÐø½ÌÓý £®£®£®£®£® 354
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 354
µÚ29 Õ¡¡´¦ÀíÖжÏÐÔÈÎÎñ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 355
¹ÜÀíÔËά¸ºÔØ £®£® 356
ÈçºÎ¾ö²ß¶ÔÖжÏÐÔÈÎÎñµÄ´¦Àí²ßÂÔ £®£®£®£® 356
²»ÍêÃÀµÄ»úÆ÷ £®£® 357
Á÷״̬ £®£®£®£®£®£® 357
½«Ò»¼þÊÂÇé×öºÃ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 358
ʵ¼ÊÒ»µãµÄ½¨Òé £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 359
¼õÉÙÖÐ¶Ï £®£® 361
µÚ30 Õ¡¡Í¨¹ýǶÈëSRE µÄ·½Ê½°ïÖúÍŶӴÓÔËά¹ýÔØÖлָ´£®£®£®£®£®£®£®£®£®£®£®£®£® 363
**½×¶Î£ºÁ˽â·þÎñ£¬Á˽âÉÏÏÂÎÄ £®£®£®£® 364
È·¶¨*´óµÄѹÁ¦À´Ô´ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 364
ÕÒµ½µ¼»ðË÷£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 364
µÚ¶þ½×¶Î£º·ÖÏí±³¾°ÖªÊ¶ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 365
Êéдһ¸öºÃµÄʺó×ܽá×÷Ϊʾ·¶ 366
½«½ô¼±Ê¼þ°´ÀàÐÍÅÅÐò £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 366
µÚÈý½×¶Î£ºÖ÷µ¼¸Ä±ä £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 367
´Ó»ù´¡¿ªÊ¼£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 367
»ñÈ¡ÍŶӳÉÔ±µÄ°ïÖú £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 367
½âÊÍÄãµÄÂß¼­ÍÆÀí¹ý³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 368
Ìá³öÒýµ¼ÐÔÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 368
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 369
µÚ 31 Õ¡¡SRE ÓëÆäËûÍŶӵŵͨÓëЭ×÷£® 370
¹µÍ¨£ºÉú²ú»áÒé £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 371
Òé³Ì £®£®£®£®£®£®£®£®£®£® 372
³öϯÈËÔ± £®£® 373
SRE µÄÄÚ²¿Ð­×÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 374
ÍŶӹ¹³É £®£® 375
¸ßЧ¹¤×÷µÄ¼¼Êõ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 375
SRE ÄÚ²¿µÄЭ×÷°¸Àý·ÖÎö£ºViceroy £®£®£® 376
Viceroy µÄµ®Éú £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 376
ËùÃæÁÙµÄÌôÕ½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 378
½¨Òé £®£®£®£®£®£®£®£®£®£® 379
SRE ÓëÆäËû²¿ÃÅÖ®¼äµÄЭ×÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 380
°¸Àý·ÖÎö£º½«DFP ǨÒƵ½F1 £®£®£®£®£®£®£®£®£®£®£®£®£® 380
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 382
µÚ32 Õ¡¡SRE ²ÎÓëģʽµÄÑݽøÀú³Ì£®£®£®£®£®£®£® 383
SRE ²ÎÓëģʽ£ºÊÇʲô¡¢ÔõôÑùÒÔ¼°ÎªÊ²Ã´ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 383
PRR Ä£ÐÍ £®£®£®£®£®£®£®£®£® 384
SRE ²ÎÓëÄ£ÐÍ £® 384
Ìæ´úÐÔÖ§³Ö£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 385
PRR £º¼òµ¥PRR Ä£ÐÍ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 386
²ÎÓë £®£®£®£®£®£®£®£®£®£® 386
·ÖÎö £®£®£®£®£®£®£®£®£®£® 387
¸Ä½øºÍÖع¹£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 387
Åàѵ £®£®£®£®£®£®£®£®£®£® 388
¡°½ÓÊÖ¡±·þÎñ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 388
³ÖÐø¸Ä½ø £®£® 388
¼òµ¥PRR Ä£Ð͵ÄÑݽø£ºÔçÆÚ²ÎÓëÄ£ÐÍ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 389
ÔçÆÚ²ÎÓëÄ£Ð͵ÄÊÊÓöÔÏó £®£®£®£®£®£®£®£®£®£®£® 389
ÔçÆÚ²ÎÓëÄ£Ð͵ÄÓÅÊÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 390
²»¶Ï·¢Õ¹µÄ·þÎñ£º¿ò¼ÜºÍSRE ƽ̨ £®£®£® 391
¾­Ñé½Ìѵ £®£® 391
Ó°ÏìSRE µÄÍⲿÒòËØ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 392
½á¹¹»¯µÄ½â¾ö·½°¸£º¿ò¼Ü £®£®£®£®£®£®£®£®£®£®£® 392
зþÎñºÍ¹ÜÀíÓÅÊÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 394
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 395
µÚ¢õ²¿·Ö¡¡½áÊøÓï
µÚ33 Õ¡¡ÆäËûÐÐÒµµÄʵ¼ù¾­Ñ飮£®£®£®£®£®£®£®£®£®£®£®£®£® 398
ÓÐÆäËûÐÐÒµ±³¾°µÄ×ÊÉîSRE £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 399
ÔÖÄÑÔ¤°¸ÓëÑÝÏ° £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 400
´Ó×éÖ¯¼Ü¹¹²ãÃæ¼á³Ö²»Ð¸µØ¶Ô°²È«½øÐйØ×¢ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 401
¹Ø×¢ÈκÎϸ½Ú £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 401
ÈßÓàÈÝÁ¿ £®£® 401
Ä£ÄâÒÔ¼°½øÐÐÏßÉÏÔÖÄÑÑÝÏ° £®£®£®£®£®£®£® 402
ÅàѵÓ뿼ºË£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 402
¶ÔÏêϸµÄÐèÇóÊÕ¼¯ºÍϵͳÉè¼ÆµÄ¹Ø×¢£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 402
×ÝÉî·ÀÓù £®£® 403
ʺó×ܽáµÄÎÄ»¯ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 403
½«Öظ´ÐÔ¹¤×÷×Ô¶¯»¯£¬Ïû³ýÔËά¸ºÔØ 404
½á¹¹»¯ºÍÀíÐԵľö²ß £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 406
С½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 407
µÚ34 Õ¡¡½áÓ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 408
¸½Â¼A¡¡ÏµÍ³¿ÉÓÃÐÔ£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 411
¸½Â¼B¡¡Éú²ú»·¾³ÔËά¹ý³ÌÖеÄ*¼Ñʵ¼ù£®£®£®412
¸½Â¼C¡¡Ê¹Ê״̬ÎĵµÊ¾·¶£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 417
¸½Â¼D¡¡Êºó×ܽáʾ·¶£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 419
¸½Â¼E¡¡·¢²¼Ð­µ÷¼ì²éÁÐ±í£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 423
¸½Â¼F¡¡Éú²ú»·¾³»áÒé¼Ç¼ʾ·¶£®£®£®£®£®£®£®£®£®£®£®£®£®£® 425
²Î¿¼ÎÄÏ×£®£®£®£®£®£®£® 427
Ë÷Òý£®£®£®£®£®£®£®£®£®£®£®£®£® 439