1-savol: Endi nima bo'ladi?
2-savol: Endi sizning kompaniyadagi taqdiringiz nima bo'ladi?
• Birinchi bo'lib, YouTube'ning uzluksiz ishlashini kuzatib turadigan SRE jamoalari bundan xabar topishadi. Navbatchi SRE injenerlari darhol holat qay darajada yomon ekanligini aniqlab, boshqalarga xabar beradi.
• Vaziyat jiddiyligiga qarab, boshqa muhim odamlar yordamga chaqiriladi. Eng birinchi vazifa – tezroq YouTube'ni tiklash: Muammo nimadan kelib chiqqanini aniqlab, uni bartaraf etish. Bunday vaziyatda sabablarni to'liq tushunib yetish 2-darajali masala.
• Bir paytning o'zida bir nechta jamoalar tomonidan har xil nazariyalar ko'rib chiqiladi:
- Aloqadagi mummolar;
- Dasturdagi ohirgi o'zgarishlar;
- DDOS hujumi va hokazo.
• Foydalanuvchilarga ijtimoiy tarmoqlar orqali vaziyat haqida tez-tez xabar berib turiladi: Nima bo'lyapti, nimalar aniqlandi, qachon ishga tushadi.
• Sabab aniqlanishi bilanoq uni to'g'rilab, YouTube'ni progressiv tarzda ishga tushiriladi: avval kichikroq hududlar, keyin boshqalarida. Bunday qilishdan maqsad – YouTube tiklanayotgan paytda bir data-markaziga kuchlanish ortib ketishi oqibatida boshqa muammolar kelib chiqishining oldini olish.
• Shunday qilib, YouTube to'liq tiklanadi. Bunga soatlab vaqt ketishi mumkin.
Bu vaqt ichida siz ham barcha qatori YouTube'ni "jonlantirish" ustida ishlayapgan bo'lasiz. Vaziyat o'z o'rniga qaytgandan keyin muammo ustida ishlaganlar uning kelib-chiqish sabablarini chuqur tahlil qilishadi.
"Muhammadjon ish ko'rsatib qo'yibdi", "Bu muammo Vohidjon qilgan xato sabab kelib chiqibdi", "Rustamga hayfsan e'lon qilamiz yoki uni ishdan olamiz", degan gaplarni eshitmaysiz. Aksincha, "Bu muammo tizimdagi quyidagi xatolik sababli kelib chiqibdi", "Shunga o'xshash beixtiyor xatolar ro'y berganida uni tutish uchun bunday test yoki himoya tizimi ishlab chiqish kerak" kabi yechimlar muhokama qilinadi.
Siz katta ehtimollik bilan "Postmortem" yozasiz (hodisada qatnashgan boshqa ishtirokchilar bilan). Google'da "Postmortem" – bu yuqoridagi kabi muammo haqida tahliliy hujjat bo'lib, unda quyidagilar bo'ladi:
• Muammodan qanday xabar topildi?
• Sabablar qanday aniqlandi?
• Har bir harakat va voqeaning aniq vaqti.
• Yechim nima bo'ldi?
• Sabablar qayerdan kelib chiqdi?
• Talofat qay darajada bo'ldi?
• Bu hodisadan nimalar o'rganildi?
• Shunday xatolik yana takrorlanmasligi uchun qanday o'zgarishlar qilindi va hokazolar.
Bu hujjat juda muhim hisoblanib, boshqa injenerlar bundan o'rganishadi. Kelajakda yana "crash"lar bo'lganida undan foydalaniladi.
Shunday vaziyatlarda Google'ning ichki madaniyati dars olish, xulosa chiqarish va kimnidir barmoq bilan ko'rsatmaslikdir: "Blameless Postmortem Culture".
@muhammadjohns
