Jak Atlassian zapewnia gotowość operacyjną

Poziom 0: krytyczna infrastruktura podstawowa

Usługa poziomu 0 zapewnia infrastrukturę pomocniczą i komponenty usług współdzielonych, na których opiera się działanie usług poziomu 1. Komponenty uznaje się za krytyczne, jeśli spełniają jeden z następujących warunków:

• Są wymagane, aby usługa poziomu 1 działała lub była dostępna dla użytkowników.
• Są wymagane, aby klient mógł zarejestrować się w celu skorzystania z usługi poziomu 1.
• Są wymagane, aby personel mógł obsługiwać usługę poziomu 1 lub realizować w niej kluczowe funkcje operacyjne, takie jak:

- uruchamianie, zatrzymywanie lub ponowne uruchamianie usługi;
- wdrażanie, uaktualnianie, wycofywanie lub wprowadzanie poprawek;
- ustalanie aktualnego stanu (działa, nie działa, działa w ograniczonym stopniu).

Poziom 1: usługi podstawowe

Usługa poziomu 1 zapewnia funkcję istotną dla firmy, klienta lub produktu. Są to usługi zorientowane na klienta lub wewnętrzne usługi o znaczeniu krytycznym dla działalności. Gdy usługa nie działa poprawnie lub jest niedostępna, firma traci pieniądze, nie jest w stanie realizować krytycznych funkcji biznesowych i/lub klient traci dostęp do podstawowej funkcjonalności. Usługi poziomu 1 wymagają zespołu wsparcia 24/7, mają wysokie wartości kluczowych wskaźników w umowach SLA i obowiązuje w stosunku do nich zbiór rygorystycznych wymagań związanych z wdrożeniem w środowisku produkcyjnym.

Poziom 2: usługi inne niż podstawowe

Usługa poziomu 2 jest usługą zorientowaną na klienta, która nie jest częścią podstawowej funkcjonalności. Usługi poziomu 2 zapewniają wartość dodaną lub dodatkowe środowisko użytkownika, które można uznać za opcjonalne lub „mile widziane”.

Usługami poziomu 2 są usługi publiczne głównie z domeny marketingowej, takie jak publiczne witryny internetowe firm. Nie oferują one klientom usług bezpośrednich klasy biznesowej ani usług wewnętrznych wykorzystywanych przez zespoły do realizacji obowiązków wynikających z ich ról. Są to np. narzędzia do współpracy czy monitorowania zgłoszeń.

Zespół wsparcia 24/7 w przypadku usług poziomu 2 jest opcjonalny, ich wskaźniki SLA są niższe, a liczba wymagań związanych z wdrożeniem produkcyjnym mniejsza.

Poziom 3: funkcje tylko wewnętrzne lub niekrytyczne

Usługa poziomu 3 jest związana z obsługą funkcjonalności wewnętrznych firmy lub jest eksperymentalną usługą w wersji beta. Do tej klasy usług należą również usługi wdrożone w danej chwili jako eksperymentalnie u użytkowników korzystających z wczesnego dostępu, którzy zostali poinformowani o możliwych problemach wynikających z korzystania z usługi na etapie wersji beta. Usługi tego poziomu mają niskie wskaźniki SLA, a wsparcie tych usług odbywa się wyłącznie „w miarę możliwości”.

Utrata danych (RPO)

Ta liczba określa maksymalną ilość danych, która zostanie utracona w usłudze w przypadku jej awarii. W przypadku awarii usługi poziomu 0 utrata będzie obejmować dane z niespełna jednej godziny.

Przywrócenie usługi (RTO)

Ta wartość określa maksymalny czas do przywrócenia prawidłowego działania usługi. Usługa poziomu 0 zostanie w pełni przywrócona w mniej niż cztery godziny.

Kopie zapasowe

W przypadku awarii usługi konieczne może być skorzystanie z kopii zapasowych w celu przywrócenia danych do konkretnego punktu w czasie. Ważne jest regularne wykonywanie kopii zapasowych danych, wdrożenie procesu przywracania i rutynowe testowanie zarówno tych kopii, jak i procesu. Kopie zapasowe oraz proces ich przywracania powinny być niezawodne i skuteczne. Dokumentacja i testy mają tutaj kluczowe znaczenie.

Definicja ukończenia

• Wdrożenie procesu tworzenia i przywracania kopii zapasowych
• Udokumentowanie i przetestowanie procesu tworzenia i przywracania kopii zapasowych
• Regularne testowanie procesu tworzenia i przywracania kopii zapasowych
  

Zarządzanie potencjałem wykonawczym

Należy jasno określić, możliwości, jakie usługa zapewnia klientom. W szczególności należy zidentyfikować wszelkie ograniczenia, jakie usługa nakłada na klientów. Należy także wdrożyć testy wydajności, aby się upewnić, że parametry działania usługi mieszczą się w oczekiwanych limitach.

Poniżej znajduje się kilka przykładów danych, które można uwzględnić w testach i udostępnić klientom.

• Usługa jest ograniczona do X wymagań na sekundę
• Usługa gwarantuje czas reakcji wynoszący X
• Funkcja X usługi jest lub nie jest replikowana między regionami
• Klient nie powinien podejmować działań X
  - przeciążać usługi
  - przekazywać plików większych niż X

Definicja ukończenia

• Zidentyfikowane i udokumentowane limitów usługi
• Przeprowadzanie testów wydajności w celu sprawdzenia, czy limity są przestrzegane
  

Świadomość klienta

Możliwość zapewnienia wsparcia jest ważnym aspektem jakości usługi, tuż obok jej niezawodności i użyteczności. Zespoły muszą opracować procesy wsparcia dla usługi lub nowej funkcji usługi jeszcze przed jej wdrożeniem produkcyjnym. Możliwość zapewnienia wsparcia może obejmować proces obsługi klienta, proces kontroli zmian, wykazy procedur wsparcia oraz inne elementy ukierunkowane na wsparcie.

Proces obsługi klienta

Programiści muszą zrozumieć, co dzieje się, gdy klienci kontaktują się z zespołem wsparcia w celu uzyskania pomocy, a także znać swoje obowiązki wynikające z procesu zapewniania wsparcia. Może to uwzględniać uczestniczenie w rotacji dyżurów domowych lub otrzymywanie próśb o zajęcie się konkretnymi problemami w środowisku produkcyjnym, jeśli się pojawią.

Proces kontroli zmian

Nie wszystkie zmiany wpływają na klientów w ten sam sposób. Niektóre zmiany są niezauważalne dla klientów. Przykładowo poprawka drobnego błędu. Z kolei przystosowanie się do innych zmian, takich jak całkowite przepisanie interfejsu API, wymaga od klienta dużego wysiłku. Kontrola zmian pomaga ocenić, jak duży wpływ na klienta będą mieć zmiany.

Wykazy procedur wsparcia

Wykazy procedur zawierają ogólny przegląd sposobu działania usługi, a także szczegółowe objaśnienia problemów, które mogą wystąpić, z uwzględnieniem sposobów ich rozwiązania. Ważne jest regularne aktualizowanie wykazów procedur i weryfikowanie, czy udokumentowane procedury wsparcia są dokładne, gdy usługa będzie zmieniać się z czasem.

Definicja ukończenia

• Dokumentacja zawierająca odpowiedzi na większość pytań, które zespół wsparcia może zadać podczas analizowania zgłoszenia
• Działający proces kontroli zmian
  
  

Odzyskiwanie awaryjne

W przypadku poważnej awarii dochodzi do utraty strefy dostępności. Usługi muszą być na tyle odporne, aby umożliwić normalną pracę w razie awarii strefy dostępności. Odzyskiwanie awaryjne składa się z dwóch elementów: po pierwsze opracowania i udokumentowania procesu odzyskiwania awaryjnego, a po drugie — przeprowadzania ciągłych testów udokumentowanego procesu. Odzyskiwanie awaryjne wymaga regularnych testów. Należy testować możliwość poradzenia sobie z awarią strefy dostępności przy użyciu udokumentowanego planu odzyskiwania awaryjnego.

Definicja ukończenia

• Udokumentowany plan odzyskiwania awaryjnego
• Przetestowany plan odzyskiwania awaryjnego
• Zaplanowane cykliczne testy planu odzyskiwania awaryjnego
  

Dzienniki

Dzienniki są przydatne z wielu powodów. Pozwalają na przykład wykrywać anomalie, przeprowadzać analizy w trakcie lub po zakończeniu awarii usług, a także śledzić złośliwe działania przez połączenie powiązanych zdarzeń w różnych usługach w oparciu o unikatowe identyfikatory. Dostępnych jest wiele rodzajów dzienników. Oto kilka przykładów niezwykle przydatnych dzienników, które powinny być rejestrowane w przypadku większości usług:

• Dzienniki dostępu
• Dzienniki błędów

Definicja ukończenia

• Generowanie odpowiednich dzienników
• Przechowywanie dzienników w miejscu, gdzie można je łatwo znaleźć i przeszukać
  

Kontrole dostępu logicznego

Kontrole dostępu logicznego koncentrują się na sposobie zarządzania dostępem użytkowników wewnętrznych i zewnętrznych, dostępem międzyusługowym oraz szyfrowaniem danych. Jak usługa będzie zapobiegać nieuprawnionemu dostępowi do funkcjonalności oraz danych? Jak są definiowane, weryfikowane, aktualizowane i wycofywane uprawnienia użytkowników? Czy zastosowane środki kontroli zapewniają wystarczającą ochronę danych wrażliwych?

Użytkownicy wewnętrzni

Oto kilka ważnych pytań, na które trzeba odpowiedzieć: Jak są uwierzytelniani użytkownicy wewnętrzni? Jak przyznaje się dostęp / przeprowadza aprowizację? Jak cofa się dostęp? Jak działa eskalacja uprawnień? Jaki proces regularnych przeglądów i audytów dostępu jest stosowany?

Użytkownicy zewnętrzni

Jak jest obsługiwane uwierzytelnianie klientów? Jak przyznaje się dostęp / przeprowadza aprowizację? Jak cofa się dostęp? Jak działa eskalacja uprawnień? Jaki proces regularnych przeglądów i audytów dostępu jest stosowany?

Dostęp międzyusługowy

Zasada jest podobna, jak w przypadku użytkowników wewnętrznych i zewnętrznych. Zespoły muszą określić, jak będzie się odbywać uwierzytelnianie między usługami. Mogą na przykład skonfigurować uwierzytelnianie OAuth 2.0.

Szyfrowanie

Najprawdopodobniej zespoły będą chciały szyfrować swoje magazynowane i przesyłane dane. Wyjaśnij, jak usługa zarządza szyfrowaniem danych. Jak zespół zarządza kluczami? Jakie są zasady dotyczące rotacji kluczy?

Definicja ukończenia

• Udokumentowane, wdrożone i przetestowane kontrole dostępu logicznego w przypadku użytkowników wewnętrznych i zewnętrznych, a także dostępu międzyusługowego
• Szyfrowanie danych magazynowanych
• Szyfrowanie danych przesyłanych
• Wdrożone i przetestowane szyfrowanie
  

Wersje

Wdrożenie nowej wersji usługi nie może zakłócać ruchu klientów w stopniu wykraczającym poza zakresy przewidziane w umowach SLA usług. Wszystkie zmiany muszą być sprawdzane przez innych członków zespołu, testowane i wdrażane za pośrednictwem pipeline'ów CI/CD. Po każdym wdrożeniu należy zweryfikować jego poprawność i sprawdzić, czy nie doprowadziło do uszkodzenia jakiejś funkcjonalności. Preferowana jest automatyczna weryfikacja powdrożeniowa. Należy wprowadzić wiele środowisk, na przykład testowe, przejściowe, przedprodukcyjne i produkcyjne, aby umożliwić testowanie wdrożeń.

Definicja ukończenia

• Usługa jest wdrażana bez przestojów
• Istnieją środowiska, w których usługa musi zostać wdrożona i przetestowana przed uruchomieniem w środowisku produkcyjnym
  

Lista kontrolna dotycząca bezpieczeństwa

Lista kontrolna dotycząca bezpieczeństwa jest zbiorem praktyk i standardów dotyczących tworzenia i utrzymywania bezpiecznej infrastruktury oraz bezpiecznego oprogramowania. Te standardy ograniczają prawdopodobieństwo naruszenia prywatności i bezpieczeństwa danych, co z kolei przekłada się na zwiększenie zaufania klientów. Zespoły muszą opracować listę kontrolną dotyczącą bezpieczeństwa, która będzie uwzględniać charakter tworzonej usługi. Oto kilka przykładowych wymagań:

Definicja ukończenia

• Dowody na brak otwartych krytycznych lub poważnych luk w zabezpieczeniach usługi
• Zastosowanie szyfrowania podczas magazynowania danych we wszystkich magazynach danych
• Potwierdzenie, że usługa nie zezwala na niezabezpieczone połączenia HTTP
  

Wskaźniki usługi

Wskaźniki usługi dostarczają podstawowych informacji o kondycji usługi oraz danych diagnostycznych na jej temat, dając zespołom możliwość monitorowania usługi i reagowania na incydenty. Zacznij od zdefiniowania zbioru wskaźników monitorowanych w przypadku każdej usługi. Następnie utwórz pulpit zawierający te wskaźniki w narzędziu, takim jak Datadog lub New Relic. Zgłaszaj alarmy, gdy wskaźnik przekroczy zadane limity, i twórz zgłoszenia o problemach w razie wystąpienia alarmu.

Definicja ukończenia
Oto kilka przykładów elementów do pomiaru:

• Opóźnienie: czas potrzebny na obsługę żądania
• Ruch: obciążenie usługi przez użytkowników zewnętrznych
• Błędy: liczba błędów lub awarii dotykających użytkowników
• Nasycenie: w jakim stopniu usługa jest zajęta i jakie obciążenie może jeszcze wytrzymać
• Użycie zasobów bazowych: procesor, pamięć, dysk
• Wewnętrzne elementy aplikacji, takie jak kolejki, cykle czasowe i przepływ
• Wykorzystanie i podstawowa funkcjonalność usługi: aktywni użytkownicy, liczba działań na minutę
  

Odporność usługi

Wymagania dotyczące odporności usługi określają, czy dana usługa jest w stanie uporać się ze zmianami obciążenia i/lub awariami różnych komponentów. Odporna usługa najprawdopodobniej będzie podlegać automatycznemu skalowaniu i będzie odporna na awarię pojedynczego węzła.

Automatyczne skalowanie

Jeśli usługa ma możliwość automatycznego skalowania, upewnij się, że jest ono poprawnie skonfigurowane i przetestowane. Określ wskaźnik, który będzie wyzwalał automatyczne skalowanie, i przetestuj, czy działa ono prawidłowo. Jeśli na przykład usługa wymaga przechowywania danych na dysku, można monitorować procent wolnego miejsca na dyskach i aktywować automatyczne skalowanie przez dodanie pamięci masowej, gdy procent wolnego miejsca spadnie poniżej wartości progowej.

Testowanie pod kątem awarii pojedynczego węzła

Najlepiej, jeśli usługi są w stanie poradzić sobie z awariami pojedynczego węzła. Jeśli jeden węzeł przestanie działań, usługa powinna nadal funkcjonować, choćby z obniżoną wydajnością. Należy przetestować taką możliwość, wyłączając co najmniej jeden węzeł i obserwując działanie systemu. Oczekuje się, że usługa będzie działać pomimo awarii jednego węzła. Środowisko, w którym będzie przeprowadzana symulacja awarii jednego węzła musi być monitorowane.

Definicja ukończenia

• Potwierdzenie wdrożenia i przetestowania automatycznego skalowania
• Potwierdzenie działania środowiska produkcyjnego i/lub przejściowego na wielu węzłach
• Potwierdzenie odporności usługi na awarię jednego węzła
  

Wsparcie

Wsparcie jest procesem obsługi usługi po jej wydaniu. Zespoły muszą przygotować wykazy procedur, narzędzia operacyjne oraz rotacje dyżurów domowych przed wdrożeniem produkcyjnym, aby w razie problemów z usługami dostępny był proces umożliwiający ich naprawę.

Wykazy procedur

Wykazy procedur dostarczają osobom reagującym pełniącym dyżury domowe kontekst oraz instrukcje potrzebne do szybkiego zareagowania na incydent i podjęcia działań zaradczych.

Narzędzia operacyjne

Dostarczanie usługi na odpowiednim poziomie oznacza, że istnieje zespół pełniący dyżury domowe i wdrożono narzędzia operacyjne, takie jak Opsgenie, aby powiadamiać osoby pełniące dyżury domowe o problemach z usługą.

Dyżury domowe

W przypadku usług poziomów 2 i 3 — wymagany jest zespół pełniący dyżury domowe.

W przypadku usług poziomów 1 i 0 — wymagany jest zespół pełniący dyżury domowe 24/7.

Definicja ukończenia

• Wykazy procedur sporządzone i łatwe do wyszukania przez członków zespołu wsparcia
• Narzędzie operacyjne skonfigurowane i przetestowane
• Wprowadzone rotacje dyżurów domowych i skonfigurowane powiadamianie na wypadek problemów
  

Kontrole gotowości operacyjnej zalecane w przypadku poziomu 3

• Kopie zapasowe
• Dzienniki
• Wersje
• Lista kontrolna dotycząca bezpieczeństwa
• Wskaźniki usługi
• Wsparcie
  

W odniesieniu do usług poziomu 3 przyjmuje się najbardziej podstawowe wymagania dotyczące gotowości operacyjnej.

Kontrole gotowości operacyjnej zalecane w przypadku poziomów 2 i 1

• Kopie zapasowe
• Odzyskiwanie awaryjne
• Dzienniki
• Wersje
• Lista kontrolna dotycząca bezpieczeństwa
• Wskaźniki usługi
• Odporność usługi
• Wsparcie

Do usług poziomów 2 i 1 dodano wymagania dotyczące gotowości operacyjnej związane z odzyskiwaniem awaryjnym i odpornością usługi. Ważne, aby pamiętać, że wymagania dotyczące gotowości operacyjnej dla usług poziomów 2 i 1 mogą się różnić. Różnice w wymaganiach nie są jednak obowiązkowe. Jeśli w przypadku danego poziomu usług stwierdzi się potrzebę zastosowania dodatkowego wymogu dotyczącego gotowości operacyjnej, należy go dodać. Poziomy 2 i 1 można zróżnicować, w zależności od potrzeb zespołu.

Kontrole gotowości operacyjnej zalecane w przypadku poziomu 0

• Kopie zapasowe
• Zarządzanie potencjałem wykonawczym
• Świadomość klienta
• Odzyskiwanie awaryjne
• Dzienniki
• Kontrole dostępu logicznego
• Wersje
• Lista kontrolna dotycząca bezpieczeństwa
• Wskaźniki usługi
• Odporność usługi
• Wsparcie

Do usług poziomu 0 dodaj zarządzanie wydajnością, świadomość klienta oraz kontrole dostępu logicznego.