En måling er ikke alltid et avbrudd
Systemer produserer informasjon til flere formål. Noe beskriver langsiktige trender, noe hjelper ved feilsøking, og noe viser at en viktig brukeroppgave er truet. Disse opplysningene trenger ikke samme oppfølging.
Google SRE skiller mellom overvåking for blant annet trendanalyse, feilsøking og varsling. Kapitlet understreker at hyppige avbrudd med mye støy kan gjøre viktige meldinger vanskeligere å oppfatte. Rådet bygger på Googles driftspraksis; det gir ikke et fasittall for hvor mange varsler en norsk virksomhet bør ha. Kilde: Google SRE, Monitoring Distributed Systems.
Et nyttig utgangspunkt er å skille mellom avbrudd som trenger rask vurdering, oppgaver som kan håndteres i en arbeidskø, og informasjon som hører hjemme i en rapport. Systemansvarlig må bestemme hva disse kategoriene betyr hos dere, ut fra konsekvens og faktisk bemanning.
Gå gjennom hva varslene faktisk har ført til
Velg én tjeneste og et avgrenset tidsrom. Hent eksisterende regler og meldinger, og se hvilke tiltak som fulgte. Begynn gjerne med en tjeneste der ansvaret allerede er avklart.
For hver regel, noter hvilken tilstand den måler, hvilken brukeroppgave som kan bli berørt, og hva mottakeren kan gjøre. Et varsel uten en åpenbar handling kan trenge mer informasjon, en annen mottaker eller en annen kanal. Det kan også avdekke at virksomheten mangler en plan for tilstanden.
At et varsel ikke førte til tiltak, beviser ikke at regelen er unyttig. Kanskje problemet forsvant, meldingen kom for sent, eller ingen hadde nødvendig tilgang. Undersøk årsaken før regelen endres.
Bruk gjerne varselskort som tekstmal til gjennomgangen. Dette er et vurderingsark, ikke en ferdig overvåkingskonfigurasjon.
Skriv meldingen slik at den kan vurderes
En mottaker trenger å forstå hvilken tjeneste og hvilket miljø meldingen gjelder, hva som er observert, og hvor vedkommende kan finne diagnostikk. Vis konsekvensen når den er kjent; hvis den er usikker, bør usikkerheten fremgå.
Microsofts Azure Monitor-veiledning beskriver hvordan egendefinerte egenskaper kan berike varselmeldinger med diagnostisk informasjon. Funksjonen er produktspesifikk, men behovet er overførbart: mottakeren må få nok kontekst til å starte en vurdering. Kilde: Microsoft, Best practices for Azure Monitor alerts.
Lenker til logger bør føre til et tilgangskontrollert område. Unngå å kopiere fortrolige opplysninger inn i brede e-postlister eller meldingskanaler bare for å gjøre varselet mer detaljert.
Et eksempel med tre forskjellige signaler
Tenk deg en kundeportal der ansatte følger opp driften. Eksemplet er konstruert og angir ingen anbefalte terskelverdier.
| Signal | Spørsmål ved vurdering | Mulig oppfølging |
|---|---|---|
| En avtalt test viser at en viktig side ikke kan åpnes | Er brukere berørt, og hvordan kontrollerer vi funnet? | Rask vurdering hvis konsekvensen tilsier det |
| En intern jobbs kjøretid øker over flere uker | Er en forretningsfrist truet nå eller senere? | Arbeidsoppgave eller trendrapport |
| Flere komponenter sender meldinger om samme feil | Trenger mottakeren hver melding for å handle? | Vurder samling av meldinger med bevart diagnostikk |
Poenget er å begrunne oppfølgingen. En økende kjøretid kan bli akutt hvis en viktig frist nærmer seg. En testfeil kan vise seg å skyldes selve testen. Regler og meldinger må gi rom for å undersøke dette.
Reduser gjentakelser uten å skjule tilstanden
Atlassian beskriver varseltretthet i forbindelse med blant annet mange gjentatte eller lite nyttige meldinger. De anbefaler å vurdere prioritet og hvordan varsler fordeles. Dette er leverandørveiledning, ikke en uavhengig effektstudie. Kilde: Atlassian, Alert fatigue.
Ved gjentakelser bør dere undersøke om meldingene gjelder én vedvarende tilstand eller flere forskjellige hendelser. Samling av meldinger kan være nyttig, men må ikke gjøre nye problemer usynlige. Dokumenter også hvordan normal tilstand vises, og hva som skjer hvis problemet kommer tilbake.
Avtalte vedlikeholdsperioder kan kreve egne regler. Et tidsavgrenset unntak bør ha ansvarlig, sluttid og en kontroll av at vanlig varsling er tilbake etterpå. Manglende varsler må ikke uten videre tolkes som frisk drift.
Prøv endringen før den får betydning i drift
Gjennomgå kjente hendelser mot den foreslåtte regelen: Ville den ha fanget opp problemet? Ville den ha sendt gjentatte meldinger? Hvilke nye blindsoner kan den skape? Historiske data hjelper bare for forhold som faktisk er representert i materialet.
La systemansvarlig planlegge en trygg test, helst i et egnet testmiljø, med kontroll av mottak, innhold og tilbakestilling. Ikke skap en produksjonsfeil for å demonstrere varslingen. Noter resultatet og behold muligheten til å gå tilbake dersom endringen gir uventede konsekvenser.
Når varselet er begrunnet og prøvd, kan dere følge med på om det leder til riktig vurdering. Hvem som tar ansvar når en integrasjon faktisk stopper, er et eget spørsmål. Denne gjennomgangen handler om kvaliteten på signalet som kommer før den oppfølgingen.