Kvalitetssäkring
En ändring på webbplatsen kan slå ut spårningen även när sidan ser helt normal ut. Ingen märker något förrän någon, månader senare, undrar varför en siffra har halverats. Kvalitetssäkringen ska fånga felet innan dess, både när ändringen görs, när den testas, när den publiceras och sedan löpande.
När något ändras
Webbplatser ändras hela tiden, och spårningen följer inte med av sig själv. Låt därför varje ändring gå igenom samma steg:
- Planen uppdateras först, eller samtidigt som utvecklingen, av den som äger flödet.
- Utvecklaren bygger in spårningen enligt planen.
- Spårningen testas i en testmiljö där händelserna kan verifieras, innan något publiceras.
- Analytikern godkänner att siffrorna visar det som planen säger.
- Efter publicering kontrolleras att händelserna kommer in och att volymerna ser rimliga ut.
En ändring som inte följer planen är en avvikelse. Dokumentera den, så att framtida jämförelser kan justeras.
Test i UAT
Spårningen valideras i samma steg som resten av kvalitetssäkringen, i två miljöer. UAT (användaracceptanstest) är en testmiljö med samma mätkonfiguration som produktion, men med ett eget mätobjekt så att testtrafiken inte hamnar i statistiken.
I UAT gås hela spårningsplanen igenom. Analytikern skriver testfall för varje flöde som beskriver vilka steg som ska genomföras, vilka händelser och egenskaper som förväntas och när de räknas. Utvecklaren och UX kör testfallen tillsammans med analytikern. Testet är godkänt när:
- alla förväntade händelser skickas, med rätt egenskaper och i rätt format,
- inga okända händelser eller dubbletter dyker upp,
- händelserna fungerar både med och utan samtycke, om det finns en samtyckeslösning,
- flödet räknas på det sätt som planen beskriver.
Efter publicering
I produktion finns de riktiga besökarna, och där kontrolleras samma saker med verklig trafik. Under några dagar jämförs volymerna för basmätningen och de viktiga flödena med perioden innan. En tydlig avvikelse, som en händelse som har halverats eller slutat skickas, betyder att något är trasigt tills motsatsen är bevisad.
Upptäcks ett fel rullas ändringen tillbaka eller så rättas spårningen. Perioden märks i rapporterna och i förteckningen över viktiga händelser, så att ingen drar slutsatser av en felaktig serie.
Löpande kontroll
Även en väl byggd spårning förändras över tid. Några kontroller att göra regelbundet:
- Volymer per händelse. Bestäm vilken variation som är normal. Ett plötsligt fall eller en plötslig topp beror oftast på ett tekniskt fel och inte på att besökarna har ändrat beteende.
- Saknade egenskaper. Om många händelser saknar en egenskap som planen kräver är något trasigt.
- Stickprov av flöden. Gå igenom hela flödet för hand, med några olika enheter och webbläsare.
- Samstämmighet mellan verktyg. Mäter två verktyg samma sak bör de ge ungefär samma siffror. Stora skillnader är värda att undersöka.
- Automatiska kontroller. Låt ett test köras med jämna mellanrum som kontrollerar att basmätningen och de viktigaste flödena fortfarande skickar händelser med rätt egenskaper.
Kontrollerna ger ett underlag för att säga hur säker en siffra är. Låt den bedömningen följa med när siffrorna rapporteras.
Skydda nyckeltalen över tid
Det svåraste är inte att spåra rätt en gång, utan att fortsätta spåra rätt efter nästa förändring, när ingen längre minns vad planen säger. Två saker hjälper.
Versionera spårningsplanen. Varje ändring får ett datum, en orsak och en ägare. Då går det att se vad som gällde när en siffra togs fram.
Märk brytpunkter. Måste en händelse eller ett nyckeltal ändras, markera brytpunkten i rapporterna. Att skriva om historiken i tysthet förstör jämförbarheten. Det är särskilt viktigt för nyckeltal. Om ett nyckeltal bygger på en händelse som har ändrats kan det se ut att förändras fast verkligheten är densamma. En tydlig brytpunkt, gärna med parallell mätning under en period, är bättre än en tyst förändring.
Hur du sedan tolkar siffrorna som kommer in beskrivs i Analys och statistik.