I morgentimene den 21. mars 2024 opplevde vi et omfattende driftsavbrudd på store deler av vår SSD VPS-plattform ved vårt datasenter i Oslo. For enkelte kunder gikk serverne veldig tregt og for mange kunder var tjenesten helt nede. Noen øvrige tjenester ble også påvirket av dette problemet, deriblant Web Site Builder, samt noe funksjonalitet i kundesenteret.
Tidlig på morgenen 21. mars, under et planlagt vedlikeholdsarbeid på strømnettet i vårt datasenter, opplevde vi en uforutsett nedetid som varte fra kl. 09:00 til ca. kl. 11:30. Selv om alt nøkkelutstyr, inkludert det involverte utstyret, hadde redundant strømtilførsel for å forhindre akkurat denne typen hendelser, resulterte strømforstyrrelsen i at en av våre nettverksswitcher restartet og mistet en del av sin konfigurasjon. Dette førte til at enkelte noder i vårt sentrale SSD-lagringssystem gikk offline. Systemet er designet til å håndtere tap av enkeltnoder uten å miste funksjonalitet, imidlertid førte tapet av flere noder samtidig til at en større del av lagringsclusteret ble midlertidig utilgjengelig. Som følge av dette ble mange VPS-servere også i stor grad utilgjengelige, ettersom tilgangen til diskressursene ble svekket.
Vårt tekniske team mobiliserte umiddelbart for å identifisere problemet, og dialog ble opprettet med leverandør av lagringssystemet. Så snart årsaken ble identifisert ble den aktuelle nettverkskonfigurasjonen gjenopprettet for å rette feilen. Ca. kl. 11:30 var alle nodene i lagringssystemet operasjonelle igjen, og VPS-plattformen var gjenopprettet til normal drift. Noen VPS-er krevde imidlertid en omstart, og i noen tilfeller var også en manuell sjekk av filsystemet nødvendig.
Vi forstår at tilgjengeligheten av våre tjenester er avgjørende, og vi beklager på det sterkeste de ulemper denne hendelsen har forårsaket. Dersom du har ytterligere spørsmål eller trenger assistanse, ikke nøl med å ta kontakt med oss.