Sedan onsdagen den 10/9 har e-postsystemet fungerat som det ska, med bättre prestanda än före uppgraderingen. Det har med råge klarat av följande lasttoppar och våra övervakningssystem har sedan detta datum inte kunnat notera något utöver det normala. Vi har nu därför, efter mycket blod, svett och tårar, valt att markera denna driftstörning som avklarad.
Det som kvarstår rent administrativt är uppföljning och hantering av våra olika kompensationsalternativ. Mer information om detta finner ni i vårt senaste nyhetsbrev.
Bakgrund
Tack vare kraftig kundtillströmning planerade vi att under 2008 uppgradera vårt e-postsystem till ett bättre system, vilket är en del av investeringsplanen för 2008. Detta för att öka kapaciteten, förbättra prestanda och se över vårt skydd mot spam. Under uppgraderingsprocessen uppstod dock komplikationer vilket orsakade kraftiga leveransförseningar av e-post samt under perioder begränsad åtkomst till våra kunders e-postkonton.
Vad var orsaken?
Kärnan till problemen med e-posten var för hög last mot vårt disk system. Orsaken till det visade sig vara mångsidig. Alla andra delar i systemet fungerade klanderfritt, men disklasten blev den svaga länken i kedjan. Med stor hjälp från hitresta tekniker från NetApp och Sun samt hitflugen hårdvara från Tyskland och Norge, så löstes problemen slutligen genom ett omfattande arbete med vår NFS-lösning, filsystemet på våra lagringssystem med tillhörande backup-system, samt vårt spamskydd.
Varför tog det så lång tid att åtgärda?
Flera orsaker bidrog till att driftstörningen tog så lång tid att åtgärda.
Problemen med e-posten blev uppenbara måndagen den 11/8. Vi var då halvvägs in i migreringen till vår nya lagringsplattform med vilken vi bättre skulle kunna hantera disklasten och på så vis kraftigt kunna öka systemets prestanda. Nu såg vi en markant belastningsökning, sannolikt på grund av att många då kom tillbaka från sina semestrar. Systemet visade sig inte klara av både det ökade användandet och den pågående migreringen.
Vid slutet av migreringen presterade systemet bättre, men långt ifrån vad som skulle vara nödvändigt för normal drift. Då påbörjade vi ett ingående felsökningsarbete av systemet tillsammans med tekniker från NetApp och Sun.
För att snabbare få systemet på fötter beställdes samtidigt ett stort disksystem att kunna sprida lasten till. Vid leverans visade det sig dock ha fått omfattande transportskador. Vi införskaffade därför kraftfulla så kallade Thumpers från Sun istället. Tack vare att vi kunde flytta över mycket av lagringen till dessa, samt att vi drastiskt kunde förbättra prestandan på övriga delar i kedjan, kunde vi nu äntligen få systemet att återigen arbeta normalt.
Under hela detta arbete har vi prioriterat våra e-postanvändares säkerhet och arbetat för att minimiera risken att information skulle gå förlorad, något som dessvärre påverkat hastigheten på migreringen.
Varför var det svårt att nå supporten?
Storleken på vår supportavdelning är anpassad efter normal last med utrymme att utan problem kunna hantera lasttoppar. Det fungerar alldeles utmärkt i vanliga fall, men vid en sådan här extraordinär situation räckte det helt enkelt inte till.
Under de mest hektiska dagarna tog vi emot ca 25 % fler e-postmeddelanden är normalt, samtidigt som vår växel tog emot dubbelt så många samtal. I början fick många upptagetton när de försökte nå oss, helt enkelt för att vår växel inte hade kapacitet att ta emot så många samtidiga samtal. Vi installerade därför en ny växel och kunde därefter ta emot mångdubbelt fler samtal med en bättre köhantering.
Samtidigt dubblerade vi supportstyrkan med hjälp av tillfällig personal som vi snabbutbildade i frågor gällande e-postsystemet. På så vis kunde fler komma fram snabbare, och de som hade frågor som inte avsåg driftstörningen blev vidarekopplade till vår ordinarie personal.
Efter många övertidstimmar och obligatoriskt helgarbete för både supportpersonal och övriga medarbetare har vi nu kunnat beta av den e-posthög som snabbt byggde upp sig.
Hur förhindrar vi att detta händer igen?
Tack vare migrering och ny hårdvara har vi nu god marginal i e-postsystemet. För att undvika att något liknande händer igen kommer vi nu markant öka investeringarna på e-postplattform, infrastruktur och övervakning för att motsvarande situationer inte ska uppstå i framtiden. Vi tar just nu fram en plan för att kunna introducera Microsoft Hosted Exchange, ett system som framöver kommer bli en av Loopias viktigaste plattformar. Det innebär bland annat fördelar som ny webbmail och möjlighet till synkronisering av adressböcker och kalendrar för att bara nämna några saker. Dessutom kommer vi lansera en förbättrad driftinformationstjänst.
Slutligen vill vi återigen be alla våra e-postanvändare om ursäkt för de problem denna driftstörning orsakat er. Detta har med råge varit det mest allvarliga som någonsin drabbat Loopia och er, våra kunder. Vi kommer göra allt som står i vår makt för att varken ni eller vi ska behöva hamna i denna situation igen.
Det fungerar inte alls. Igår 29/10 var det problem med e-post. Login failed vid användadet av webbmail och Time-out i Outlook. Fick besked att det var några kunder om skickade spam och orsakade hög belastning. Dom skulle dock bli avstängda.
Det blev bra under kvällen och idag fram till 14:30. Sedan samma problem och hör och häpna så var det samma förklaring som igår från supporten.
Med tanke på sensommarens/hösten stora Loopia debacle så känns det otäckt likt. Ingen information på bloggen, dålig undanglidande information på telefon.
Ja, det var ju en ”förklaring”…VARFÖR är jag då utan tillgång till min mejl från och med igår…ska det hela börja igen ?! Vad har ni för förklaring nu då ???????????????
E-posten fungerar inte alls. Går inte ens att logga in på webben.
Endast på morgonen tycks e-posten fungera som den ska.
Klockan är nu 19.58 och det är torsdag kväll
Så här har det nu varit en vecka på ett ungefär.
mvh
Anders Nordin
Skönt att e-posten fungerar bra nu igen! Själv får jag önska lycka till med det nya e-post systemet med allt vad det innebär! E-post levererad i lyxförpackning? 🙂
Ni skriver att e-posten funkar som det ska. Hur kan den funka som den ska när det inte ens går att logga in via webbmailen? Det har varit så de senaste dagarna.
Er skittjänst fungerar som vanligt inte alls. Så har det nu varit i månader och jag ska byta till en annan leverantör så fort jag är hemma från utlandsjobbet. Det värsta är just detta falsarium med information! Nu funkar det säger ni självsäkert. När det finns hur många vittnen som helst att det INTE gör det! Men en gång i tiden hade ni bra rating i tester. Nu var ni inte ens med i racet. Det beror troligen på något – eller hur??! Ni fixar inte jobbet helt enkelt och det är bara att säga ajö. Ska bli otroligt skönt att byta leverantör och få något som funkar!
Näe, nu är det dags att avsluta kontot till förmån för annan leverantör. Hela dj-a tiden nästan har det varit svårt att nå mail, undrar hur många mail kunder och vänner har fått tillbaka då det nästan hela tiden är problem med att skicka och ta emot mail.
Nåja, det finns andra leverantörer, kör 2 andra på ytterligare domäner jag har och dom funkar klockrent…
E det någon som kan ge tips på andra företag som är driftsäkra? Funderar på ev. ett byte av webhotell. Jag har alltid gillat loopia men de har stora problem den senaste tiden och det verkar inte riktigt som det ska. Och jag måste ha driftsäkerhet.
Jag är tyvärr böjd att hålla med föregående inlägg. Jag har problem att nå min e-post. Webbmailen har jag inte ens försökt använda det sista och min IMAP-koppling ”tajmar ut” ideligen, Något är uppenbarligen fortfarande knas…?
Fortfarande utan mejl idag IGEN…svårt att komma fram på er sk support, får ändå ingen riktig förkllaring till ERA fortsatta problem. Er kompensation är inte intressant för mig. Jag vill ha betalt för övergången helt/delvis till annat webbhotell då ni inte kan leverera. Vilket jag påtalat tidigare men får inget svar på det…varför ?
Jag får inte mina mil som jag ska. 3/11. Det är tredje eller fjärde gången som det strular i höst. Mina kunder undrar om jag jobbar eller sover.
Jag kommer byta leverantör efter detta. Har redan ett annat konto på Crystone. De verkar OK.
… och instabiliteten i mailtjänsten och Loopias kompakta tystnad fortsätter…
Jag har varit utan fungerande webmail sedan i förmiddags, igen…
Tystnaden från Loopias håll gör att en undran kan vara på sin plats: Tror ledningen fortfarande att ”Sedan onsdagen den 10/9 har e-postsystemet fungerat som det ska” eller är det någon som gör något? Skulle vara bra om ledningen insåg det värdefulla i att hålla sina kunder (=deras intäkter) informerade.
Öppen fråga till ledningen: Vet ni att det fortfarande dagligdags är problem med mailen? Orsaken till problemen, spam eller hög belastning är ointressant, era kunder vill ha en fungerande mail. Om ni vet att det är problem, varför informerar ni inte om det?
FIX IT! Det här måste få en lösning, annars blir det massflykt av kunder. Epost måste bara fungera. FIX IT FIX IT FIX IT FIX IT!
Jag har haft problem med mailen i över två veckor, innan dess har det varit lite små problem och time-out m.m… Men de senaste två veckorna har varit helt sanslöst….IGEN !
Idag har jag över 3 tim försening på mina mail. Det loopia håller på med är nästan kriminellt. Helt hutlöst. Finns det ingen inom loopia som tar ansvar för saker och ting.
Idag startade jag upp ett konto hos Binero.se….skall testköra en domän där en liten tid och kolla. Sedan är det slut med Loopia om det finkar bra….