Priorweb down?

Mr.V · 31 maa 2008, 20:10

Zijn er nog mensen die bij Priorweb hosting hebben en merken dat deze al sinds ongeveer 19u. onbereikbaar is?
(zelfs de website van Priorweb is onbereikbaar...)

Nèt nu ik natuurlijk dringend iets moet afwerken.
Lang leve Xampp op de localhost...

Mr.T · 31 maa 2008, 20:12

Er is een stroomprobleem bij LCL. Het halve datacenter is down

kUmbro · 31 maa 2008, 20:13

zie http://www.combell.com/

Heel LCL Diegem is plat (toch handig, die backupgenerators

)

Mr.V · 31 maa 2008, 20:20

Ben benieuwd wanneer ze het opgelost gaan krijgen ginder in Diegem en ook wat alle "slachtoffers" ter compensatie krijgen.

Alleen een mailtje met excuses waarschijnlijk...

cloink · 31 maa 2008, 20:20

kUmbro schreef:(toch handig, die backupgenerators )

Die dingen zijn wel vaker waardeloos. Een vriend van me werkt in een nogal groot datacenter waar ze enkele jaren geleden de ganse kelder vol UPS gestoken hebben: miljoenen gekost. Bij de eerste de beste stroomuitval: UPS mee down.

ubremoved_983 · 31 maa 2008, 20:59

kUmbro schreef: Heel LCL Diegem is plat (toch handig, die backupgenerators )

Errr ... wrong

De kangaroot room is onder andere nog volledig up

( it-ss ook trouwens ).

gr4vity · 31 maa 2008, 21:02

1 ding weet ik, dit gaat wat kosten

31 maa 2008, 21:04

Eigenlijk zit de stroompanne van LCL vooral in de meet-me room. De colo zaal is ook nog up. Maar onze provider ginder is down. Ze waren net demo's aan 't geven in India op onze omgeving ginder

Mr.V · 31 maa 2008, 21:17

Een collega van mij is zojuist onsite geweest en wist het volgende te vertellen:

Alles was down behalve 2 rooms die op het oude stroomnet zitten.

Zowel Ups'sen als dieselgeneratoren als de master powerswitch zijn gefaald.
Sinds 20 minuten is er weer stroom en zijn ze alles weer aan het starten.

cloink · 31 maa 2008, 21:33

Sorry, maar dit:

Mr.V schreef:
Zowel Ups'sen als dieselgeneratoren als de master powerswitch zijn gefaald.

...is gewoon gepruts van het hoogste niveau.

toerist · 31 maa 2008, 21:46

Amai zeg wel.
op ons werk werkt de UPS 100% (batterijen), de diesels werken ook perfect.
is (allé haast) ommogelijk om volledig plat te vallen (staat zelfs nog een gasturbine desnoods).
Als alle datacenters zo uitgerust zijn als in Diegem, amai.
Begrijp niet hoe dat kan gebeuren als ze zo'n investeringen doen die niet werken.
Maar zal wel weer iemand zenne kop rollen .... bij de werkmensen natuurlijk

ubremoved_983 · 31 maa 2008, 22:34

Van de priorweb site:

PriorWeb tijdelijk onbereikbaar

Beste klant,

Omwille van een ernstig stroomprobleem in het datacenter waar PriorWeb haar servers gecoloceerd heeft, kan u samen met ons een onbereikbaarheid vaststellen van onze servers. Dit is een probleem dat niet alleen PriorWeb treft, maar ook elk bedrijf dat hier haar servers coloceert waaronder verschillende grote sectorgenoten.

Op dit moment doen wij alles om de servers en diensten terug online te krijgen. Wij vragen hiervoor beleefd uw geduld. We werken nauw samen met alle betrokken partijen om spoedig het probleem op te lossen. We willen graag herhalen dat deze stroomuitval volledig buiten de wilskracht van PriorWeb ligt, en veroorzaakt werd door een probleem in het datacenter LCL.

Wij zullen u nog verder informeren over de specifieke oorzaak en verloop van de huidige problemen.

Nogmaals willen we u bedanken voor u geduld en het vertrouwen dat u stelt in PriorWeb.

Met vriendelijke groet,
PriorWeb

Gelukkig sta ik colocated in IX ( hoewel daar vorig jaar ook wel eens een stroompanne geweest is

)

gr4vity · 31 maa 2008, 22:55

cloink schreef:...is gewoon gepruts van het hoogste niveau.

Hangt er vanaf hoe je het bekijkt, als er een kortsluiting is geweest op het hoofd circuit starten de UPS'en of de generatoren ook niet he. Ik ben natuurlijk geen elektricien, dus kan het niet met zekerheid zeggen.

wwdj · 01 apr 2008, 09:48

Sub Zero schreef:Eigenlijk zit de stroompanne van LCL vooral in de meet-me room. De colo zaal is ook nog up. Maar onze provider ginder is down. Ze waren net demo's aan 't geven in India op onze omgeving ginder

En ik die dacht dat we bij dezelfde provider zaten ?
Wij hebben nml niets van probs ondervonde

kUmbro · 01 apr 2008, 09:58

Hoe komt het trouwens dat er geen mails verloren zijn gegaan? Of zouden die servers verspreid staan? Want alles was onbereikbaar, maar de meeste mails zijn nu toch al toegekomen.

01 apr 2008, 10:00

MX priority die hoger staat naar offsite-servers?

Avenger 2.0 · 01 apr 2008, 10:02

kUmbro schreef:Hoe komt het trouwens dat er geen mails verloren zijn gegaan? Of zouden die servers verspreid staan? Want alles was onbereikbaar, maar de meeste mails zijn nu toch al toegekomen.

Meeste mailservers proberen toch een tijdje (24uur?) om mails opnieuw af te leveren als de ontvangstserver down is dacht ik.
Anyway, hier zijn toch 2 van de 4 'testmails' verloren gegaan (tenzei ze nog veeel later aankomen gaan).

wwdj · 01 apr 2008, 12:08

kUmbro schreef:Hoe komt het trouwens dat er geen mails verloren zijn gegaan? Of zouden die servers verspreid staan? Want alles was onbereikbaar, maar de meeste mails zijn nu toch al toegekomen.

Dit is het bij combell :

De e-mail en DNS infrastructuur van COMBELL is verspreid over verschillende geografische locaties. Hierdoor is COMBELL echter wel bestand tegen dergelijke pannes om geen e-mail verloren te laten gaan. Alle e-mail die u toegestuurd krijgt zal met vertraging van 12-24 uur nadat alle servers terug online zijn toekomen in uw mailbox. U zal dus geen e-mail verliezen. De verzender van e-mail zal hoogstens een waarschuwing ontvangen dat de mailserver tijdelijk onbereikbaar is, echter zal de mailserver van de provider van de verzender uw e-mail opnieuw proberen opsturen nadat de mailservers van COMBELL opnieuw bereikbaar zijn. De verzender hoeft zijn e-mail dus niet opnieuw op te sturen.

gr4vity · 01 apr 2008, 23:59

10 mx10.priorweb.be 213.193.229.211 (LCL)
20 mx20.priorweb.be 213.193.229.171 (LCL)
30 mx30.priorweb.be 213.193.229.18 (LCL)

Dit is het resultaat als ik een mx lookup doe bij priorweb.be dus ze hebben geen geografisch geplaatste mx servers lijkt mij. Met andere woorden, het hangt allemaal van de goodwill van de andere partij (SMTP server) af

cloink · 02 apr 2008, 08:40

L-army schreef:Dit is het resultaat als ik een mx lookup doe bij priorweb.be dus ze hebben geen geografisch geplaatste mx servers lijkt mij.

Ai ai ai en dat noemt zich een serieuze provider? Zorgen voor een geografisch verschillende backup-MX lijkt me toch het minste hé?

Avenger 2.0 · 02 apr 2008, 10:21

Ja van de 4 test-emails die ik gestuurd heb tijdens de downtime, zijn er toch 2 terug gekomen wegen 'no mailbox here by that name'. Zeker mails verloren gegaan bij priorweb dus.

gr4vity · 02 apr 2008, 13:22

Avenger 2.0, kan je even dat domein via pm sturen? Dan kijk ik even of mijn vermoedens kloppen.

gr4vity · 02 apr 2008, 15:21

Avanger 2.0 heeft mij zo net zijn domein doorgestuurd. Vermoedens bevestigen het, priorweb heeft geen fallback buiten hun eigen netwerk. Dit wil zeggen dat er 1000de tot 10.000 mailtjes verloren zijn gegaan.

Vind het straf van een toch wel gerenommeerde hosting provider.

ubremoved_983 · 02 apr 2008, 15:23

L-army schreef:Avanger 2.0 heeft mij zo net zijn domein doorgestuurd. Vermoedens bevestigen het, priorweb heeft geen fallback buiten hun eigen netwerk. Dit wil zeggen dat er 1000de tot 10.000 mailtjes verloren zijn gegaan.

Vind het straf van een toch wel gerenommeerde hosting provider.

Op zich is dit niet volledig de schuld van Priorweb hé, als je je mailserver configureert dat die het niet na 1 of 2 maal proberen opgeeft ... priorweb is hoogstens een uur of 6 down geweest.

Avenger 2.0 · 02 apr 2008, 15:39

ditCh schreef:
L-army schreef:Avanger 2.0 heeft mij zo net zijn domein doorgestuurd. Vermoedens bevestigen het, priorweb heeft geen fallback buiten hun eigen netwerk. Dit wil zeggen dat er 1000de tot 10.000 mailtjes verloren zijn gegaan.

Vind het straf van een toch wel gerenommeerde hosting provider.
Op zich is dit niet volledig de schuld van Priorweb hé, als je je mailserver configureert dat die het niet na 1 of 2 maal proberen opgeeft ... priorweb is hoogstens een uur of 6 down geweest.

Toch zijn er bij priorweb een paar dingen extra misgelopen. Zo stuurde hun mailserver doodleuk een bericht terug met 'no mailbox here by that name'. Mails zijn verstuurt van gmail, welke volgens mij toch wel deftig is ingesteld. Verwachte een paar mailtjes die ik zeker ben kwijtgeraakt. Had toch iets meer verwacht, daar de prijzen bij priorweb ook niet de goedkoopste zijn...

ubremoved_983 · 02 apr 2008, 15:43

Avenger 2.0 schreef: Toch zijn er bij priorweb een paar dingen extra misgelopen. Zo stuurde hun mailserver doodleuk een bericht terug met 'no mailbox here by that name'. Mails zijn verstuurt van gmail, welke volgens mij toch wel deftig is ingesteld. Verwachte een paar mailtjes die ik zeker ben kwijtgeraakt. Had toch iets meer verwacht, daar de prijzen bij priorweb ook niet de goedkoopste zijn...

Ik zeg ook niet dat ze geen schuld treffen hé ...

02 apr 2008, 20:42

wwdj schreef:
Sub Zero schreef:Eigenlijk zit de stroompanne van LCL vooral in de meet-me room. De colo zaal is ook nog up. Maar onze provider ginder is down. Ze waren net demo's aan 't geven in India op onze omgeving ginder
En ik die dacht dat we bij dezelfde provider zaten ?
Wij hebben nml niets van probs ondervonde

Jullie zitten achter Hostbasket, die op hun beurt Telenet in Lochristi hebben en MCI in LCL. Tussen de 2 zit nog eens een BGC leased line. Ik dacht gehoord te hebben dat ze over de leased line en dus over Telenet in Lochristi naar buiten gingen ipv via MCI die in LCL ligt.

Wij hebben alleen Tiscali. Misschien dat daar ooit HB bij komt. Maar als ik de stemmen zo hoor willen ze (mijn bazen) precies toch een eigen BGP setup met verschillende providers.

Drewvt · 08 apr 2008, 12:43

Wat vooral stoorde in mijn geval is dat er heel wat emails honderden keren verzonden zijn; we (d.w.z. de servers) zijn heel onze listing aan het be-spammen geweest.

Hier is de verontschuldiging trouwens:

Beste klant,

Via deze e-mail willen wij u graag informeren over de problemen die zich gisterenavond (31/03) hebben voorgedaan.

Zoals u wellicht hebt gemerkt, waren de PriorWeb servers en diensten gedurende verschillende uren niet bereikbaar. De reden hiervan was een ernstig stroomprobleem in het datacenter waar PriorWeb haar servers coloceert. Uiteraard zijn onze racks en servers voorzien van twee onafhankelijke stroombronnen die, in een noodsituatie, het van elkaar kunnen overnemen zonder onderbreking. Omstreeks 16.15u is er een stroomtoevoer weggevallen, en met uitzondering van enkele servers is de omschakeling naar de secundaire stroomtoevoer vlekkeloos verlopen.

Helaas hebben wij moeten vaststellen dat na ongeveer een half uur ook de tweede stroomtoevoer wegviel. Op dat moment zou een backupsysteem van batterijen en dieselgeneratoren dit onmiddellijk moeten opvangen zonder onderbreking, maar ook dit is niet verlopen zoals het hoort. Het gevolg was dat er geen stroom beschikbaar was op geen enkele stroombron. Dit was niet alleen het geval in de ruimte van PriorWeb, maar voor heel het datacenter. Een groot aantal van onze sectorgenoten werd ook getroffen door deze panne met gigantische downtimes tot gevolg, een aanzienlijk deel van de Belgische websites waren daarom onbereikbaar.

De oorzaak van deze problemen is toe te schrijven aan een opeenvolging van gebeurtenissen in het datacenter LCL, en ligt volledig buiten de wil en macht van PriorWeb. LCL voert maandelijks uitvoerige controles uit en het heeft op dit vlak ook een goede reputatie, maar voor een nog onbekende reden heeft deze heel specifieke samenloop van omstandigheden bij hen gezorgd voor een totale blackout.

Onze technici waren bij de eerste problemen quasi onmiddelijk ter plaatse om een eerste inschatting te maken van de problemen en de gevolgen voor PriorWeb. De informatie die we ter plaatse te horen kregen was zeer beknopt en helaas niet concreet genoeg om een exact tijdstip te communiceren. We hebben iets later op de avond al het verkeer naar onze website www.priorweb.be afgeleid naar een PriorWeb- server in het buitenland, met een korte boodschap over wat er aan de hand was. Ook hebben wij ons algemeen telefoonnummer van onze helpdesk na de kantooruren beschikbaar gemaakt, zo kon u ons bellen voor meer informatie tot 22h.

Omstreeks middernacht was er een duidelijk positieve uitspraak over de stabiliteit van het elektriciteitsnet en waren de meeste PriorWeb- servers en diensten opnieuw online. Deze ochtend zijn er nog kleine problemen opgedoken in de nasleep van de downtime die wij, naar aanleiding van de feedback van onze klanten, op een bijzonder snel tempo hebben opgevolgd en opgelost.

De e-mails die tijdens de downtime naar u werden verstuurd zal u in de komende 24 uur naar alle waarschijnlijkheid nog ontvangen. Het meerendeel van de verzendende mailservers heeft namelijk het probleem met onze servers vastgesteld, en houdt uw mail vast om deze later opnieuw aan te bieden aan PriorWeb. Op dat moment aanvaarden wij de e- mail wel en zal deze worden afgeleverd in uw mailbox.

Het spreekt voor zich dat wij verontwaardigd zijn over de gang van zaken. Wij zullen, in samenspraak met alle betrokken partners en partijen, al het nodige doen om een glashelder beeld te krijgen over de situatie en de uitbater van het datacenter interpelleren over de toekomstige gang van zaken. Om verder op de hoogte te worden gehouden over meer nieuws en vooral de reactie van het datacenter, kan u terecht op onze statuspagina (http://status.priorweb.be) waar wij alle nieuwigheden zullen bekendmaken.

Wij vinden het belangrijk u over het standpunt van PriorWeb duidelijk en gedetailleerd te informeren, alsook over feit dat wij er alles aan gedaan hebben om alle servers en diensten zo snel als mogelijk weer online te brengen, maar hierdoor helaas beperkt werden door het toedoen van derde partijen.

Graag willen we van deze gelegenheid ook gebruik maken om u te bedanken voor uw geduld en vertrouwen in PriorWeb. Aarzel niet om onze helpdesk te contacteren moest u nog verdere vragen hebben.

sander19 · 08 apr 2008, 13:08

Er staat inderdaad geen offsite mx server maar, zoals ditch reeds aangeeft, zou dit ook niet nodig moeten zijn. Elke deftig geconfigureerde mailserver zou de mail opnieuw moeten aanbieden na x aantal keer.

De "no mailbox by that name" was inderdaad een spijtig voorval doordat de mailserver, die net na de uitval terug online kwam, geen verbinding kon maken met de NAS servers waardoor men deze melding kon krijgen.