Brand in OVH Datacenter Strasbourg

[Sasuke]

De CEO van OVH (Octave Kaba) meld dat er vannacht brand is uitgebroken in datacenter Strasbourg, maar dat de brandweer het vuur niet onder controle heeft kunnen houden.

Van de 4 zalen zijn er 2 verwoest (SBG-1 & 2), zaal 3 is beschadigd, zaal 4 heeft (nog) geen impact.

Meer info is er nog niet bekend, maar er zijn enorm veel services down !

[CCatalyst]

Veel kans dat wij de feiten erachter nooit te weten gaan komen, maar er moet enorm veel gefaald zijn in combinatie met menselijke fouten opdat een brand al kan ontstaan, en vooral dan dat ze ook zo'n schade heeft kunnen aanrichten. Er zijn (of zouden toch moeten) state-of-the-art alarm- en suppressiesystemen zijn om zoiets snel te kunnen isoleren tot 1 enkele room. Zo'n zaken komen eigenlijk echt quasi niet voor in datacenters die degelijk gerund worden.

[Jack Daniels]

Oef, even gekeken maar mijn telefoon bij OVH doet het nog.

[Sasuke]

De brand heeft 6uren kunnen woeden alvorens de brandweer het onder controle kon houden. Ik vermoed dan ook dat het een elektrische brand was, maar das puur conjectuur op dit moment.

Onze vrienden van Tweakers hebben ietsje meer info: https://tweakers.net/nieuws/179030/bran ... cloud.html

OVH vraagt aan de klanten om hun noodherstelprocedures te starten. Vandaag wordt strasbourg niet meer opgestart. Impact is volgens mij enorm, want als dat DC niet opstart lijkt het mij ook niet zo eenvoudig voor OVH om alle affected services elders onder te brengen. Hebben ze uberhaupt backups van alles op andere locaties of gebruikten ze room redundancy ?

[CCatalyst]

De brand heeft 6uren kunnen woeden alvorens de brandweer het onder controle kon houden. Ik vermoed dan ook dat het een elektrische brand was, maar das puur conjectuur op dit moment.

Ik weet niet hoe oud dat center was, maar zelfs dat kan in een modern datacenter geisoleerd worden. Daarvan dat het zeer jammer zou (zeg maar zal) zijn als de toedracht erachter confidentieel gaat blijven, zou zeer interessant zijn om te leren wat er mis gegaan is zodat dit zich in de toekomst nergens kan herhalen.

Allez, zucht, je voelt aan dat er hier meer aan de hand is. Heel datacenter verwoest, geen redundantie op andere locatie, enz. Je begint al te denken richting kwaad opzet.

[marzman]

Oef, even gekeken maar mijn telefoon bij OVH doet het nog.

Ja dat was het eerste waar ik aan dacht. Redelijk wat mensen hier die naar OVH zijn overgestapt van Weepee.

Ik ben wel benieuwd hoe de brand ontstaan is (en waarom de systemen om het datacenter te beschermen niet werkten).

[WalterB1]

Als je dergelijke diensten afneemt bij een mastodont zoals Proximus tegenover een klein(der)e speler ... als er iets serieus misloopt zoals in dit geval zou je denken dat een mastodont sneller iets kan regelen om terug online te komen.

Niet echt van belang voor huis-tuin-en-keuken gebruik maar voor sommige diensten en bedrijven zeker iets om aan te denken.

[Joe de Mannen]

de commentaar hier laat uitschijnen dat het iets met power cables zou geweest zijn:
https://www.datacenterknowledge.com/upt ... enter-sbg2

J.

[boran_blok]

Great, de website van mijn vrindin haar zelfstandige zaak zat daar. Gelukkig is mijn php en .net devbox niet er aan, maar dat was een fysieke, geen cloud hosted.

Ik heb wel backups, maar niet direct een fallback host.

Pijnlijk.

[Jack Daniels]

Ons werk is ook voor een deel getroffen door deze brand. Onderdelen van ons intranet worden op OVH servers gehost blijkbaar.

[pfuhu]

Vroeger klant geweest bij OVH met servers. Nu enkel telefonie daar nog.

Heb toen ook op youtube zitten kijken hoe ze hun datacenters inrichten, wat hun visie was, kostenefficiëntie.

En vooral echt grote vragen gesteld bij brandveiligheid (of beter: zichtbaar gebrek aan ...) Brandbeveiliging in zulke gebouwen is mijn fulltime werkactiviteit dus ik let daar altijd op ...

Er kunnen altijd meerdere zaken gelijktijdig misgaan (zeg dus nooit nooit), maar ik schat de kans dat dit zou gebeuren bij één van de grote Belgische spelers zeer klein ...

[Sasuke]

Great, de website van mijn vrindin haar zelfstandige zaak zat daar. Gelukkig is mijn php en .net devbox niet er aan, maar dat was een fysieke, geen cloud hosted.

Ik heb wel backups, maar niet direct een fallback host.

Pijnlijk.

Ge moogt altijd beroep doen op de gratis hosting voor UB'ers .. deze draait NIET bij OVH.

Maar onze professionele webhosting voor klanten (incl. registrar/dns) zat dus wél bij OVH. Chance dat we bij de vorige outage een secondary NS hadden ingericht buiten OVH, anders was het én website én domein/dns down. ....

Momenteel bezig met hosting elders in te richten, ik zie OVH deze week niet meer in orde komen voor de mensen die in SBG gehost zaten

[blaatpraat]

Ik heb vandaag last van mijn server die in Roubaix staat.
Toen ik dit nieuws las (op de OVH site zelf) vroeg ik mij meteen af of dit gerelateerd is...

[Sasuke]

Denk dat het OVH netwerk ook wat overbelast aan het geraken is. OVH sites / manager is ook meer down dan up.

[proximusboyke]

Vroeger klant geweest bij OVH met servers. Nu enkel telefonie daar nog.

Heb toen ook op youtube zitten kijken hoe ze hun datacenters inrichten, wat hun visie was, kostenefficiëntie.

En vooral echt grote vragen gesteld bij brandveiligheid (of beter: zichtbaar gebrek aan ...) Brandbeveiliging in zulke gebouwen is mijn fulltime werkactiviteit dus ik let daar altijd op ...

Er kunnen altijd meerdere zaken gelijktijdig misgaan (zeg dus nooit nooit), maar ik schat de kans dat dit zou gebeuren bij één van de grote Belgische spelers zeer klein ...

Als je goedkoop iets wilt aanbieden, moet je ergens op besparen.
Misschien hier op de brandveiligheid.

[boran_blok]

Weljah, we betaalden iets gelijk 8 euro per maand voor een windows server. Dat vind je niet snel voor zo bedragen. en dan weet je dat het cheap is. Maar ja, dan neem je inderdaad risicos zoals dit er bij. Hoewel dat ik denk dat volledig afbranden wel niet binnen ieders scope zag. En niet iedereen had goede backups als ik twitter zo zie.

edit: ik ben trouwens niet zeker in welk subdeel van het datacenter mijn VPS staat. De Minecraft VPS staat in SBG3 die zal dus wel ooit terug komen. Maar de statuspagina van de webserver blijft redelijk errors geven "service does not exist" dus ofwel wil dit zeggen dat hij onder de slachtoffers zit, ofwel is hun systeem overbelast.

In de provisioning mails zetten ze ook niet in welk deel je zit. Dus geen idee of ik nu energie moet steken in een nieuwe server te sourcen of niet.

Volgens de laatste tweets trouwens is een ETA +-2 weken om de resterende delen terug operationeel te brengen.

[Abusimbal]

Mijn Hubic cloud getest, werkt nog.

[tien]

"service does not exist"

-> "Server does not exist"

...zuur lachende smiley...

[ITnetadmin]

Ik hoor het ook.
Veel reacties in de stijl "Onze disaster recovery zat ook bij OVH".

En 1 misverstandje die zei "Disaster recovery? Where do I activate that?", denkende dat OVH naar een optie bij hen verwees


Je mag brandpreventie trouwens niet overschatten.
Sommige datacenters (ik ga geen namen noemen) hebben bv 1 fire suppression installatie voor 2 zalen, die indien nodig in een van die zalen kan functioneren, maar vanwege de grote kost is er een berekend risico genomen dat er geen brand uitbreekt in meer dan 1 zaal tegelijk.
Niet alles wordt tot in 2-3 redundanties gestoken; de laatste redundantie is meestal de verzekeraar, en de contracten die aansprakelijkheid limiteren.


PS: gratis UB hosting?

[KRL100]

Onze telefoonlijnen liggen er ook uit. De businessnummers kunnen nog uitbellen, maar ontvangen niets. De 1-euro lijnen zijn helemaal dood..

[Dizzy]

Met de cloud zijt ge altijd gekloot

Het risico van alles bijeen te steken natuurlijk en nu lijkt die oerdegelijke beveiliging ook al onvoldoende. Ook bij kwaad opzet is zo'n centrale plaats reuze interessant.

Telenet heeft ook al problemen, zou dat hiermee te maken hebben?

[pfuhu]

Je mag brandpreventie trouwens niet overschatten.
Sommige datacenters (ik ga geen namen noemen) hebben bv 1 fire suppression installatie voor 2 zalen, die indien nodig in een van die zalen kan functioneren, maar vanwege de grote kost is er een berekend risico genomen dat er geen brand uitbreekt in meer dan 1 zaal tegelijk.
Niet alles wordt tot in 2-3 redundanties gestoken; de laatste redundantie is meestal de verzekeraar, en de contracten die aansprakelijkheid limiteren.

Is inderdaad een courante praktijk en is eigenlijk niets mis mee.
Als de gasblussing correct functioneert, is de brand onmiddellijk geblust.
Als de gasblussing de brand niet geblust krijgt, moet de compartimentering de naastliggende ruimtes redden, maar kan je ervan uit gaan dat je de eerste ruimte helemaal verliest.
Als de compartimentering ook nog faalt, gaat een gasblussing in een naastliggende ruimte deze ruimte ook niet kunnen redden aangezien de houdtijd van het gas beperkt is en de interventie op de eerste ruimte sowieso langer duurt.

Echte risico's:
Verkeerde ruimte blussen, dan heb je met een gedeelde blusbatterij je enige kans verkeken ...
Interventie niet snel genoeg aanvatten waarna het vuur kan heropflakkeren naarmate het zuurstofgehalte terug stijgt. Als je het dan niet onder controle kan houden evolueert het ook terug naar een zware brand --> eveneens kans verkeken ...

[devilkin]

Ik hoor het ook.
Veel reacties in de stijl "Onze disaster recovery zat ook bij OVH".

Tsjah. Ofwel moet je voorzien dat je duidelijk in een andere geografische regio zit, ofwel bij een andere cloud provider.

Alles in 1 mand steken is gewoon een slechte architectuur/keuze. Da's zoals zeggen dat omdat je bij AWS alles in 1 regio zet (over 3 availability zones) je veilig zit... not. Misschien worden er nu wel een hele hoop "architecten" wakker.

PS: gratis UB hosting?

Checken bij @Sasuke

[iceke]

pfffff...
https://www.dna.fr/faits-divers-justice ... rt-du-rhin

[yaris]

Ow man wel indrukwekkend ...
Er is ook veel impact dat niet naar boven gaat komen. Ovh word ook veel gebruikt in het illegale circuit voor torrenting bv ... .

[Handers]

We hebben\hadden enkele servers staan bij ovh die moesten dienen als disaster recovery, soort van last resort option.
Werd simultaan met de productie en backup servers gevoed met de data...

Vraag van het management toen we hen op de hoogte stelde van het issue: hebben we zo een last resort systeem wel nodig?
Men zou verwachten dat men nu inziet dat er overal wel een technische storing kan optreden

Beslissing is ondertussen wel gemaakt om aws in te zetten als last resort systeem.

[buthead]

Mijn Hubic cloud getest, werkt nog.

Deze staat 3x opgeslagen op andere locaties.
Geld hun 10mbps cap nog steeds?

Zeer jammer dat ze dit niet hebben verder uitgebouwd

[DarkV]

pfffff...
https://www.dna.fr/faits-divers-justice ... rt-du-rhin

Als ik dat zie dan is daar toch heel wat fout gelopen wat nooit had mogen foutlopen in de eerste plaats.

In een modern datacenter mag en kan zoiets normaal niet gebeuren.

[ygeffens]

En wat als er nu eens een probleem was bij de invoer van de stroomkabels in het gebouw?
Dan verteert het vuur van buiten naar binnen. En dan is het makkelijk dat het overslaat van het ene gebouw op het andere.

Dan zou je kunnen zeggen dat de ruimte tussen de gebouwen te klein was. Vergelijkbaar met een brandgang in een bos.

[Tomsworld]

pfffff...
https://www.dna.fr/faits-divers-justice ... rt-du-rhin

Als ik dat zie dan is daar toch heel wat fout gelopen wat nooit had mogen foutlopen in de eerste plaats.

In een modern datacenter mag en kan zoiets normaal niet gebeuren.

Vergeet niet dat zo'n dc's als ovh een eigen model opereren ze zijn nu eenmaal een speler die speelt op kosten he.

[Abusimbal]

Mijn Hubic cloud getest, werkt nog.

Deze staat 3x opgeslagen op andere locaties.
Geld hun 10mbps cap nog steeds?

Zeer jammer dat ze dit niet hebben verder uitgebouwd

Al een heel tijd niets meer geupload. Zal in de komende dagen nog eens testen.

[mailracer]

En wat als er nu eens een probleem was bij de invoer van de stroomkabels in het gebouw?
Dan verteert het vuur van buiten naar binnen. En dan is het makkelijk dat het overslaat van het ene gebouw op het andere.

Dan zou je kunnen zeggen dat de ruimte tussen de gebouwen te klein was. Vergelijkbaar met een brandgang in een bos.

Er is veel mogelijk om een technische ruimte brandveilig te maken, en dus ook de stroom(kabels) kan je brandvertragend (halogeenvrij) uitvoeren. Je dient ook de kabeldoorvoeren brandveilig te isoleren en dat onder elke opening als je in compartimenten werkt. Als een brand ontstaat moet er ook een gasblussing gebeuren om het zuurstofgehalte in de ruimte te neutraliseren. Alleen zo kan je automatisch blussen in een technische ruimte. Water doet meer schade. Bij gas is enkel hetgeen gebrand heeft verloren. Door een correcte brandvertraging toe te passen kan je tot 2 uur winnen om zelf de beginnende brand te blussen. Heb je een automatisch systeem op gas, dan kost het je nadien veel geld om de flessen te vervangen, maar is er nergens extra brandschade.

In het geval bij OVH heeft een kleine brand geleid tot een inferno omdat er is bespaard op brandpreventie. Houten vloeren zoals her en der te zien is op sites die de brand rapporteren is al zeker een indicatie dat er geen rekening mee werd gehouden. Je kan ook in kabelschachten detectoren zetten die reageren op rook of warmte waarbij je een team opgeleide personen kunt sturen voor een eerste snelle blussing. Maar als je het laat escaleren, dan kom je tot een draft-over zoals bij OVH.

[Tomsworld]

Als je de video update kijkt.

Ze waren heel snel ter plekke ( 2 techs + bewaker ).

Na een minuut moeten verlaten te veel rook.

Ze gaan alle beelden van de 300 camera's analyseren van voor en tijdens de brand ( de data is gered ).

Volgens de brandweer blijkt uit de thermische beelden dat de concentratie zit in / rond een ups waar die ochtend aan gewerkt werd, veel onderdelen vervangen en in de namiddag terug in dienst is gesteld.

SBG2 was een toren datacenter uit 2011, waar een toren als een soort schouw werkt om free cooling te doen.

SGB3 etc zijn volgende generaties ( 2016 ) waar verbeteringen in zitten.

[cyberbozzo]

Komt er van met goedkope brol werken

Zou zulks datacenter een Tier certificatie hebben? Als je houten vloer hebt liggen, denk ik niet dat er veel certificaties gaan zijn.

Hoewel overal wel incidenten kunnen gebeuren, bij Px in Machelen hebben ze 3 jaar geleden 2u stroomonderbreking gehad dacht ik (op zowel de A als B feed). Maar Px Machelen is dan ook al een zeer oud DC.

Redelijk tevreden hier van LCL, maar de prijs is er ook en uiteraard spreek je dan in deze modellen van private cloud.

[Splitter]

Hoewel overal wel incidenten kunnen gebeuren

als ik me niet vergis:

- problemen en een sjoemeloplossing bij het dc in vilvoorde ivm een zekeringskast
- lcl (diegem) hun a+b feed die gelijk down gingen
- power failure doordat de diesel op was, ik dacht in interxion

maargoed, das allemaal al wel jaren (10+?) geleden en van een heel ander kaliber als een DC dat gewoon weggeveegd is.

[ubremoved_2964]

Als je houten vloer hebt liggen, denk ik niet dat er veel certificaties gaan zijn.

De Notre-Dame van de datacenters dus

[Data technicus]

Normaal als je met een ups werkt in een datacenter plaats je deze op een apparte plaats in een appart lokaal. Wij zitten met het werk in de Nokia torens ( vroeger Alcatel-Lucent) in Antwerpen en daar staat de ups in de kelder in een appart lokaal dat brandwerend dicht is.

[Tomsworld]

De links vergeten toe toe voegen fr en en versie.

https://www.ovh.com/fr/images/sbg/index-fr.html

https://www.ovh.com/fr/images/sbg/index-en.html

[VOiD]

Wij hebben eens iets gelijkaardigs meegemaakt maar wel met mindere gevolgen. Werken aan de UPS (batterijen vervangen) maar de techniekers was vergeten van een van de aansluitingen goed aan te draaien. Door het slechte contact is dat beginnen smeulen en de batterijen in brand gevlogen.

UPS stond wel in een aparte ruimte...

[johan.devos]

Werken aan batterijen - altijd gevaarlijk en wordt vaak onderschat door knutselaars omdat het maar een batterij is...

Ik heb ook eens in mijn jonge jaren een schroevendraaier volledig doen smelten door een kortsluiting aan een batterij.

Zal leuk worden met de thuisbatterijen en brandveiligheid.

Mijn vriend produceert laadpalen voor elektrische wagens en alle schroeven moeten met een geijkte torsiesleutel worden aangedraaid en geprotocolleerd.