Outage EDPnet 23-11-2012 OVL & WVL

[krisken]

Persoonlijk heb ik liever 1x 12u downtime dan 12x 1u downtime per jaar. Das maar één keer dat ik mag troubleshooten om dan te concluderen dat het niet aan mij ligt

[Tha_Matt_Man]

Nieuwe update:
"Update 24 November 2012 16:23
Fault detected at last, faulty card with supplier, a new is sent out from central stock, and should arrive within a few hours. Sorry for the inconvenience."
http://issues.edpnet.be

Nog even geduld blijkbaar..

[krisken]

"few hours"... Dat ook nog ns
Straks 24u down

[Joachim]

'Goeie'-Middag, excuses voor het uitblijven van een update, maar spijtig genoeg loopt de communicatie naar ons toe ook erg stroef. Deze ochtend om 7u werd ons een 'end to end test' beloofd, spijtig genoeg is deze pas deze middag uitgevoerd. Blijkbaar was het na deze end to end test wel snel duidelijk dat het een defecte kaart betrof. Nu moet dat blijkbaar van een centrale stock komen via DHL (laat die mensen door op de baan ), en verwachten ze 'vandaag' een oplossing...

Ik heb veel zin om aan te geven welke 'bende' hiervoor verantwoordelijk is, maar ik vrees dat dat alleen tot meer ellende zou leiden.

Edpnet had zijn conclussies wel reeds getrokken na het laatste debacle, maar op zo'n korte termijn is hier gewoon geen alternatief voor te implementeren.

Ik begrijp de boze reacties, en apprecieer ook de mensen die ons verdedigen. Ik kan alleen maar zeggen dat edpnet op vele vlakken afhankelijk is van de service van derden, en een goede SLA is niet altijd zaligmakend. Gent is één van de weinige locaties waarbij we afhankelijk zijn van één partij, omdat er spijtig genoeg geen 2 beschikbaar zijn (die een concurrent wensen te bedienen).

Nogmaals mijn oprechte excuses, en bedankt voor jullie begrip en geduld.

[on4bam]

@Krisken, dat is wws om de ongeduldigaards te vlug af te zijn. Zo LIJKT het dan alsof het vlugger opgelost is dan voorzien. Als het echt een paar uur is natuurlijk dan hoop ik dat ze geen tegenslagen te verwerken krijgen.

Niettegenstaande we met onze abo's geen SLA hebben hoop ik toch dat EDPnet net als vorige keer 'iets' doet als compenstie en vooral dat ze de nodige maatregelen nemen om 'outagethreads' in de toekomst te vermijden.

[meon]

Ik denk dat EDPnet al blij mag zijn dat het weekend is, en de meeste businessklanten (waar wél SLA's mee afgesproken zijn) hier waarschijnlijk minder last van hebben...
Maar dan nog steeds is het heel vervelend om bij outages afhankelijk te zijn van leveranciers waar soms andere SLA's mee afgesproken zijn dan die gelden naar de klant.

[malinwa001]

... waar soms andere SLA's mee afgesproken zijn dan die gelden naar de klant

Meon, ik hoop echter dat ze de dingen die ze aanbieden aan de klant(SLA) ook kunnen waarmaken (krijgen bij de leverancier)

[Joachim]

Omdat ik de 'ping pong' opmerkingen toch wel interessant vind om toe te lichten. Ik zit reeds sinds 1998 in deze business, en ja ping pong scenario's worden ook op het allerhoogste niveau gedaan. Vaak niet uit slechte wil, maar vaak omdat problemen erg complex zijn, en het niet altijd duidelijk is. In dit scenario hebben we er weinig mee te maken gekregen: 'ping' wij hebben gewoon alles vervangen langs onze zijde deze nacht, het probleem was niet opgelost dus 'pong' het zit bij jullie

[lithion]

Het zal de eerste vier uur dus nog niet in orde zijn...

[ Post made via mobile device ]

[krisken]

Omdat ik de 'ping pong' opmerkingen toch wel interessant vind om toe te lichten. Ik zit reeds sinds 1998 in deze business, en ja ping pong scenario's worden ook op het allerhoogste niveau gedaan. Vaak niet uit slechte wil, maar vaak omdat problemen erg complex zijn, en het niet altijd duidelijk is. In dit scenario hebben we er weinig mee te maken gekregen: 'ping' wij hebben gewoon alles vervangen langs onze zijde deze nacht, het probleem was niet opgelost dus 'pong' het zit bij jullie

Bedankt voor deze toelichting Joachim!

[KaiZas]

Lopend vuurtje precies.

[krisken]

Lap, k zijn daar ook al vemeld...En overigens voor alle duidelijkheid : mijn vermoeden over syntigo is niet correct. Het is een ander toeleveringsbedrijf

[philippe_d]

mijn vermoeden over syntigo is niet correct

Inderdaad, dat had EDPNet jou al op 4 oktober verteld .

[krisken]

Aha correct Was ik zelfs al vergeten
Mijn Syntigo vermoeden was op basis van het feit dat het een lengte van 2km betreft dat de fibers samen lopen. En dan kom ik ongeveer uit op Gent Dampoort (aka Dampuurte ).

[krisken]

Alles werkt opnieuw volgens pingdom!

PingdomAlert UP: http://t.co/qCir1lb (http://t.co/qCir1lb) is UP again at 24/11/2012 18:28:21.

[krisken]

En terug offline

[on4bam]

yup, 2 minuten online geweest dan weer weg... nu weer 9even? ) terug..

[krisken]

yeps, nu zijn ze terug stabiel online hier

[xayana]

>8 'ping' wij hebben gewoon alles vervangen langs onze zijde deze nacht, het probleem was niet opgelost dus 'pong' het zit bij jullie

Doen jullie zo troubleshooting? Alles vervangen... Amaai. Vandaar dat het zo lang duurt.
Je weet toch: 'Meten is weten'.

[krisken]

En wat moesten ze dan meten?

[xayana]

Je gaat me niet vertellen dat dergelijke apparatuur (elektronica, of wat er ook defect gegaan is) niet kan uitgelezen worden hé.
Tegenwoordig lezen ze zelfs een auto uit en vertellen ze je na 10min exact wat er defect is.

[ubremoved_15739]

Dat dacht ik ook al.
Misschien hebben ze nog een model dat dit niet ondersteunt?
Iets Trabant-achtig ofzo.

[krisken]

Als ik de info mag geloven die edpnet hier heeft geplaatst dan is dit een combinatie van twee zaken geweest : een defecte blade in hun router en een fibercut.

En ergens kan ik mij best voorstellen dat alles vervangen soms sneller is dan alles uitmeten en doen. Grote isp's hebben namelijk altijd hot-spares staan. Deze zijn exact dezelfde toestellen, up-to-date en met de hele config er reeds op. Kabels uittrekken, oud toestel verwijderen, nieuw erin, kabels aansluiten en gaan maar. Veel sneller dan testen en meten dus in de meeste gevallen...

En neen, bij mijn weten zijn er geen diagnoseprogramma's voor routers en switches die jou kunnen zeggen waar de fout exact zit...

[Mr.T]

Grote ISP's altijd hotspares? Je hebt duidelijk nog nooit voor een ISP gewerkt, en weet duidelijk niet waarover je spreekt.

Tegenwoordig is elke apparatuur wel in staat om van op afstand beheerd te worden. Soms niet altijd even duidelijk, maar dat hangt meestal van de beheerder af.

Er zijn zelfs diagnose programma's die met een zeer hoge correctheid kunnen zeggen wanneer welk equipment het gaat begeven. Dan kan je proactief problemen gaan oplossen. Jammer genoeg nog zeer duur en zeer moeilijk te implementeren.

[philippe_d]

Bij de vorige outage op 4 oktober is hier op het Forum wat (sumiere) info en/of speculatie gepost hoe de connectiviteit tussen Belgacom en EDPNet werkt.
Misschien is het wel interessant dat er iemand, die er meer van afweet, ons eens duidelijk uitlegt hoe het werkt. Ik zie het als volgt:

• Volgens het document op de Belgacom Wholesale site, is België ingedeeld in 5 service area's (02, 03, 04, 071, 09)
• In iedere service area zijn er 2 service POP's.
• Voor Gent (A9) is dat 91GKK (Keizer Karel) en 91GEN (Sint-Niklaasstraat).
• Een OLO die heel België wil bedienen, moet dus aanwezig zijn in tenminste één POP in alle 5 service areas.
• Het VDSL verkeer van alle EDPNet klanten in West- en Oost Vlaanderen komt samen in Gent (A9). Dit zijn zone's 050, 051, 052, 053, 054, 055, 056, 057, 058, 059 en 09.
• De 2 POP's in iedere service area dienen niet als back-up of redundancy. Iedere OLO moet zelf bepalen welke LEXen bediend worden vanaf iedere POP. EDPNet is aanwezig in één POP (waarschijnlijk 91GKK). [corr: 91GEN]
• Vanaf de service POPs worden de VLANs door de OLO afgenomen via een "OLO fiber pair" (1Gb).

Waarschijnlijk is dat te vereenvoudigd voorgesteld, of niet correct. Insiders mogen mij dus corrigeren.

Wat is het huidig probleem (en dat van vorige keer)?
Blijkbaar is de verbinding tussen de POP in Gent en EDPNet (Sint-Niklaas) niet volledig redundant.

• Blijkbaar is het "fiber pair" niet volledig gescheiden (lopen ze in Gent enkele km samen?)
• Of komen beide fibers op dezelfde router uit (vandaar dat één defecte kaart beide lijnen uitschakelt?)

Oplossingen zijn er waarschijnlijk wel, maar kosten geld. Zoals

• Kan EDPNet in 2 POP's in Gent aanwezig zijn? Gezien de OLO op voorhand moet bepalen welke LEXen hij in deze POP's will bedienen, geeft dit geen redundancy, maar zou toch maar de helft van de service area eruit liggen (vb alleen West-Vl, of alleen Oost-Vl). Hoewel ik mij kan voorstellen dat Belgacom misschien wel redelijk vlug het verkeer van de betroffen LEXen naar de andere service POP zou kunnen transfereren?)
• Kan EDPNet meerdere fiber pairs gebruiken tussen de POP en hun premises? Als de internet traffic verder stijgt, en ze meer bandbreedte nodig hebben, zullen ze dat in de toekomst waarschijnlijk moeten doen. In dit geval zou zo'n kabelbreuk hun bandbreedte verlagen, in plaats van 2 provincies plat te leggen?

Met mijn excuses als bovenstaande niet de correcte analyse is, ik wil gewoon wat reacties uitlokken, die dit beeld wat kunnen verbeteren. Als Userbase community willen we toch graag weten hoe een en ander in mekaar zit .

[Joachim]

Het materiaal dat we gebruiken voor transport (het probleem had niks met onze routers te maken) is Cisco ONS15454, en dat in zo volledig mogelijk redundant uitgevoerde versie. Er is enorm veel uitleesbaar, maar bij defecten zijn uitlezingen vaak onbetrouwbaar, daarom vervangen we snel kaarten etc. Dit vervangen gaat erg snel, alles is hot pluggable, dit 'allemaal' vervangen heeft +/- 20 min geduurd. Zo'n toestel is zo'n duizend maal ingewikkelder dan de gemiddelde wagen, dus dat vergelijk gaat echt niet op.

Uiteindelijk bleek het probleem uit 2 zaken te zitten bij onze leverancier, een defecte fiber patch cord, en een defect transportkaart (geen idee wat zij gebruiken). Een combinatie van problemen zorgt steeds voor vertraging, bovendien bleken er ook nog andere problemen te zijn op het netwerk (niet edpnet gerelateerd) waardoor er onvoldoende techniekers ter beschikking waren.

Nogmaals bedankt voor jullie geduld en begrip.

[Joachim]

Grote ISP's altijd hotspares? Je hebt duidelijk nog nooit voor een ISP gewerkt, en weet duidelijk niet waarover je spreekt.

Tegenwoordig is elke apparatuur wel in staat om van op afstand beheerd te worden. Soms niet altijd even duidelijk, maar dat hangt meestal van de beheerder af.

Er zijn zelfs diagnose programma's die met een zeer hoge correctheid kunnen zeggen wanneer welk equipment het gaat begeven. Dan kan je proactief problemen gaan oplossen. Jammer genoeg nog zeer duur en zeer moeilijk te implementeren.

Edpnet heeft voor alle kaarten, en modules zoveel mogelijk spares op stock (Sint-Niklaas), een grote ISP wil ik onszelf niet noemen . De internationale spelers hebben ook spares, maar vaak liggen deze centraal, bvb in Frankfurt (besparingen hé). Onze leverancier van deze link is een internationale speler, en doet dit blijkbaar op deze manier.

Diagnose programma's bestaan, die hebben we ook, dat zijn namelijk de beheerspakketten van de fabrikant, cisco in ons geval. Vanzelfsprekend is dit allemaal vanop afstand. Deze tools geven proactieve meldingen, maar kunnen niet alles voorzien. Proactief kan bvb zijn, de fiber module wordt te warm, vervang die best. Maar niet alles wordt eerst warm alvorens het faalt

[Mr.T]

Ik heb het over echte diagnose programma's, die exact doen wat ik zeg.
Die baseren zich op algoritmes om failures te voorspellen, voor ze zich voordoen. Temperatuur is daar een onderdeel van, maar het gaat veel verder als dat. Bij mijn weten heeft cisco zo niks.
Ik ken trouwens maar 1 operator die dit gedeeltelijk geimplementeerd heeft.

Het is ook moeilijk om alles overal in spare te houden, gezien de kostprijs van bepaalde kaarten en de verscheidenheid.
Denk maar aan WDM apparatuur waar bij sommige apparatuur voor elke wavelength een aparte kaart nodig is. De nieuwere kaarten zijn meestal tuneable waardoor ze op meerdere wavelengths kunnen werken.

[Joachim]

Bij de vorige outage op 4 oktober is hier op het Forum wat (sumiere) info en/of speculatie gepost hoe de connectiviteit tussen Belgacom en EDPNet werkt.
Misschien is het wel interessant dat er iemand, die er meer van afweet, ons eens duidelijk uitlegt hoe het werkt. Ik zie het als volgt:

• Volgens het document op de Belgacom Wholesale site, is België ingedeeld in 5 service area's (02, 03, 04, 071, 09)
• In iedere service area zijn er 2 service POP's.
• Voor Gent (A9) is dat 91GKK (Keizer Karel) en 91GEN (Sint-Niklaasstraat).
• Een OLO die heel België wil bedienen, moet dus aanwezig zijn in tenminste één POP in alle 5 service areas.
• Het VDSL verkeer van alle EDPNet klanten in West- en Oost Vlaanderen komt samen in Gent (A9). Dit zijn zone's 050, 051, 052, 053, 054, 055, 056, 057, 058, 059 en 09.
• De 2 POP's in iedere service area dienen niet als back-up of redundancy. Iedere OLO moet zelf bepalen welke LEXen bediend worden vanaf iedere POP. EDPNet is aanwezig in één POP (waarschijnlijk 91GKK).
• Vanaf de service POPs worden de VLANs door de OLO afgenomen via een "OLO fiber pair" (1Gb).

Waarschijnlijk is dat te vereenvoudigd voorgesteld, of niet correct. Insiders mogen mij dus corrigeren.

Wat is het huidig probleem (en dat van vorige keer)?
Blijkbaar is de verbinding tussen de POP in Gent en EDPNet (Sint-Niklaas) niet volledig redundant.

• Blijkbaar is het "fiber pair" niet volledig gescheiden (lopen ze in Gent enkele km samen?)
• Of komen beide fibers op dezelfde router uit (vandaar dat één defecte kaart beide lijnen uitschakelt?)

Oplossingen zijn er waarschijnlijk wel, maar kosten geld. Zoals

• Kan EDPNet in 2 POP's in Gent aanwezig zijn? Gezien de OLO op voorhand moet bepalen welke LEXen hij in deze POP's will bedienen, geeft dit geen redundancy, maar zou toch maar de helft van de service area eruit liggen (vb alleen West-Vl, of alleen Oost-Vl). Hoewel ik mij kan voorstellen dat Belgacom misschien wel redelijk vlug het verkeer van de betroffen LEXen naar de andere service POP zou kunnen transfereren?)
• Kan EDPNet meerdere fiber pairs gebruiken tussen de POP en hun premises? Als de internet traffic verder stijgt, en ze meer bandbreedte nodig hebben, zullen ze dat in de toekomst waarschijnlijk moeten doen. In dit geval zou zo'n kabelbreuk hun bandbreedte verlagen, in plaats van 2 provincies plat te leggen?

Met mijn excuses als bovenstaande niet de correcte analyse is, ik wil gewoon wat reacties uitlokken, die dit beeld wat kunnen verbeteren. Als Userbase community willen we toch graag weten hoe een en ander in mekaar zit .

• Zeer correcte analyse philippe_d, kleine opmerking, de vlans worden afgenomen via 1Gbps OAL's (geen olo fiber), die dienen wij dan te transporteren via onze eigen middelen (daar liep het vandaag mis)
• We zitten in de Sint-Niklaasstraat (ingang recht over lounge bar Limonada )
• Het grote probleem zit er in om connectiviteit te vinden naar zo'n Belgacom COLO, vaak zitten concurrenten van ons daar, maar die wensen ons niet bedienen (concurrent groot maken enzo). Edpnet wenst eigenlijk enkel via redundant dark fiber te werken, om het soort problemen zoals vandaag te vermijden. Dit is nog moeilijker te vinden, maar enkel in Gent is dit nog niet zo. We zijn hier blijvend mee bezig om dit wel zo te krijgen. Dus de keuze om in 2 locaties te zitten in een zone is vaak gewoon onbestaand.
• Verder kan je wel vergeten dat Belgacom 'snel' zou kunnen omschakelen, geloof me vrij .

[riji]

Ik ben maar een gewone thuisgebruiker van internet en telefonie bij EDPnet.
Nu overweeg ik toch ernstig om over te stappen op een shake van Telenet.

1. Informatie:
Het enige wat ik kan doen bij uitval is met mijn GSM bellen naar EDPnet:
"Kantoren zijn open van maandag tot vrijdag van 9u-17u".
Bij een uitval van die omvang (2 provincies) en die duur (23 uur)
kan men dit toch vermelden.

2. EDPnet lijkt mij toch wel erg kwetsbaar en ik met hen:
1) september: de CISCO-routers: meeste sites niet meer bereikbaar
2) oktober: kabel door in Gent, W- &O-VL 8 uur geen internet & telefoon
3) november: kaart stuk, W- & O-VL 23 uur geen internet & telefoon
Het is vooral de duur van de pannes die mijn vertrouwen geschokt heeft.

3) Dit komt bij mij bovenop het feit dat ik voor televisie TV-Vlaanderen heb,
waar er, zeker voor iemand die geen van de ontvangers gebruikt die zij
zelf verkopen, ook altijd wat schort (voortdurende wijzigingen, late bitrates,
geen informatie...)

[Goztow]

Als je zekerder wil zijn, dan combineer je een DSL-abo en een kabelabo. Dan moet je er wel twee betalen natuurlijk, maar heb je een reserve op een andere technologie. Daarnaast misschien nog een 3G-abo en het moet al heel erg zijn om geen Internet te hebben. maar dat alles heeft een prijs, natuurlijk.

[riji]

Het moet betaalbaar blijven, natuurlijk.

[Tim.Bracquez]

bvb in Frankfurt (besparingen hé). Onze leverancier van deze link is een internationale speler, en doet dit blijkbaar op deze manier.

Colt dus

[freegeek]

>8 'ping' wij hebben gewoon alles vervangen langs onze zijde deze nacht, het probleem was niet opgelost dus 'pong' het zit bij jullie

Doen jullie zo troubleshooting? Alles vervangen... Amaai. Vandaar dat het zo lang duurt.
Je weet toch: 'Meten is weten'.

Duidelijk geen ervaring in de branche, soms is hardware vervangen de enige troubleshooting

[philippe_d]

Als je zekerder wil zijn, dan combineer je een DSL-abo en een kabelabo. Daarnaast misschien nog een 3G-abo en het moet al heel erg zijn om geen Internet te hebben.

Ik heb een 3G stick in mijn router. Van zodra internet uitvalt kan ik overschakelen op 3G, en blijft mijn VoIP centrale werken.
Kost valt mee: usb modem (49€) en mijn Belgacom Internet overal kaartje (gratis tot max 250 MB), of een MV kaartje (als het te lang zou duren) ...

[Edit]
In de regio's waar je al op 4G kunt, is dat natuurlijk een uitstekende back-up. Voor sommigen zelfs sneller dan hun huidige vast internet !

[krisken]

Ik ben maar een gewone thuisgebruiker van internet en telefonie bij EDPnet.
Nu overweeg ik toch ernstig om over te stappen op een shake van Telenet.

1. Informatie:
Het enige wat ik kan doen bij uitval is met mijn GSM bellen naar EDPnet:
"Kantoren zijn open van maandag tot vrijdag van 9u-17u".
Bij een uitval van die omvang (2 provincies) en die duur (23 uur)
kan men dit toch vermelden.

1. Op Userbase was bijna meteen een topic
2. Volg http://www.twitter.com/edpnet
3. schrijf je in op de mailing van edpnet : issues.edpnet.be

Telenet kan je toch ook niet 24/24 bereiken? En bij belgacom kan je dit wel, maar ga je ook geen helpdeskmedewerker vinden die je exact kan zeggen hoelang een probleem zou aanslepen en wat het probleem juist is. Meestal zijn dit overigens outsourced klantendiensten.

[KRL100]

Weet je wat?? Ik ben ondertussen al een 2-tal jaar Edpnet VDSL2-klant... Dit abbo, onbeperkte data, lekkere up-en download, kost me minder dan mijn vroegere provider... Van de vorige outages heb ik niks gemerkt, behalve mijn Storage-device die mij een mailtje stuurde... Deze outage duurde iets langer... Een kleine 24 uur zonder VDSL-provider... Awel, ik heb mijn Android-foon in Hotpsot-mode gezet, en kon zo alle dringende mails afhandelen... EN voor de rest, eens een rustige avond gehad...

Mannekes, leer toch eens relativeren, met uw auto kun je toch ook een platte band hebben waarmee je uren verliest omdat je de vorige lekke band nog niet liet herstellen??

De afgelopen 24 uur zijn hier veel kleine klusjes 'in huis' afgehandeld, die anders wel nog ff 'zouden zijn blijven 'hangen'....

Geniet van uw net-weer-actieve-VDSL2 !!

Ik ga met een heel gerust hartje, slapen....

[krisken]

Grote ISP's altijd hotspares? Je hebt duidelijk nog nooit voor een ISP gewerkt, en weet duidelijk niet waarover je spreekt.

Tegenwoordig is elke apparatuur wel in staat om van op afstand beheerd te worden. Soms niet altijd even duidelijk, maar dat hangt meestal van de beheerder af.

Er zijn zelfs diagnose programma's die met een zeer hoge correctheid kunnen zeggen wanneer welk equipment het gaat begeven. Dan kan je proactief problemen gaan oplossen. Jammer genoeg nog zeer duur en zeer moeilijk te implementeren.

Ik kan je alvast zeggen dat Belgacom hotspares heeft in Brussel voor de meeste common zaken.
En ja, apparatuur kan op afstand beheerd worden, maar hoe kan je dat doen...als die link er uit ligt? Want daar gaat het hem toch net om?

@joachim :
Een vraagje puur uit nieuwsgierigheid. Hoeveel mbit/gbit zie je zo verdwijnen als OVl en WVL wegvallen? Is dat gigantisch (maw zie je dat duidelijk op de mrtg stats) of valt dit nog goed mee?

[snarie]

Backup is belangrijk in alles. Zelf combineer ik EDPnet (20eur/maand) met Telenet (25eur/maand). Best betaalbaar, en via een dual WAN router met load balancing hebben we hier altijd internet. Niet alleen EDPnet valt wel eens weg, Telenet is ook niet 100%. Al zij die roepen dat drop outs niet leefbaar zijn, kunnen perfect voorzorgen nemen. Enkel voor electriciteit heb ik geen backup, maar dat is natuurlijk een ander verhaal...

[lacer]

Zijn er in het verleden reeds compensaties uitgekeerd aan niet-professionele gebruikers voor zo'n outage, of geld dit maar vanaf een minimum duur van 24 h ?
Wie zal hiervoor de kosten dragen, Edpnet of de derde partij ?