Traffic naar USA via Level 3 transatlantic sturen ipv Telia?

[CCatalyst]

Met Telenet hebben wij weer miserie gehad met de connectiviteit naar Amerika deze middag. Het was (opnieuw) niet Telenet zelf, wel weer Telia en hun transatlantische kabel die problemen gaf.

Dit is niet de eerste keer en het is zeer irritant als je afhankelijk bent van een goede connectiviteit met de USA. Telenet stuurt al ons verkeer naar de US altijd naar Telia en hun kabel.

Nog meldingen: https://www.lowendtalk.com/discussion/8 ... tic-issues
Artikel: http://datanews.knack.be/ict/nieuws/gro ... 18777.html
Meer uitleg (heeft iemand geschreven nav een eerder groot probleem met Telia transatlantitc 2 jaar geleden) http://blog.adamowen.co.uk/telia-transa ... le-outage/

Vraag 1: Weet iemand of het op een of andere manier mogelijk is om je transatlantisch verkeer via Level 3 in plaats van Telia te routen? Mijn contact in de US zegt dat Level 3 echt veel betrouwbaarder is dan Telia. Telenet heeft naast Telia ook een overeenkomst met Level 3 voor backbone: http://bgp.he.net/AS6848

Vraag 2: Als dit niet kan, weet iemand dan een goede VPS/dedicated server provider in Belgie of buurlanden die EN een extreem goede connectiviteit heeft met Telenet EN peered is met Level 3 EN transatlantisch verkeer over Level 3 kan en wil sturen? Gezien de transatlantische routing van Level 3 steeds via London verloopt mag het gerust ook een Engelse provider zijn.

Om te verduidelijken, dit is wat ik wil:

Code: Selecteer alles

(TELENET)
5  ae-1-7.bar2.Brussels1.Level3.net  (4.69.148.181)  49.412 ms
6  ae-41-41.ebr2.London1.Level3.net (4.69.143.85)  37.942 ms
7 ae-61-61.ebr1.NewYork1.Level3.net (4.69.134.65)  125.600 ms
(USA)

En dit is wat ik niet meer wil want teveel miserie:

Code: Selecteer alles

(TELENET)
5  brx-b1-link.telia.net (62.115.40.121)  49.412 ms
6  prs-bb3-link.telia.net (62.115.112.130)  37.942 ms
7 nyk-bb1-link.telia.net (80.91.251.102)  125.600 ms
(USA)

[nickz]

Ik vroeg me al af waarom WhatsApp, Tapatalk, enz. daarstraks niet goed werkten via Wi-Fi (Telenet), maar wel via mobiele data (Proximus)...

[bitbite]

wel weer Telia en hun transatlantische kabel die problemen gaf.

Internet is onbetrouwbaar en elke transit provider heeft wel eens prut

Weet iemand of het op een of andere manier mogelijk is om je transatlantisch verkeer via Level 3 in plaats van Telia te routen?

Niet in SOHO-stijl, en volgens mij geheel niet bij Telenet.
Maar bel eens naar een paar grote transitboeren en leg je probleem uit, over het algemeen zijn ze zéér behulpzaam. De kans dat de oplossing beter past bij je noden dan geknutsel is groot... (bvb latency, jitter, route stability, ..)

Let echter wel op: je wil niet eindigen met routing via één enkele Tier1 in de US (dus bvb alles over Level3) want dan ga je in geval van problemen/spellekes daar weer ontzettend lange routes krijgen.

[CCatalyst]

Weet iemand of het op een of andere manier mogelijk is om je transatlantisch verkeer via Level 3 in plaats van Telia te routen?

Niet in SOHO-stijl, en volgens mij geheel niet bij Telenet.
Let echter wel op: je wil niet eindigen met routing via één enkele Tier1 in de US (dus bvb alles over Level3) want dan ga je in geval van problemen/spellekes daar weer ontzettend lange routes krijgen.

Bedankt voor de tips.

Telenet heeft overeenkomsten met Telia, Level 3 en nog een paar providers. Zowel Telia als Level 3 hebben transatlantische infrastructuur en zullen die volgens mij ter beschikking stellen voor Telenet verkeer (heel af en toe - op piekuren vooral - zie ik dat Telenet soms wat transatlantisch verkeer over Level 3 stuurt).

Hoe wordt binnen Telenet dan eigenlijk bepaald welke transit provider de voorkeur krijgt om het transatlantische verkeer van de Telenet customers te verwerken? Is dit voornamelijk politiek/geld/goedkoopste optie, of kijkt men ook naar performance/throughput etc?

[petzl]

http://www.hln.be/hln/nl/4125/Internet/ ... line.dhtml

[CCatalyst]

http://www.hln.be/hln/nl/4125/Internet/ ... line.dhtml

BS artikel. CloudFlare gebruikt ook Telia (onder andere) voor hun verkeer, dus zoals zij steeds doen hebben zij een bericht op hun statuspagina gezet vanaf zij zagen dat er problemen waren met het verkeer. Maar het is niet CloudFlare zelf die problemen had, wel hun upstream provider Telia. CloudFlare doet wel CDN voor veel grote websites dus al die websites hebben daar problemen mee gehad. Het artikel zegt zelf dat AWS toevallig ook problemen had op dat ogenblik. Is niet toevallig => ook Telia klant.

"Een server van de website CloudFlare lag vanmiddag een tijdje plat, waardoor heel wat websites en apps wereldwijd offline waren." => CloudFlare heeft wel redundancy hoor, 1 server plat legt niet half het internet lam.

Gelukkig dat HLN veilig in het kleine Belgie zit, in Amerika al lang een lawsuit van CloudFlare aan hun been wegens defamation

[bitbite]

Hoe wordt binnen Telenet dan eigenlijk bepaald welke transit provider de voorkeur krijgt om het transatlantische verkeer van de Telenet customers te verwerken? Is dit voornamelijk politiek/geld/goedkoopste optie, of kijkt men ook naar performance/throughput etc?

'k Denk niet dat iemand daarover uit de biecht gaat willen klappen. Ga er maar van uit dat het een mix van invloeden is.

[bitbite]

hln.be

Binnen een weekje lezen we wellicht een echt report op research.dyn.com...

[Tomsworld]

Beste CCatalyst,

Dit is perfect mogelijk het kost alleen wat centen, je neemt ofwel direct internet af bij Level3, ofwel koop je een eigen AS + Ip adressen en koop je transit in bij Level3 en nog iemand en configureer je dat zodanig dat je l3 preferentie geeft.

Realistisch, ja als je een groot bedrijf hebt, als je een kleine gebruikers bent, thats the game, waarschijnlijk is het eenvoudigere om gewoon een backup isp te nemen en die te gebruiken bij problemen.

[CCatalyst]

Beste CCatalyst,

Dit is perfect mogelijk het kost alleen wat centen, je neemt ofwel direct internet af bij Level3, ofwel koop je een eigen AS + Ip adressen en koop je transit in bij Level3 en nog iemand en configureer je dat zodanig dat je l3 preferentie geeft.

Realistisch, ja als je een groot bedrijf hebt, als je een kleine gebruikers bent, thats the game, waarschijnlijk is het eenvoudigere om gewoon een backup isp te nemen en die te gebruiken bij problemen.

Bedankt voor de info.

Zou er echter nog geen derde mogelijkheid zijn?

1. Deze stap is het meeste werk. Ik maak een lijst van VPS providers die aan BNIX hangen en Level 3 gebruiken. Gezien Level 3 alle verkeer BE<->US toch altijd via London stuurt, voeg ik ook een lijst met VPS providers in Londen daaraan toe. Vervolgens ga ik dan via looking glass in verschillende locaties in de US een traceroute doen naar al die providers providers en zo zien welke VPS provider steevast via Level 3 Transatlantic gerouted wordt en ook een deftig lage latency heeft. Ik check dan ook de latency van Telenet naar die VPS providers.

2. Vanaf nu is het eenvoudig. Op de VPS provider die er het beste uitkomt maak ik een account, ik spin een instance met een OS met deftige networking stack en niet-betalende license (laatste FreeBSD-RELEASE oid), ik configureer die instance voor IP forwarding, en ik configureer een tunnel (GRE of OpenVPN oid) vanaf mijn router naar die instance en omgekeerd. Ik route het verkeer vanaf mijn netwerk echter nog niet meteen door die tunnel.

3a. Als ik merk dat Telia weer lastig doet, configureer ik de routing tabel op mijn router om alle egress verkeer langs de tunnelinterface te laten passeren. Volgens mij zal het resultaat dan zijn dat alle verkeer naar die VPS instance gestuurd wordt, die dan weer al het verkeer bestemd voor de States via zijn netwerk zal forwarden naar (volgens mij) uiteindelijk Level 3 transatlantic en zo de US in, zolang de VPS provider zijn peering overeenkomsten niet verandert toch.

3b. Ik kan alles afwerken door het te automatiseren: shell scriptje dat om de paar minuten een ping doet naar een "neutrale" Amerikaanse server via Telia en via de VPS, en die vervolgens als Telia "hoog scoort" automatisch de routing tabel aanpast.

Nadelen aan deze setup volgens mij:
1) Stap 1 (peering en latency van VPS providers bepalen) is een momentopname en zegt niets over de dag erna
2) Engels publiek IP adres als het een Engelse provider is (niet meteen een ramp)
3) throughput zal eronder lijden
4) IPv6 wordt waarschijnlijk lastig zonder NDP proxy.

Maar een stabiele connectie met de US is voor mij belangrijker dan IPv6 en throughput. Het mag natuurlijk ook niet tergend traag zijn, maar dit zal m.i. vooral afhangen van hoeveel je wilt investeren in die VPS. Een dedicated server ipv VPS, met dezelfde setup, is eveneens een optie als throughput belangrijker wordt.

Is dit scenario realistisch of maak ik een fout ergens?

[ubremoved_2964]

Wat is de werkelijke oorzaak dat de transatlantische Telia links niet meer stabiel werkten?
En waarom is dit een wederkerend probleem?

Kan telenet telia niet in gebreke stellen? Ik vermoed dat klanten toch kunnen samenspannen tegen Telia? Er zal toch wel een vette SLA op zitten?

Vanavond was FB een ramp, ik redeneer: we doen iets anders, kijk naar filmpje ... maar als je inderdaad afhangt van zo'n link voor je business ben je wel F*.

Een VPS boer zoeken die via een andere link werkt dan Telia is misschien een tijdelijke of backup oplossing, maar veel properder zou zijn is de werkelijke oplossing ipv een bypass/workaround.

[ubremoved_2964]

Hoe wordt binnen Telenet dan eigenlijk bepaald welke transit provider de voorkeur krijgt om het transatlantische verkeer van de Telenet customers te verwerken? Is dit voornamelijk politiek/geld/goedkoopste optie, of kijkt men ook naar performance/throughput etc?

'k Denk niet dat iemand daarover uit de biecht gaat willen klappen. Ga er maar van uit dat het een mix van invloeden is.

http://www.theregister.co.uk/2016/06/20 ... et_outage/

-> blijkbaar werd traffic via hong kong geroute ... geen wonder dan dat alles zo pokketraag ging
-> ik heb ooit iemand gekend die CTO was bij een omstreden Belgische ISP, die spelletjes speelde met het "per ongeluk" announcen van ip ranges via BGP die niet aan hen toebehoorden ....
-> dus we gaan nooit weten of dit een human err was, of iemands sick game om het internet even te pesten
-> Telia zal wel een damage control hebben om de fallout te minimaliseren
-> finaal is er Telenet vandaag niks te blameren (allez voor nen keer), als uiteraard zou blijken dat Telia systematisch in gebreke is, en telenet blijft daar transatlantische transit kopen, dan kan je wel conclusies trekken ivm tn
-> hopelijk krijgt de telia engineer wel een zware sanctie, want er zullen tonnen aan SLA's vandaag gebroken zijn

[CCatalyst]

Twitter: https://twitter.com/eastdakota/status/744972233391497216 ^^ CEO van CloudFlare

[bitbite]

[...]je neemt ofwel direct internet af bij Level3[...]

Dat wil je dus niet doen, direct klant bij één Tier1. Beter klant bij een Tier2, ofwel (icm AS) meerdere Tier1's. Ze zijn daar in de USA niet zo interconnected als het zou lijken...

een backup isp te nemen en die te gebruiken bij problemen.

Denk niet dat er op dit moment Belgische ISP's zijn die preferentie geven aan Level3.

Zou er echter nog geen derde mogelijkheid zijn?

Dat kan perfect werken hoor, maar ik denk dat je resultaat echt wel zou kunnen tegenvallen.
Stap 1 kan je ook via mail doen. Je hoeft je zeker niet te beperken tot bnix providers, londen en amsterdam zijn ook mooi voor dat doel.

[nickz]

CloudFlare klaagt over Telia na omvangrijke Europese internetstoring

[raf1]

Redundante verbindingen blijken eens te meer geen overbodige luxe.

Voor de topicstarter is een backup via het VDSL2-netwerk zeker het overwegen waard. Er is een zeer grote kans dat dit bij toekomstige problemen véél vlotter gaat werken dan een eigen VPS-oplossing in één of ander Europees datacenter. Ik had gisteren trouwens de indruk dat de VDSL2-providers veel alerter gereageerd hebben op de packet loss op de Telia-transit en het verkeer quasi onmiddellijk via andere routes hebben omgeleid.

[Sinna]

... en free monitoring zoeken die niet vanuit Amerika opereert. Tips? UpTimeRobot en Montastic vallen sowieso al af.
Gisteren nogal wat toeters en bellen afgegaan voor wat bleek een false alert te zijn.

[on4bam]

Blijkbaar is de link naar noord Amerika via Telia nog altijd problematisch. Nu al meer dan 20 min. timeouts naar mijn hosting.

Code: Selecteer alles

Tracing route to on4bam.com [108.61.51.82]
over a maximum of 30 hops:

  1     9 ms     6 ms     7 ms  192.000.000.000
  2    13 ms    12 ms    13 ms  bras04.bxl.be.edpnet.net [213.219.132.16]
  3    13 ms    13 ms    14 ms  router01.sn.be.edpnet.net [212.71.11.1]
  4    47 ms    48 ms    40 ms  router03.adamtel.nl.edpnet.net [212.71.11.222]
  5    39 ms    39 ms    40 ms  router02.sthtc.swe.edpnet.net [212.71.1.242]
  6    39 ms    39 ms    39 ms  s-b5-link.telia.net [62.115.46.33]
  7    38 ms    38 ms    40 ms  s-bb4-link.telia.net [62.115.119.110]
  8    46 ms    45 ms    45 ms  kbn-bb4-link.telia.net [62.115.120.58]
  9   112 ms   197 ms   146 ms  nyk-bb2-link.telia.net [62.115.118.196]
 10   126 ms   124 ms   113 ms  nyk-b2-link.telia.net [62.115.134.108]
 11     *        *        *     Request timed out.
 12     *        *        *     Request timed out.
 13     *        *        *     Request timed out.
 14     *        *        *     Request timed out.
 15     *        *        *     Request timed out.
 16     *        *        *     Request timed out.
 17   148 ms     *        *     goron.hyliahub.com [108.61.51.82]
 18     *        *        *     Request timed out.
 19   149 ms     *        *     goron.hyliahub.com [108.61.51.82]
 20     *        *        *     Request timed out.
 21     *        *        *     Request timed out.
 22     *        *        *     Request timed out.
 23   149 ms     *      149 ms  goron.hyliahub.com [108.61.51.82]

Trace complete.

[ITnetadmin]

Het probleem met veel van die redundante verbindingen en auto-routing software, is dat die vaak one-way zijn.
Maw: bij het wegvallen van een link auto-redirecten die naar een andere link, maar daar blijven ze dan vaak steken en keren ze niet terug. Dat is deels by design, in sommige omgevingen. En als niemand opmerkt dat er een issue is (geweest), dan kan zo'n alternatieve routing wel effe aanhouden.

[on4bam]

Net gezien dat dit in het TN deel staat, mijn verbinding loopt vanuit EDPnet.
Net gemeld aan EDPnet zodat zij misschien even "turn it off and on again" kunnen proberen

[CCatalyst]

Net gezien dat dit in het TN deel staat, mijn verbinding loopt vanuit EDPnet.
Net gemeld aan EDPnet zodat zij misschien even "turn it off and on again" kunnen proberen

Maakt niet uit, loopt via dezelfde kabel. TN gaat ook via nyk-bbX-link.telia.net (landing van de kabel in NYC).

Hier ook weer af en toe merkbaar grotere latency gehad vandaag, maar nog geen downtime.

[on4bam]

Meer info hier.

Het is vooral vervelend dat ik dan aan mijn mail niet kan. Gelukkig is het op al de jaren dat mijn hosting in de US staat nog maar de tweede keer (11 dagen terug en vandaag) en duurde het niet lang.