Packetloss op verbinding. (Fragmentatie ?)

[Fatsie]

Collega Internauten,

Ik heb een vervelend probleem bij een klant; Op de verbinding zit erg veel packetloss.

Het is een week of 2 geleden begonnen en toen was het probleem erger, toen viel ook echt regelmatig de synchro weg en was de verbinding regelmatig geheel weg voor een poos. We hebben ondertussen al verscheidene keren contact gehad met de helpdesk maar daar zagen ze de eerste 2 keren hoegenaamd geen probleem en om ons af te wimpelen hebben ze dan maar voorgesteld om de modem te vervangen.

Iemand langs gestuurd van ons technische team met een nieuwe modem, geen verbetering.

Terug contact opgenomen met helpdesk, nu zagen ze wel degelijk een probleem en s'anderendaags ging een technieker langs gaan. Deze persoon is daar nog geen 10 minuten binnengeweest, heeft alles OK verklaart en tegen de klant gezegd dat het wel de firewall zal zijn. (Wat hebben ze dan gezien ?)

Bijzonder sceptisch zijn wij de firewall dan ook maar gaan vervangen, natuurlijk geen verbetering.

De reden van dat sceptisisme is vooral te wijten aan de buur van onze klant ... dat is namelijk ook een klant van ons. Ze zitten in hetzelfde gebouw maar hebben wel een apart netwerk, dus een aparte modem & aparte firewall en op de lijn van die 2de klant zien we hetzelfde scenario ... packetloss.

Het lijkt dus wel alsof er "upstream" een probleem is, misschien wel een capaciteitsprobleem op de ROP ? Dis is natuurlijk slechts een educated guess en dingen die ze op de helpdesk waarschijnlijk niet eens kunnen zien ... ookal zouden ze willen. We hebben dit reeds aangekaart bij de account manager van onze klant maar deze laat niks van zich horen.

Ik heb ook al aan een BGC technicus hier op het forum gevraagd om een kijkje te nemen, ook geen antwoord ... maar dat neem ik de persoon in kwestie natuurlijk helemaal niet kwalijk !! Hun inzet is puur op vrijwillige basis, dus alle begrip.



Op bovenstaande schermknal probeer ik het probleem weer te geven; De 2 bovenste plots zijn onze 2 klanten (die buren zijn) met de problemen. De andere 2 gewoon ter referentie om aan te geven dat het geen algemeen probleem is met de verbinding op HQ. Het verlies van verbinding in het midden was een hick-up van mijn NIC !

Is er iemand die dit al gezien heeft ? Iemand die tips/tricks wil delen ? Iemand een idee wat het eventueel zou kunnen zijn ? Ik neem aan dat de synchro nu wel goed blijft want anders zou de verbinding er telkens voor een minuut ofzo uitliggen en niet 1 ICMP packetje missen ...

Alle hulp/inzicht wordt op prijs gesteld !

[aceke]

stuur je nr eens in pm

[Fatsie]

Onderweg, alvast bedankt !

[Fatsie]

Update: aceke ziet ook geen probleem met de lijn.

Alle suggesties blijven welkom !

[Goztow]

Ik neem aan dat qua binnenbekabeling er geen probleem is? Post eens een winmtr van bij je klant naar google of zoiets, en/of van bij jou naar de klant? dan zien we waar het mis gaat.

[Fatsie]

Binnenbekabeling, sjah ... niet makkelijk na te kijken natuurlijk maar ik mag toch aannemen dat niet opeens bij 2 verschillende klanten tegelijk de kabels rot geworden zijn ? Zou de technicus van Belgacom die langs geweest is dit niet nagekeken hebben ? Misschien delen ze dezelfde introkabel, maar als dat zo zou zijn valt dat wel onder de verantwoordelijkheid van BGC natuurlijk.

Vanop een onafhankelijke Belgacom VDSL2 30/6 testlijn in mechelen naar de klant in mol;

Code: Selecteer alles

|------------------------------------------------------------------------------------------|
|                                      WinMTR statistics                                   |
|                       Host              -   %  | Sent | Recv | Best | Avrg | Wrst | Last |
|------------------------------------------------|------|------|------|------|------|------|
|                             192.168.1.1 -    0 |  293 |  293 |    0 |    0 |    5 |    0 |
|   1.126-177-91.adsl-dyn.isp.belgacom.be -    0 |  296 |  296 |   18 |   18 |   42 |   18 |
|  249.21-177-91.adsl-dyn.isp.belgacom.be -    2 |  281 |  277 |   27 |   28 |   59 |   30 |
|________________________________________________|______|______|______|______|______|______|
   WinMTR v0.92 GPL V2 by Appnor MSP - Fully Managed Hosting & Cloud Provider

Vanop mijn persoonlijke Dommel VDSL2 30/6 lijn in duffel naar de klant in mol;

Code: Selecteer alles

|------------------------------------------------------------------------------------------|
|                                      WinMTR statistics                                   |
|                       Host              -   %  | Sent | Recv | Best | Avrg | Wrst | Last |
|------------------------------------------------|------|------|------|------|------|------|
|                            172.21.1.254 -    0 |  219 |  219 |    0 |    0 |   16 |    0 |
|    ip193.dyn1.gretry.schedom-europe.net -    0 |  219 |  219 |   93 |  154 |  191 |  172 |
|atm-22-32.largo-matisse.bru.schedom-europe.net -    0 |  219 |  219 |   93 |  155 |  192 |  172 |
|                      4-1.r1.br.hwng.net -    0 |  219 |  219 |   93 |  155 |  194 |  168 |
|                         skynet.bnix.net -    0 |  219 |  219 |   93 |  156 |  200 |  168 |
|37.247-183-91.adsl-static.isp.belgacom.be -    0 |  219 |  219 |  102 |  155 |  194 |  168 |
|5.241-183-91.adsl-static.isp.belgacom.be -    0 |  219 |  219 |   79 |  155 |  194 |  168 |
|  249.21-177-91.adsl-dyn.isp.belgacom.be -    1 |  210 |  208 |  101 |  171 |  238 |  176 |
|________________________________________________|______|______|______|______|______|______|
   WinMTR v0.92 GPL V2 by Appnor MSP - Fully Managed Hosting & Cloud Provider

Vanaf de klant in mol naar Google.be;

Code: Selecteer alles

|------------------------------------------------------------------------------------------|

|                                      WinMTR statistics                                   |

|                       Host              -   %  | Sent | Recv | Best | Avrg | Wrst | Last |

|------------------------------------------------|------|------|------|------|------|------|

|                car-mol.apo.escapo.local -    0 |  302 |  302 |    0 |    0 |    1 |    0 |

|    1.21-177-91.adsl-dyn.isp.belgacom.be -    3 |  275 |  269 |   10 |   11 |  117 |   10 |

|4.241-183-91.adsl-static.isp.belgacom.be -   43 |  103 |   59 |    0 |   40 |  251 |  243 |

|36.247-183-91.adsl-static.isp.belgacom.be -    1 |  297 |  296 |   12 |   13 |  124 |   13 |

|           bru-22-r7-t3-1.car.belbone.be -    2 |  284 |  280 |   12 |   15 |  196 |   13 |

|          lnd-thn-r4-t4-2.car.belbone.be -    2 |  279 |  274 |   17 |   26 |  214 |   23 |

|                          94.102.162.210 -    2 |  288 |  285 |   17 |   20 |  122 |   18 |

|                            74.125.50.21 -    1 |  297 |  296 |   17 |   23 |  136 |   17 |

|                          209.85.255.175 -    2 |  289 |  286 |   17 |   24 |  131 |   17 |

|                            72.14.233.63 -    2 |  284 |  280 |   20 |   25 |  141 |   22 |

|                           209.85.255.70 -    2 |  288 |  285 |   20 |   24 |  135 |   24 |

|                          209.85.241.227 -    2 |  283 |  280 |   26 |   31 |  150 |   33 |

|                          209.85.254.114 -    2 |  278 |  274 |   26 |   30 |  152 |   28 |

|                          209.85.249.162 -   60 |   80 |   32 |   26 |   37 |  164 |   30 |

|                    fx-in-f103.1e100.net -    4 |  257 |  247 |   26 |   29 |  160 |   29 |

|________________________________________________|______|______|______|______|______|______|

   WinMTR v0.92 GPL V2 by Appnor MSP - Fully Managed Hosting & Cloud Provider

Vanaf de klant in mol naar DNS server UUNet;

Code: Selecteer alles

|------------------------------------------------------------------------------------------|

|                                      WinMTR statistics                                   |

|                       Host              -   %  | Sent | Recv | Best | Avrg | Wrst | Last |

|------------------------------------------------|------|------|------|------|------|------|

|                car-mol.apo.escapo.local -    0 |  261 |  261 |    0 |    0 |    1 |    0 |

|    1.21-177-91.adsl-dyn.isp.belgacom.be -    3 |  234 |  229 |   10 |   11 |   39 |   10 |

|4.241-183-91.adsl-static.isp.belgacom.be -   36 |   98 |   63 |    0 |   35 |  275 |   47 |

|36.247-183-91.adsl-static.isp.belgacom.be -    3 |  234 |  228 |   12 |   13 |   39 |   12 |

|                        verizon.bnix.net -    2 |  244 |  241 |   13 |   14 |   29 |   14 |

|         322.at-5-3-0.XT1.BRU2.ALTER.NET -    2 |  248 |  245 |   13 |   15 |   38 |   14 |

|             so-2-0-0.CR1.BRU5.ALTER.NET -    2 |  243 |  239 |   13 |   15 |   35 |   14 |

|             so-0-0-0.GW7.BRU5.ALTER.NET -    0 |  261 |  261 |   13 |   14 |   42 |   13 |

| ge-0-0-0.bru5eusoesr3.bru.ops.eu.uu.net -    2 |  247 |  244 |   13 |   16 |   24 |   17 |

|                  cache0100.ns.eu.uu.net -    1 |  252 |  250 |   13 |   15 |   34 |   16 |

|________________________________________________|______|______|______|______|______|______|

   WinMTR v0.92 GPL V2 by Appnor MSP - Fully Managed Hosting & Cloud Provider

[Goztow]

Dat ziet er allemaal best deftig uit.

[Fatsie]

Het lastigste voor de klant zijn de bankcontact betalingen, die Xenta terminals blijken heel gevoelig te zijn voor packetloss met regelmatig mislukte transacties tot gevolg wat op zijn beurt weer zorgt voor ongerustheid bij de klanten die denken dat er iets mis is met hun kaart ...

Onze VPN tunnel moet ook regelmatig een rekey doen wat de snelheid van werken ook niet ten goede komt.

Wij hebben ~100 DSL verbindingen in beheer en dit is toch een lastig probleem. Het werkt niet geheel zoals het zou moeten, maar het werkt nog wel goed genoeg om de tests te doorstaan blijkbaar ... geef mij dan maar de panne die we bij een andere klant hebben lopen voor de moment. Daar is sinds midden vorige week helemaal geen internet en/of telefoonverkeer meer mogelijk en dat zal nog tot eind deze week duren omdat ze moeten komen lassen.

Op onze CPE zie ik nu regelmatig volgende log boodschap passeren;
Out of free space on fragment list

Dus het lijkt alsof de firewall allemaal gefragmenteerde packets binnenkrijgt, op den duur zoveel dat hij niet kan volgen met ze terug samen te stellen en dat hij een packet moet droppen ? De firewall is al een keer vervangen, de MTU van external interface staat op 1492. Iemand dit al gezien ?

[krisken]

Laat de modem zelf eens een PPPOE verbinding opstarten en hang de bancsys terminal daar eens aan? Kijk of t beter is?

[Fatsie]

Op zich een testscenario dat we eens kunnen overwegen inderdaad.

Maar vindt dan niemand anders het raar dat deze 2 verschillende DSL aansluitingen, met verschillende kabels, modem, CPE firewall, switches, ... opeens deze symptomen beginnen vertonen ? Ik bedoel maar, wat is er gedeeld tussen deze 2 klanten ... misschien de introkabel ... maar voor de rest is alles apart en toch identiek hetzelfde probleem dat we bij onze andere klanten niet hebben.

We kunnen on-site wel wat gaan proberen met kabels en onze CPE (maar de modem + firewall zijn al geswapped) en dergelijke ... maar is het niet waarschijnlijker (zeg nooit nooit natuurlijk) dat het probleem zich ergens in de BGC infra bevindt ? Of maak ik ergens een denkfout ?

Eventueel zou de stroomvoorziening nog voor stoorzender kunnen spelen, maar dit is volgens mij ook apart en bovendien zitten beide firewalls/modems achter een aparte UPS per locatie.

[Proximus]

Beste Fatsie,

Kan u mij een privébericht sturen met de lijnnummer van de klant? Het kan eventueel aan de stijglijn(kabel tussen intro en aansluitpunt bij de klant) liggen.

Mvg,
Eva van Belgacom.

[Fatsie]

Onderweg, alvast bedankt !

[krisken]

Of maak ik ergens een denkfout ?

Wat kan, is een kabel die "aan het slecht komen is". De voedingskabel van de centrale tot aan de ROP/KVD doet er niet toe maar de verspreidingskabel wel. Het kan bvb een vdslblok zijn die problemen geeft en waar jullie opzitten, maar bvb ook door werken in de straat raakt men wel eens een kabel of 50 van een verspreidingsbundel.

[Fatsie]

Update;
Na telefonisch contact met de accountmanager blijkt er een probleem te zijn met "de geleidbaarheid" v/d intro kabel (ik veronderstel te grote verzwakking ?). Er zal morgen iemand langsgaan.

[Fatsie]

Gisteren is er een technicus van BGC langsgeweest die wederom geen probleem met de lijn kon vaststellen, het leek me een man die zijn job zeer ernstig nam overigens. Zijn bevindingen;
- PPPoE op de modem: normale snelheden
- PPPoE op firewall: snelheden zakken als pudding in elkaar

Vermits we de firewall al eens geswapt hadden hebben we deze uitgesloten en verder beginnen denken. Wat als er een stoorzender op het stroomnet zit ? Dit zijn we vandaag gaan testen, een volledig opgeladen UPS meegenomen, deze niet aangesloten op het net, daarop modem + firewall + switch om op die manier volledig galvanisch gescheiden te zijn van het net. Tot onze teleurstelling geen oplossing voor het probleem.

Dan zijn we de testen van BGC gaan reproduceren;
PPPoE op modem en enkel laptop eraan: relatief normale snelheden (maar niet "vollen bak") en toch nog af en toe wat PL.
PPPoE op firewall en enkel laptop eraan: 0,08Mbit downstream en PL.

Op de firewall zien we massa's meldingen in de zin van "no more free space on fragment list", hoe zwaarder we de lijn proberen te belasten hoe meer ....

Stelling/Vraagstuk voor de mensen die technisch beter op de hoogte zijn van DSL/ATM;
Kan het zijn dat we massa's (uitsluitend ?) gefragmenteerde packets binnenkrijgen v/d DSLAM ?

Als de speedtouch krachtiger/beter is in het opnieuw samenstellen van deze packets dan onze firewall zou dat het snelheidsverschil kunnen verklaren, maar ik ben technisch niet sterk genoeg om te weten of dit scenario mogelijk is. Iemand v/d BGC techniekers op dit forum met toegang tot iemand dieper in de infrastructuur arm van BGC die hierop zijn licht eens kan laten schijnen ?

Resultaten v/d test in acht genomen gaan we nu eens proberen de modem uit bridge te halen, daarop de PPPoE af te handelen en onze firewall via DHCP een IP v/d SpeedTouch te laten krijgen. Als de speedtouch sneller is in het opnieuw samenstellen v/d fragmented packets zouden we toch een verbetering moeten zien ?

Alle input is, meer dan ooit, welkom !

Update uit het veld;
Met de PPPoE op de modem en firewall als DHCP client eraan zien we nog steeds PL, maar de download snelheid is wel merkelijk hoger ... 2 à 3Mbit en de surfervaring voor de klant is fel verbeterd, er kan eigenlijk terug vlot gewerkt worden.
De fragmentatie boodschappen komen ook niet meer voor in de firewall log

[krisken]

Vervang eens de UTP kabel naar de firewall? Of hang aan de bbox2 ipv een firewall eens een gewone huis/tuin/keukenrouter die PPPoE doet?

[VOiD]

Wat is de MTU op die firewall ? Staat die niet te hoog voor een PPPOE connectie ?

[Mathy]

MTU moet idd op 1492 staan.

Wat voor een firewall is het? Hardware / software?

Ik heb ooit eens ook een soortgelijk probleem gehad met een software firewall die onder esxi draaide, als je daar als virtuele ethernet-adapter de geoptimaliseerde voor snelle communicatie tussen de VM's gebruikte, dan kreeg je juist dezelfde problemen. Omschakelen naar het Intel e1000 type loste het probleem toen op.

[Studenteninternet]

Vervang eens de bbox2 We hebben het ook al voorgehad, was een nieuwe install met een nieuwe bbox2.
Continue packet loss, geen problemen zichtbaar op de lijn en modem zo goed als rechstreeks op de invoer (1m VVT kabel ertussen)
Uiteindelijk bbox2 vervangen door een reserve van ons en het probleem was van de baan.

mvg

EDIT: Ik had niet alles gelezen en zie nu dat het probleem zich op 2 nabije locaties stelt, wat me nu natuurlijk weer doet twijfelen.
Maar eens proberen met een andere bbox2 kan geen kwaad, dus ik zou dat toch eens proberen. Wij hebben zelf honderden vdsl2 lijnen en ze doen allemaal PPPoE vanuit de router over de bbox2 in bridge, dit werkt steeds zonder issues.

[philippe_d]

Ja, de hele post doorlezen voor je reageert is altijd nuttig .
Als ik het goed begreep, heeft de TS geen Bbox2 maar een Speedtouch.
Dus ook geen VDSL2 maar ADSL ?

[Fatsie]

Dank allemaal voor de reacties;

Vervang eens de UTP kabel naar de firewall? Of hang aan de bbox2 ipv een firewall eens een gewone huis/tuin/keukenrouter die PPPoE doet?

Denk eraan dat we hetzelfde gedrag zien op 2 locaties, lijkt me sterk dat het UTP kabeltje op beide locaties plots en tegelijk een probleem zou vormen ? Op de 2de locatie is de internetbeleving eigenlijk normaal te noemen ookal zien we wel wat PL, de snelheid is OK. Het verschil ? Er staat een modernere uitvoering van firewall. Als ik de fragmentatie hypothese hierop loslaat;
a) De nieuwere versie heeft een snellere CPU/ASIC om de TCP/IP afhandelingen te doen.
b) Heeft tevens meer geheugen, dus kan meer packets op de "fragment list" houden en verwerken vooraleer ze moeten gedropt worden, wat op zijn beurt voor een hogere throughput zorgt.

Wat is de MTU op die firewall ? Staat die niet te hoog voor een PPPOE connectie ?

MTU moet idd op 1492 staan.

MTU op External staat inderdaad op 1492 om na overhead een 1500/1502 byte packet over te houden. Aan beide firewalls zijn geen recente config wijzigingen gebeurd en al helemaal geen firmware updates.

Wat voor een firewall is het? Hardware / software?

Locatie 1 (internet haast niet werkbaar) heeft een WatchGuard Edge X5 hardware firewall. Hiervan hebben we er ~90 in the field, geen issues op de andere die allen op zelfde FW level draaien.
Locatie 2 (internetbeleving OK, wel PL) heeft een WatchGuard Edge e-Series X10e hardware firewall. Hiervan hebben we er ~30 in the field, geen issues op de andere die allen op zelfde FW level draaien.

Als ik het goed begreep, heeft de TS geen Bbox2 maar een Speedtouch.
Dus ook geen VDSL2 maar ADSL ?

Correct, standaard ADSL met een SpeedTouch modem. Voor onze setup zijn geen VDSL2 snelheden nodig maar nieuwe installaties of verhuizen worden door BGC standaard van VDSL2 voorzien en dit werkt ook prima icm met BBox2 en onze firewalls.

Iemand ervaring met het WireShark'en van een PPPoE verbinding ? Kan ik een PPPoE verbinding maken op een werkstation en deze aftappen met WireShark ? Ga ik dan de packets zien voor of na ze zijn samengesteld door de TCP/IP stack ?

Kan ik alternatief een hub tussen de modem in bridge en een achterliggend PPPoE device hangen en daarop capteren ? Ik ga vandaag proberen hieromtrent een test setup te maken maar als iemand ervaring/tips heeft ... graag.

Nogmaals bedankt allemaal.

[Fatsie]

Update;
Er is vandaag een technicus ter plaatse samen met een medewerker van ons. Het is een "speciale technieker met extra opleiding" volgens de accountmanager.

Dit lijkt niet gelogen want na 10 minuten kon deze een probleem aan de BGC kant vaststellen, er is steeds verlies v/d "binding". Niemand schijnt te weten hoe dit precies komt, de kaarten in DSLAM/LEX zijn al vervangen zonder succes. Iemand die mij kan vertellen wat "binding" inhoud ?

Zijn voorstel is om de lijn (kosteloos) te migreren naar VDSL2, hij is gerust dat het probleem dan verholpen zal zijn ... wij wachten vol spanning af

[schneider]

Binding is er als de authenticatie tussen modem en ISP goed is (bv PPPoE)
Bv. als je adsl/vdsl verbonden is en je username en wachtwoord is correct maar je kan niet op internet dan heb je ook geen binding

Wss is het meer dan dat...
correct me if im wrong?

[mattiassercu]

Ik zit met een gelijkaardig probleem op mijn VDSL2 verbinding, Sagem 3464 als modem in bridge.
Zowel met Watchguard SOHO6 als Edge X5 heb ik PPPoE problemen een snelheidsverlies.
Over een week komt er een installateur mijn lijn testen, daar zou iets mis mee zijn.