Mikrotik en BGP over GRE ... HELP!

[krisken]

Voor een kleine speeltuin op te bouwen, heb ik 3 vm's draaiende met Mikrotik CHR :
- Nederland, Meppel
- Nederland, Wormer
- Duitsland, Frankfurt

Tussen deze 3 locaties heb ik een GRE verbinding gelegd, waar ik nu BGP wil over doen.
Tussen Frankfurt en Meppel werkt deze prima. Tussen Frankfurt en Wormer eveneens. Alleen krijg ik de BGP sessie tussen Meppel en Wormer absoluut niet werkende. Reeds van alles al geprobeerd, zonder succes. Vandaar de hulpkreet hier

Router Meppel (https://photos.app.goo.gl/Z4nZsLTbv17qiCbx9)
- Zoals je kan zien, kan ik Frankfurt prima pingen over de GRE tunnel (10.251.0.2)
- Zoals je kan zien, kan ik Wormer prima pingen over de GRE tunnel (10.251.0.6)
- Alleen de BGP sessie met Frankfurt is up and running
- de BGP sessie met Wormer is zelfs niet zichtbaar (maar wel geconfigureerd)

Router Wormer (https://photos.app.goo.gl/HB3g6Q8ZtYnhnmLz7)
- Zoals je kan zien, kan ik Frankfurt prima pingen over de GRE tunnel (10.251.0.9)
- Zoals je kan zien, kan ik Wormer prima pingen over de GRE tunnel (10.251.0.5)
- Alleen de BGP sessie met Frankfurt is up and running
- de BGP sessie met Meppel is zelfs niet zichtbaar (maar wel geconfigureerd)

Router Frankfurt (https://photos.app.goo.gl/jks4BFKRAG9Ei8gq7)
- Zoals je kan zien, kan ik Wormer prima pingen over de GRE tunnel (10.251.0.10)
- Zoals je kan zien, kan ik Meppel prima pingen over de GRE tunnel (10.251.0.1)
- Beide BGP sessies zijn up and running

Zit hier al een goeie dag mijn hoofd over te breken, maar ik zie het probleem niet. Misschien iemand van jullie wel?

[Sasuke]

Ben absoluut niet thuis in Mikroktik, maar heb je geen issue met conflicterende ASN’s ? Je gebruikt overal dezelfde, en aangezien er al een route is over Frankfurt, gaat die de 3de poot toch weigeren ?

[Tomsworld]

Zijn de onderliggende lijnen allemaal mtu 1500 ?

Wat geven de pings met df bit zet kan je allemaal komen tot je maximum mtu, ik zie dat je op alle tunnel 1476 zet.

Ik weet niet hoe makkelijk je debug kan doen van de bgp sessies, je zou een packet capture kunnen doen op tcp poort 179, bgp is redelijk verbose over wat er mis gaat.

[krisken]

Ik zal dit vanavond bekijken en mn bevindingen hier zetten.
Bedankt om mee te denken!

[Tomsworld]

Ik zal dit vanavond bekijken en mn bevindingen hier zetten.
Bedankt om mee te denken!

Eventueel kunnen we daarna wel eens een teams of andere call plannen om te troubleshooten. En nadien de bevindingen hier posten. Om ideaal te helpen zou ik ook beetje meer info nodig hebben ivm de netwerk layout etc.

Ik ben benieuwd

[krisken]

Deze avond mij er eens goed voorgezet, en één ding veranderd in de heel config. Namelijk "local role" van ibgp gezet naar ibgp rr. Dus met route reflector. 30 seconden later waren alle links up and running.

Nu wachten tot een aantal IXP's aangesloten zijn, en we kunnen beginnen met spelen

[blaatpraat]

Ben je dan wel zeker dat de layer 2 verbinding goed werkt?
Het kon zijn dat je ping al werkte omdat de layer 3 goed zat via de BGP eronder (over de 2 werkende linken).

[krisken]

Wel, dit is het hele verhaal...

Deze middag merkte ik dat de router offline was dankzij een SMS die ik kreeg van mijn SMS gateway. Wel wat vreemd, maar het kan natuurlijk altijd verkeren. Toen ik thuis kwam even een ping gedaan naar de node waar hij op draaide, en die bleek gewoon online. Ook de website van de leverancier was gewoon werkende.

Vervolgens heb ik gekeken naar het control panel. Daar bleek dat de VM gestopt was. Nog vreemder, dus ik startte die terug op. 15 seconden later : terug offline! Op de console (via de webinterface) kreeg je amper iets te zien, het ging gewoon te snel.

Mailtje naar provider later, en 2 minuten later een antwoord : de server zei snel iets over een licentieprobleem, en vervolgens ging hij down. Toen viel (half) mijn eurocent : je kan een Mikrotik CHR slechts 24u gebruiken zonder licentie! De licentie had ik daags ervoor aangekocht maar deze was nog steeds niet gemaild naar me. Ik ging er van uit dat een licentie aanvragen bij een reseller gewoon iets was van kopen, betalen en een halve minuut later een mail krijgen, maar niet dus, blijkbaar moet er nog heel wat handmatig gebeuren.

Telefoontje naar de reseller, en een minuutje nadien had ik de licentie reeds in mijn account zitten. Dus opnieuw de ISO ingeladen, de install snel opnieuw gedaan, licentie ingeladen, en de backup van gisteren terug zetten met als enige verandering wat ik had beschreven : ibgp rr ipv ibgp. En die machine is nu nog steeds feilloos aan het draaien en op dit moment druk bezig met een fulltable binnen te halen

Was er een issue van de vorige machine? Misschien. Ik kan alleen maar zeggen dat ik nu bgp rr gebruik. Wat ook logischer is.

[blaatpraat]

Mhm, ik zou toch eens 1 van de 2 linken die eerder werkte offline halen (port admin down), en zien of dan alles nog steeds blijft werken zoals verwacht via iBGP.
Iets in mij zegt dat dit niet zal lukken, en dat je nu al gebruik maakt van de redundantie om van Meppel naar Wormer te geraken (en omgekeerd).

[tizzen33]

Geen Mikrotik expert maar ik vind het onlogisch dat je route reflector nodig hebt. Je hebt namelijk een full mesh tussen je 3 BGP Peers en dan doet route reflector niks ter zake.

[Tomsworld]

In zo een setup ook geen rr nodig.

Als je een setup hebt met 3 routers zou ik een full mesh ibgp doen.

Overhead RR is te groot.

[krisken]

Ik ga er vanavond eens verder mee spelen en alles bekijken, maar wou alvast even reageren op het bericht hierboven : er komen er nog 2 bij : ééntje te Antwerpen en ééntje te Zurich. Met 5 nodes kan je al ns spelen