Netwerken, subnets en andere binaire spielerij

[Trojan]

Mannen, ik zit met een probleem.

Even kort mijn situatie/setup schetsen:



Ik heb dus een esxi server met daarin 2 virtuele switches, één gewone vswitch, en een distributed switch.

De gewone vswitch is verbonden met een uplink en alle vm's daarin krijgen een ip via windows dhcp server, 192.168.1.0/24.
De distributed switch is niet verbonden met een uplink.

Ik heb een virtuele router draaien met 2 interfaces. eth0 is verbonden met de vswitch, en eth1 met de dswitch.
Op eth2 draait een dhcp server die ip's uitdeelt in het 192.168.2.0/24 subnet.

Zijn jullie nog mee?

Nu is mijn vraag, hoe kan ik deze 2 netwerken met elkaar verbinden zonder NAT te gebruiken.

Als virtuele router verkies ik het liefst Vyos, maar momenteel ben ik ook aan het testen met Mikrotik CHR ova. Maar ik weet in geen van beide wat ik nu eigenlijk moet doen.

[tijs.vandenvester]

Welke gateway krijgen de VM's via DHCP?

Als deze telkens de virtual router als gateway krijgen, is de routering tussen die subnets toch in orde? Om ze dan toegang te geven tot internet nog een default route zetten in de vrouter naar de bbox.

[Trojan]

In het 192.168.1.0/24 subnet krijgen ze de bbox als gateway, 192.168.1.1.
In het andere subnet, 192.168.2.0/24 krijgen ze eth1 192.168.2.1 als gateway.

[tijs.vandenvester]

Als ze de bbox als gateway krijgen, zit er volgens mij niets anders op dan een route instellen op elke vm apart naar het IP van de virtual router. De vm's weten nu namelijk van het bestaan van de virtual router niet af.

Dan is mijn bovenstaande idee minder werk en maar één keer in te stellen.

[Trojan]

Dus eigenlijk al het verkeer eerst over mijn vrouter laten gaan en vandaar naar de bbox sturen?

[tijs.vandenvester]

Jep, dat zou moeten werken.

[Trojan]

En dat klopt dus ...

Zo simpel als het maar kan zijn, maar ge moet het dus weten he.

Netwerken zijn niet mijn forte.

Nu nog testen welke performance implicaties dat heeft. De routeros (chr) lijkt niet echt super snel te zijn. Hopelijk doet die vyos het beter.

[tijs.vandenvester]

Blij dat het werkt

Ik vermoed dat er niet veel peformantieverschil zal zijn. Geen ervaring met virtuele routeros of vyos, maar zou geen probleem mogen zijn.

[Trojan]

Gohja, ik heb er ook geen idee van. De vraag is maar in hoevere ze overweg kunnen met effectief 1Gbit aan traffiek. En ja, dat komt wel voor bij het deployen van vm's van de nas naar de esx server. Of bij het overzetten van bestanden naar de nas.

In zo'n gevallen is de Gbit lijn weldegelijk verzadigd en zou ik zelfs smeken naar 10Gbit interfaces.

Ohja, protip voor de volgende die dit leest: niet vergeten om ook een default gateway te configureren in de router, anders kan je niet (meer) op internet.
En ook de static ip configuratie op de dns/dhcp/ad server moet dus ook aangepast worden met de gateway van de vrouter, en niet meer de bbox.

Misschien na al die jaren toch eens investeren in een aparte router die tussen de bbox en de uplinks van de server kan zitten.

edit:

Ok, dus toch niet alles is peis en vree.

Wat lukt er niet: vanuit subnet 192.168.2.0/24 kan ik "niet aan het internet". Ik kan dus niet surfen. Maar ik kan bv wel aan mijn server uit 192.168.1.0/24, ik kan aan mijn nas uit datzelfde subnet.

Een traceroute naar eender wat faalt al bij de eerste hop.
Nslookup lukt wel, ik krijg een ip door bij het domein, en vice versa.
Ping naar het andere subnet lukt, ping naar het internet lukt niet.

De gateway op mijn dns server verwijst naar 192.168.1.254, en dns lookup zijn mogelijk. Anders zou ik nu niet kunnen surfen naar ub.
De gateway van de vrouter is ook juist geconfigureerd, verwijst naar 192.168.1.1, de bbox3.

Ik zie waarschijnlijk toch iets over het hoofd, maar weet niet wat.

[ITnetadmin]

Je 2 netwerk achter je router heeft genoeg aan een default gateway, de virtuele router is nl exit voor alles.

Je 1 netwerk krijgt echter als (default) gateway een externe router mee, en weet dus van geen kanten hoe netwerk 2 te bereiken. Je zal die toestellen dus een extra static route moeten pushen, die definieert dat je 2 netwerk achter je virtuele router zit.

Je hebt wss geen internet op netwerk 2 omwille van dezelfde reden.
Je 2 netwerk stuurt een pakketje naar het internet, eender welke pc op dat netwerk krijgt dus instructie om dat naar hun default gateway, de virtuele router, te sturen. Die stuurt het op zijn beurt door naar zijn (default) gateway, wat ik aanneem dat de externe internet router zal zijn.
Echter, je internet router kent netwerk 2 niet, en weet dus niet wat met het terugkomend antwoord te doen (aangezien het source adres zich in het 2 netwerk bevindt, omdat je niet NAT op de virtuele router).
Maw, je zal ook nog een static route naar netwerk 2 moeten geven aan je internet router, zodat die doorheeft waar dat netwerk zich bevindt.

De vuistregel hier is: een toestel (router, workstation, ...) kent alle netwerken die "directly connected" zijn.
Alles daarbuiten moet een route krijgen, static of dynamic.

Alles dat niet in een directly connected netwerk zit, wordt opgezocht in de routing table, en aan de correcte gateway overhandigd.
Is er geen gateway voor dat specifieke netwerk geconfigureerd, dan wordt de default gateway, ook wel gateway of last resort, gebruikt.
Dit is dus naw waarom de toestellen op netwerk 1 (incl je externe router) netwerk 2 niet kunnen terugvinden; het bevindt zich nl niet achter hun default gateway.

[tijs.vandenvester]

De B-box kent inderdaad de return route niet naar 192.168.2.0/24. Omdat je in de b-box geen aanpassingen kan doen aan de route-tabel, zal je in de virtuele router toch met NAT moeten werken voor internetverkeer.

Dus:
- Verkeer vanuit 192.168.2.0/24 naar 192.168.1.0/24 gewoon routeren zoals nu het geval is.
- Verkeer naar internet NAT'en op het interface adres van de vrouter. De B-box zal dan nog eens NAT toepassen om het internet te kunnen bereiken.

[serialchiller]

Je kan misschien ook je virtuele router een PPPoE-sessie laten opzetten? Ik weet niet of jouw provider meerdere PPPoE-sessies toestaat in het geval de BBox ook nog met andere toestellen (decoders, thuisnetwerk) ipv je ESXi-omgeving is verbonden. Dan krijgt de wan-kant van je virtuele router een publieke wan en zou deze de routetabel perfect moeten populaten.

[ITnetadmin]

As je in de bbox geen routes kan aanpassen, zal dit nooit werken.
Dan zal je of je opstelling moeten aanpassen (bv nat gebruiken), of je bbox vervangen door een router waar je de routes wel kan aanpassen.

[Trojan]

Je 2 netwerk achter je router heeft genoeg aan een default gateway, de virtuele router is nl exit voor alles.

Je 1 netwerk krijgt echter als (default) gateway een externe router mee, en weet dus van geen kanten hoe netwerk 2 te bereiken. Je zal die toestellen dus een extra static route moeten pushen, die definieert dat je 2 netwerk achter je virtuele router zit.

Niet echt. Momenteel is voor beide subnets de vyos router gedefinieerd als gateway, maar telkens wel het ip van de desbetrefende interface.
Nl: 192.168.1.0/24 heeft als gateway 192.168.1.254 (eth0 op vyos)
192.168.2.0/24 heeft als gateway 192.168.2.1 (eth1 op vyos)

En vanuit die vyos gaat alles naar zijn default gateway, nl de bbox3 op 192.168.1.1

Je kan misschien ook je virtuele router een PPPoE-sessie laten opzetten? Ik weet niet of jouw provider meerdere PPPoE-sessies toestaat in het geval de BBox ook nog met andere toestellen (decoders, thuisnetwerk) ipv je ESXi-omgeving is verbonden. Dan krijgt de wan-kant van je virtuele router een publieke wan en zou deze de routetabel perfect moeten populaten.

Dat zou een mogelijkheid kunnen zijn, en misschien wel het overwegen waard. Maar ik wil niet gans zonder internet zitten als mijn esxi plat gaat. En dat is nu spijtig genoeg al wel het geval door die vyos als gateway en pppoe te laten dienen.

Ik heb namelijk ook nog fysieke toestellen (laptop, ps3, ...) die ik graag zou willen laten werken ook als mijn server plat gaat.

In het slechtste geval moet ik op een raspberry pi een script draaien dat de esxi gaat monitoren, en van zodra er een probleem is gaat die dan een dhcp server activeren en de gateway van de bbox3 pushen. Maar dat is een beetje te overdreven.

Dan kan ik beter €50 steken in een ubnt edgerouter X ofzo.

Ik ga het nog eens een paar dagen laten bezinken en tegen het einde van de week eens wat experimenteren en zien wat de beste oplossing lijkt.

Dit is de setup zoals ze nu is. Beide uplinks van de esxi server zitten op een domme switch die achter de bbox3 hangt.


Dit is de setup zoals ik denk dat ik ze zou willen hebben. Evt nog een apart subnet voor de fysieke devices aanmaken.

[ITnetadmin]

Je 2 netwerk achter je router heeft genoeg aan een default gateway, de virtuele router is nl exit voor alles.

Je 1 netwerk krijgt echter als (default) gateway een externe router mee, en weet dus van geen kanten hoe netwerk 2 te bereiken. Je zal die toestellen dus een extra static route moeten pushen, die definieert dat je 2 netwerk achter je virtuele router zit.

Niet echt. Momenteel is voor beide subnets de vyos router gedefinieerd als gateway, maar telkens wel het ip van de desbetrefende interface.
Nl: 192.168.1.0/24 heeft als gateway 192.168.1.254 (eth0 op vyos)
192.168.2.0/24 heeft als gateway 192.168.2.1 (eth1 op vyos)

En vanuit die vyos gaat alles naar zijn default gateway, nl de bbox3 op 192.168.1.1

Ja, dat is een truc die werkt voor netwerk 1, hoewel het niet de meest elegante methode is
Maar de bbox3 *zelf* weet niet waar hij netwerk 2 kan vinden, want zijn default gateway is naar buiten toe, en hij heeft geen route naar netwerk 2.
Vandaar > geen internet op netwerk 2; de pakketjes geraken wel buiten, maar niet terug naar binnen, want de bbox krijgt pakketjes binnen voor een netwerk dat hij niet kent.

[tijs.vandenvester]

Dit is de setup zoals ik denk dat ik ze zou willen hebben. Evt nog een apart subnet voor de fysieke devices aanmaken.

Dan zou ik zeker de Edgerouter de PPPoE laten opzetten op eth0. Van eth1, eth2 en eth3 maak je dan een switch van waar je naar je Esxi, access point en andere devices gaat en eventueel naar je b-box voor management. Eth4 kan je dan gebruiken voor het tweede subnet.