Opnsense / pfsense vraagjes

[devilkin]

Hoi,

Ik ben bezig m'n usg om te zetten naar een opnsense install.

Nog een paar vragen waar ik nog niet direct een antwoord op heb gevonden:

* als je static hosts definieerd in dhcp, komen die dan altijd door naar de dns , of enkel als die lease actief is?

*pfsense heeft een adguard achtig iets, heeft opnsense ook zoiets?

* suratica oogt interessant, maar is er een manier om hier ssl content inspection mee te doen?

[jphermans]

Even offtopic: mag ik vragen wat je hebt als hardware om je usg te vervangen? Denk er ook aan om mijn usg te vervangen door iets anders.
Heb wel 2 internet providers zowel Telenet als PXm dus moet ik zeker meerdere netwerkpoorten hebben die dan als wan kunnen gebruikt worden.
Alvast bedankt.

[Sasuke]

Static hosts komen altijd door, maar ik gebruik wel de dnsmasq service, want met de andere had ik ook wat issues.

Ik draai mijn OpnSense als VM. Mijn ESX host heeft 3 nics. 1 onboard RTL, 2x Intel.

[devilkin]

Ondertussen mijn issue met static hosts opgelost: ik had de DHCP server op die interface nog niet geactiveerd

[devilkin]

Nog een paar bijkomende vragen:

• In welke volgorde worden firewall rules afgehandeld? Gaat NAT voor de rest? Ik vind er nergens direct uitsluitsel over
• Het is me niet 100% duidelijk waar ik nu rules moet definieren: is dit nu op de interface waar het pakket binnenkomt origineel, of op de target interface? Practisch voorbeeld: LAN to IoT traffic -> dus ik vermoed definieren op LAN dat die traffic doormag met target IoT.
• Je kan bovenstaande rule definieren met of zonder source address. Ik veronderstel dat als je daar nog het source subnet bijzet (dus IoT net) dat traffic die dan via LAN binnenkomt evenzeer gedropped zal worden

[Sasuke]

NAT rules worden eerst afgehandeld en zijn van toepassing op je WAN (je zet dus ook de poort op je WAN open), daarna gebruik je een firewall rule op de destination interface/host. Indien je geen NAT gebruikt is het gewoon source ==> destination en gebruik je de betreffende interfaces. Je source interface heeft een regel nodig om naar de destination te gaan en je destination interface heeft een regel nodig om de traffiek te accepteren. Als je in dit geval (LAN -> IOT) ook nog NAT toepast, dan heeft je source die expliciete regel niet nodig, enkel je destination dan.

Voorbeeld - NAT:

NAT _ Rules _ Firewall .png

Voorbeeld - Firewall (floating):

Floating _ Rules _ Firewall .png

[devilkin]

Even offtopic: mag ik vragen wat je hebt als hardware om je usg te vervangen? Denk er ook aan om mijn usg te vervangen door iets anders.
Heb wel 2 internet providers zowel Telenet als PXm dus moet ik zeker meerdere netwerkpoorten hebben die dan als wan kunnen gebruikt worden.
Alvast bedankt.

Origineel dacht ik deze op m'n Proxmox server bij te draaien, maar gezien dat ik die toch met enige frequentie reboot voor bvb kernel updates, toch maar geopteerd voor aparte hw. Uitendelijk een PC Engines APU2e4 besteld + case. Normaal komt dat morgen toe.

[Sasuke]

Ideaal bordje die APU2E4 !!

[jphermans]

Zie ook dat deze meerdere netwerk poorten heeft. Zal dit eens nader bekijken. Alvast bedankt.


Verzonden vanaf mijn iPhone met Tapatalk Pro

[Splitter]

Ideaal bordje die APU2E4 !!

wat is daar tegenwoordig de performance van?
(als in welke throughput haalt het als je er wat dingetjes op draait zoals IDS?)

[Sasuke]

Dat bordje zou de Gigabit moeten halen. Met IDS toch nog 600+, VPN is hardware accelerated, dus wirespeed.

[jphermans]

Origineel dacht ik deze op m'n Proxmox server bij te draaien, maar gezien dat ik die toch met enige frequentie reboot voor bvb kernel updates, toch maar geopteerd voor aparte hw. Uitendelijk een PC Engines APU2e4 besteld + case. Normaal komt dat morgen toe.

Ik zie dat deze vanuit Zwitserland verstuurt worden. Enig idee wat de extra kosten zijn voor inklaring en douane?

[CCatalyst]

Ik zie dat deze vanuit Zwitserland verstuurt worden. Enig idee wat de extra kosten zijn voor inklaring en douane?

0% invoerrechten, 97.41 EUR * 0 = 0 EUR
+ 21% BTW over de waarde, 97.41 EUR * 0.21 = 20.46 EUR
+ 21% BTW over de verzendkosten = TBD
+ de kost voor de inklaring
===> je doet zelf de inklaring op het douanekantoor = 0 EUR
===> je verzoekt de vervoerder om de inklaring voor jou te doen (variabele prijs, zie prijslijst) = TBD

Varia Store is een reseller binnen de EU.

[Sasuke]

Of teklager.se, die versturen ook vanuit de EU

[devilkin]

Ik heb de mijne besteld bij https://www.varia-store.com - daar kwam het uiteindelijk het goedkoopste uit. PC Engines nog net iets goedkoper, maar daar staat op hun site dat ze niet verzenden naar eindgebruikers - je hebt een btw nummer nodig.

[jphermans]

Ik heb de mijne besteld bij https://www.varia-store.com - daar kwam het uiteindelijk het goedkoopste uit. PC Engines nog net iets goedkoper, maar daar staat op hun site dat ze niet verzenden naar eindgebruikers - je hebt een btw nummer nodig.

Ben net aan het kijken hier, 16gb voor msata voldoet zeker voor pfsense of opnsense?

[devilkin]

Ik heb nu een VM geinstalleerd met die specificaties - gebruik zit nu op +- 1gb.

[Splitter]

Ben net aan het kijken hier, 16gb voor msata voldoet zeker voor pfsense of opnsense?

ligt aan je plannen.
als je wat plugins (en surtout sensei) zou installeren, is een iets grotere drive niet onhandig.

mijn opnsense install thuis (met een aantal plugins + wat zelf gemaakte troep + momenteel ook sensei) zit op 11gb.
mijn opnsense install in het datacenter zit op 3...

[devilkin]

Wat is je ervaring met Sensei? Ik zat daarnaar (en Suricata) te kijken.

[Splitter]

suricata doet zijn job wel redelijk, maar je hebt natuurlijk geen mooie grafiekjes.
sensei geeft je mooie grafiekjes en een aantal handige en eenvoudige 'click to block' mogelijkheden, maar ik heb toch het idee dat performance moet ingeleverd worden voor weinig meerwaarde in de meeste installs.

als je de app en web controls niet nodig hebt, en grafiekjes niet vereist zijn kan je imho beter met gewoon suricata werken.
enige handige aan sensei, dat ik echt wel zou willen zien in een base opnsense install, is de live throughput (per interface/vlan).
let op: je krijgt in sensei wel een overvloed aan informatie, daar niet van... maar voor de meeste zaken is het gewoon iets dat je amper zal bekijken of gebruiken.

[tien]

Hier ook pcengine maar weet niet meer waar ik ze precies vandaan gehaald heb.
(mogelijk varia store, dacht reichelt maar daar vind ik ze direct niet)

[silencer]

Deze is nog goedkoper en snelle levering:

https://www.ip-sa.com.pl/advanced_searc ... es&x=0&y=0

[Splitter]

Deze is nog goedkoper en snelle levering:

https://www.ip-sa.com.pl/advanced_searc ... es&x=0&y=0

iinterprojekt heeft de 2e4 wel niet in hun aanbod.

[devilkin]

En vergeet niet dat je daar nog VAT moet bijtekenen.

[devilkin]

Maakt dat eigenlijk uit dat ik bvb lan hergebruikt heb voor iets anders?
Ik zag in de config.xml dat dat nog steeds onder <lan></lan> staat.

[jphermans]

Deze is nog goedkoper en snelle levering:

Varia store heeft ook een snelle levering. Maandag besteld en wordt vandaag woensdag geleverd. Dan toch voor deze gekozen want voor die Zwitserse leverancier was een btw nummer nodig.

[devilkin]

Idem hier: donderdag laat besteld, gisteren in huis.

[Splitter]

Maakt dat eigenlijk uit dat ik bvb lan hergebruikt heb voor iets anders?
Ik zag in de config.xml dat dat nog steeds onder <lan></lan> staat.

hoe bedoel je "hergebruikt"? of het is LAN of het is WAN?

maar nee, veel maakt dat niet uit.
afaik is het gewoon LAN omdat het de eerste (fysieke) aansluiting is.
bijkomende interfaces worden dan OPT1 tot OPTx

[devilkin]

Vind de naamgeving ergens nogal brak - had liever daar gewoon per direct een naam zoals opt* gezien zoals voor de volgende interfaces.

Om de boel proper te houden heb ik het dan maar omgegooid.

Lan = vlan in mijn geval [emoji846]

[Splitter]

Vind de naamgeving ergens nogal brak

ik vind het eigenlijk nog gewoon heel cava?
LAN is bij mij default vlan1, al mijn vlans zijn dan OPTx interfaces.

maargoed, dat de benaming in de xml niet naar ieders wens is...
WAN is ook gewoon je WAN, of dat nu pppoe of dhcp is, mij stoort het weinig.
ik denk dat ik op al die jaren mss 3x in de xml ben bezig geweest, verder is het gui en api.

[devilkin]

'k had wat moeten knoeien om m'n VM install accessible te houden zonder dat ik impact veroorzaakte in m'n bestaande config, dus 't was wat spielerei om het nu goed te zetten op de APU2. Ondertussen wel gebeurd, dus we zijn op weg

[devilkin]

Ondertussen wat zitten testen met vanalles en nog wat, maar ik blijf tegen issues botsen met de shaper rules. Ik had wat regels toegevoegd om tcp ack/dns traffic prio te geven, alsook VOIP traffic, maar als ik ze activeer verlies ik 50Mbps aan download speed (300/20 Telenet)

Enig idee wat ik mis doe?

Pipes:
Download pipe
- Bandwidth 290Mbit/s
- Scheduler:FQ-Codel
- FQ-Codel ECN on

Upload pipe
- Bandwidth 19Mbit/s
- Scheduler:FQ-Codel
- FQ-Codel ECN on

Queues:
Download Queue
- Weight 1
- Pipe: Download Pipe

Voip Download Queue
- Weight: 50
- Pipe: Download Pipe

Voip Upload Queue
- Weight: 50
- Pipe: Upload Pipe

Upload Queue
- Weight: 1
- Pipe: Upload Pipe

High Prio Upload Queue
- Weight: 100
- Pipe: Upload Pipe

Rules:
Prioritize ACK
- #: 1
- Int: WAN
- Proto: tcp (ack)
- Src: 192.168.0.0/16 (lan supernet)
- Dest: any
- Target: high prio queue

Prioritize DNS
- #: 2
- Int: WAN
- Proto: ip
- Src: 192.168.34.2, 192.168.34.3
- Dest: any / port 53
- Target: high prio queue


Prioritize Voip Up
- #: 3
- Int: WAN
- Proto: ip
- Src: 192.168.40.0/24 (voip subnet)
- Dest: any
- Target: Voip upstream queue

Prioritize Voip Down
- #: 4
- Int: WAN
- Proto: ip
- Src: <any>
- Dest: 192.168.40.0/24 (voip subnet)
- Target: Voip downstream queue

Normal Upload
- #: 5
- Int: WAN
- Proto: ip
- Src: 192.168.0.0/16 (lan supernet)
- Dest: any
- Target: upload queue

Normal Download
- #: 6
- Int: WAN
- Proto: ip
- Src: <any>
- Dest: 192.168.0.0/16 (lan supernet)
- Target: Download Queue

[Splitter]

eerste vraag is: "verlies je ze", of is het reserved zodat je de lijn niet dichtttrekt. (iirc doet fq-codel altijd een bepaalde x reservatie?)

vergeet ook niet: je weight is het aantal x voorrang: dus als je weight 1 = 1mbps doet, dan is weight 1 vs weight 10 1mbps vs 10mbps (weight 10 is 10x zoveel bandbreedte als weight 1)

belangrijk is ook je rule volgorde, check altijd even af of je rules gehit worden zoals je zou verwachten (onder shaper/status)

-> zet je pipes op de effectieve lijnsnelheden die je haalt (dus zet 300/20, of je gaat zo al 10/1 verliezen... lager is enkel nuttig als je aparte pipes gaat gebruiken of op een lijn zit waar de snelheid nog weleens durft schommelen, wat ik op mijn vdsl lijntje doe bijvoorbeeld)

-> zet je weight anders, je hoeft zeker niet 1/50/100 te doen, neem eerder 1 (normale traffic), 2 (prio) en 3 (high prio), of een andere variant.
maar onthou iig dat weight 100 wil zeggen 100x meer bandbreedte behouden voor dit tegenover de weight 1 zaken (en voip, bijvoorbeeld, ook al is het high prio, heeft zeker niet 100x meer bandbreedte nodig als je gewone verkeer)
-> specifieke reden dat je voip en high prio zou scheiden? voip is realtime, dus zou ik als high prio beschouwen

zelf heb ik:

• downstream pipe (80mbps op een lijn die 85 tot 90 haalt)
  • -> downstream Q (weight 1)
    • -> normal-download rule
  • -> downstream high prio Q (weight 10)
    • -> voip-download rule
  
  upstream pipe (30mbps op een lijn die 32 tot 35 haalt)
  • -> upstream Q (weight 1)
    • -> normal-upload rule
  • -> upstream high prio Q (weight 10)
    • -> voip-upload rule

het prioriteit geven aan ack/dns doe ik (momenteel) niet aan mee gezien mijn lijn toch geen issues heeft, en meer strikte regels heb ik op dit moment op mijn netwerk ook niet echt nodig.
je kan bv ook clients limiteren, of een bepaald vlan gaan instellen met x mbps max / client enzo.

[devilkin]

Ik heb de boel even afgebroken en terug vanaf nul heropgebouwd, en nu werkt alles wel ten gronde. Curieus, moet ik toch ergens een stevige SNAFU gemaakt hebben

[Splitter]

Curieus, moet ik toch ergens een stevige SNAFU gemaakt hebben

troost je... toen ik pas begon met opnsense had ik alles, inclusief de firewall, nog virtualized.
met management van (destijds) esxi achter de firewall interface...
ik heb wel een keer of 2 aan de esxi terminal mogen hangen tijdens mijn leercurve

ondertussen heb ik thuis een fysieke opnsense hangen en in het datacenter virtualized op proxmox.

[devilkin]

Next up in de 'rare dingen' vragenlijst... deze is wat lastiger.

Ik merk dat "soms" (heb er nog geen lijn in kunnen trekken) de laptops op wifi geen connectivity meer hebben - voor alles wat over de OPNsense box moet gaan. Binnen het subnet werkt alles wel nog (which makes sense), als ik dan connecteer van de laptop naar een VM die bekabeld zit, geraak ik langs daar wel buiten op hetzelfde moment. De outage duurt soms een halve minuut, soms meerdere minuten.

Als ik dit probleem ervaar, blijft echter de internetradio (mp3 stream via chromecast op ander VLAN) gewoon vrolijk verderspelen.

Schema van het netwerk:

network.png

Smokeping naar AP-AC-Pro (ander vlan)

traffic-to-apacpro.png

Smokeping naar server op zelfde vlan:

traffic-to-server.png

Dus:

• Geen wifi probleem (connectivity werkt, echter niet naar/over de opnsense box)
• Geen switch probleem (zowel bekabled als wifi volgt grotendeels zelfde pad)
• Geen endpoint (laptop) probleem - connectivity werkt, echter niet over opnsense box
• Blijkbaar geen probleem op opnsense box - wired traffic werkt wel, op zelfde VLAN als mijn laptops zich bevinden)

Ik zit wat in m'n haar te krabben wat dit bizarre fenomeen kan veroorzaken? Iemand nog een idee?

[ITnetadmin]

Wat zegt een tracert?

[devilkin]

Ik heb een mtr lopen vanop m'n server naar de infrastructuurcomponenten:

• switch
• AP
• router (opnsense)
• 1.1.1.1

Niks speciaals

Een traceroute vanop m'n laptop is ook niet veel speciaals:

Code: Selecteer alles

$ traceroute 1.1.1.1
traceroute to 1.1.1.1 (1.1.1.1), 30 hops max, 60 byte packets
 1  OPNsense.home.lan (192.168.xx.1)  1.861 ms  1.929 ms  1.113 ms
 2  * * *
 3  * * *
 4  dD5xxxxxx.access.telenet.be (213.xx.xx.xx)  26.202 ms  25.231 ms  25.298 ms
 5  dD5yyyyyy.access.telenet.be (213.yy.yy.yy)  26.219 ms  30.145 ms  29.849 ms
 6  ae3.3.bar1.Brussels1.level3.net (4.69.136.42)  23.209 ms  29.310 ms  22.494 ms
 7  unknown.Level3.net (212.3.237.170)  22.365 ms  19.189 ms  26.075 ms
 8  one.one.one.one (1.1.1.1)  22.903 ms  27.712 ms  23.728 ms

Moet nu even wachten op het volgende uitvalmoment.

[ITnetadmin]

Die onhebbelijke gewoonte van sommige isps om tracert packets op hun routers te blokkeren breekt gewoon het internet
Waar is de tijd dat je nog de volledige star wars scroll op internet kon tracerten?

Nu idd afwachten.
Zou het kunnen dat er een toestel intern overbelast is en packets begint te droppen of reset?

[devilkin]

Moest ik dat weten 't ware al een pak simpeler.

Ondertussen mijn smokeping step wat korter gezet en via m'n server een live view geopend op de firewall log van de router, misschien zie ik daar iets verschijnen.