Specificaties
https://www.supermicro.nl/products/system/1U/5018/SYS-5018D-FN8T.cfm
Doel
Oorspronkelijk had ik op mijn HTPC (Intel NUC D34010WYKH) met Windows 10 Pro een Hyper-V draaien met 3 VMs in. De recentste daarvan (test pfSense met Snort) heeft wat meer resources nodig en ik heb hem ook liever niet op mijn HTPC draaien. De andere VMs zijn linux machines die niet zoveel resources vragen.
Ik ben dus op zoek gegaan naar een nieuwe 'server' en wil daar mijn homelab basis van maken om wat op te kunnen 'prullen'
De locatie is een kleine ondiepe 19” rack (patch-kast) waar mijn huidige router (Routerboard RB951G-2HnD) staat die vervangen zal worden door de pfSense VM.
Ik had goedkoop een tweedehands server op de kop kunnen tikken, maar deze zijn voor mij meestal te groot, luidruchtig en energiehongerig.
Kandidaten
Heel wat kleine barebones zijn geschikt voor dit soort taken, het idee was dan ook om een NUC of gelijkaardige PC in het rack te zetten met daarop een type-1 hypervisor. Het nadeel van NUCs is de enkele ethernet-poort. Op zich perfect werkbaar (met VLANs), maar ik wou toch liefst wat meer poorten. De CPU is ook belangrijk, al had ik hier iets minder aandacht voor (had ik bij nader inzien misschien iets meer aandacht aan moeten besteden, meer later). De ethernet-chips zijn bij voorkeur van Intel (vanwege de performance en compatibiliteit).
Na wat zoekwerk kwamen deze kandidaten boven (met mijn initiële opmerkingen erbij):
- APU2C4 - dedicated pfSense box, maar mogelijk underpowered voor Snort en geen mogelijkheid (of beter plaats/recources) om type-1 hypervisor te installeren. Zo’n 180€ met 16GB mSATA en enclosure + power adapter
- GIGABYTE BRIX GB-BSi3HAL-6100 of GIGABYTE BRIX GB-BSi5HAL-6200 – twee ethernet-poorten en normaal voldoende krachtig en zuinig, prijs uitgebouwd varieert van 475€-675€ afhankelijk van het model, 8 of 16GB-ram en 128-250GB SSD. Deze Gigabyte Brix stond lang vanboven op mijn lijst.
- SuperServer E200-9B - mooi geheel, redelijke power, met 4 ethernet poorten en IPMI met KVM, eerder een kleine server dus. Maar, max 8GB-ram, net wat te weinig om een groeiend homelabje te dienen. 370€ zonder Ram en SSD
- SuperServer 5018A-FTN4 - duur, maar zuinige Atom, relatief krachtig, minimaal uitbreidbaar, 4 ethernet poorten, IPMI met KVM en 19” rack mountable. Wel (maar) max 32GB ram en geen mSATA of M.2 PCIe slot. Prijs 1100€ met 16GB ECC RDIMM ram en SSD.
- SuperServer 5018D-FN8T – duur (maar wel maar 50€ duurder dan de 5018A-FTN4), maar krachtig, 6 ethernet poorten en 2 10GBASE SFP+, IPMI met KVM, mSATA en M.2 PCIe slot, minimaal uitbreidbaar en 19” rack mountable. Prijs 1150€ met 16GB ECC RDIMM ram en SSD.
- SuperServer 5028D-TN4T - summum, massa’s CPU-power, IPMI met KVM, mSATA en M.2 PCIe slot, zeer uitbreidbaar, twee ethernet poorten en twee 10GBase-T poorten, HDD-bays, ... maar in dit kader ook zeer duur, ongeveer 1600€ met 16GB ECC RDIMM ram en SSD. Voordeel dat ik bij het maken van mijn keuze wat genegeerd heb is dat hier grotere en dus stillere fans in zitten…
Feit is wel dat je voor de prijs van één 5018D-FN8T twee Gigabyte Brix systemen kan uitrusten… moeilijke keuze dus. Uiteindelijk heb ik toch maar door de zure appel heen gebeten en ben ik mij gaan oriënteren naar de Supermicro systemen. Deze zijn ‘build for the purpose’ en bieden leuke extra’s (10GB-ethernet, KVM, etc.).
De SuperServer 5028D-TN4T (de duurste en krachtigste) kon ik niet over mijn hart (lees: portefeuille) krijgen aangezien ik al een toegeving gedaan had t.o.v. de Brix. De HDD-bays zijn leuk, maar ik was niet meteen van plan er een FreeNAS systeem van te maken (ik ben tevreden van mijn Synology). Verder ging ik ervan uit dat de D-1518 genoeg CPU power had voor mijn doel.
De artikels en YouTube video’s van TinkerTry haalden mij over de streep. De video m.b.t. het geluidslawaai gaf mij de indruk dat het wel mee zou vallen.
De aankoop
De kogel was door de kerk. Voor het ramgeheugen heb ik gekozen voor een Crucial kit met 2 x 8GB DDR4 ECC RDIMMs (CT2K8G4RFS4213).
Storage was nog een probleem. Een snelle NVMe drive voor het M.2 PCIe slot leek een no-brainer, maar er waren berichten dat dit alles nog niet zou werken zoals het hoort.
Dan maar een mSATA SSD gekocht die in mijn main PC kon waardoor de oudere mSATA die erin zat (een Plextor PX-256M5M) in de Supermicro kon.
What’s in the box?
Standaard: Beugel voor twee 2.5" schijven, extra aangekocht (<5€): Samenstelling en installatie
Het enige obstakel dat ik tegenkwam was de installatie van de mSATA SSD. De (bij gebrek aan een beter woord) bevestings-schoefhouder staat op het moederbord standaard op een kleiner formaat Mini-PCIe module (genre Wifi modules). De schroefhouder kan losgemaakt en verplaatst worden naar het grotere formaat (nodig voor mijn mSATA SSD), maar daarvoor moeten eigenlijk het moederbord helemaal gedemonteerd worden. Ik heb het kunnen klaren door het moederbord los te zetten (incl. CPU-heat sink screws) en voorzichtig het schroefje er onderuit te halen met een pincet en te plaatsen onder het verdere gaatje. Een klein (onaangenaam) klusje.
Een kleine handigheid bleek de USB 2.0-poort te zijn op het moederbord (intern). Hier heb ik een kleine USB-stick in gestoken waarop later ESXi geïnstalleerd werd.
Een kleinigheid, maar er waren geen kooimoeren voor installatie in rack bijgesloten. Geen ramp, wel jammer.
Eerste ervaringen
De eerste ervaring is de installatie van ESXi. Dankzij de KVM is dit een eitje. Je moet nooit in de buurt van je server zijn, alles kan remote, incl. iso’s mounten etc. Een verademing!
Enige punt van kritiek op het KVM-systeem is de gebrekkige ondersteuning voor azerty-toetsenborden. Hierdoor is het soms klooien als er paswoorden aan de pas komen. Gelukkig is de KVM (in mijn geval) enkel nodig in uitzonderlijke gevallen.
Voor meer details m.b.t. de server en de IPMI met KVM moet ik geen dubbel werk leveren aangezien de mensen op TinkerTry dit al uitvoerig hebben behandeld.
Wat mij minder positief opviel is het lawaai dat de server-fans maken. De server hangt in een rack waar het momenteel 28 à 29°C is. Het zijn drie kleine (ergo lawaaierige) fans die in fan mode ‘Optimal Speed’ (zou de laagste snelheid moeten houden, namelijk een base fan speed op 30% PWM duty cycle) tussen de 5000-6000 RPM draaien en dat hoor je. Dat hoor je zeer goed. Het zijn geen jets (zoals bij het opstarten of grotere servers), maar ze zijn in het hele huis hoorbaar als de deuren open zijn tussen de afgesloten rack en de luisterlocatie. Andere fans kunnen misschien stiller zijn, maar dat is een pad dat ik momenteel nog niet ga inslaan. Afwachten wat dit in de zomer gaat geven.
Na installatie en converteren van bestaande VMs heb ik gemerkt dat pfSense onder load (100Mbps download met Snort erop) behoorlijk wat resources trekt (+5GHz van de 8.8GHz beschikbaar). Een test installatie van Windows 10 Pro in combinatie met een downloadende pfSense komt al dicht bij het maximum van deze server.
Natuurlijk is dit onder belasting, wat niet altijd het geval is. Bovendien kan je met wat handige instellingen op ESXi pfSense wel een ‘reservation’ geven zodat die nooit met te weinig CPU-power valt terwijl andere VMs zich daar maar naar moeten schikken.
Om bovenstaande de staven en een idee te geven van het verbruik enkele afbeeldingen: Conclusie
De fans en het feit dat er eigenlijk niet zoveel CPU-reserve is, doen mij soms denken dat de 5028D-TN4T mogelijk de betere keuze was geweest, maar ja, het prijskaartje zou er dan ook naar zijn. Fijn is ook te weten dat Supermicro dit systeem een '7 year life cycle' geeft, het zal dus nog even in de rekken liggen en ondersteund worden.
Al bij al ben ik dus behoorlijk tevreden. Enkel afwachten wat de fans gaan geven tijdens de warme zomernachten…
