Userbase

Ik sta op het punt hardware voor een homelab/NAS machine te kopen. Na behoorlijk wat onderzoek en afwegingen kwam ik op basis van mijn requirements:

MUST HAVE

• NAS (FreeNas?) + mediaserver (plex?) + nog wat ruimte om met een VM of docker te knoeien.
• NAS gevirtualiseerd (passthrough van SATA of SAS poorten)
• mediaserver gevirtualiseerd (geen 4K TV of zware eisen / transcoding)
• extra (kleine) VMs of dockers
• low power / low noise

NICE TO HAVE

• remote management

BUDGET
- +/- 1.000 EURO

Op volgende uit:
mobo: A2SDi-8C-HLN4F7 https://www.supermicro.com/products/mot ... -HLN4F.cfm
cpu fan: Noctua NF-A6x25 PWM
ram: Kingston valueram 16GB Non ECC KVR24N17D8/16
psu: Seasonic P-400 Fanless, 400 Watt voeding
NAS HD: 2 * WD RED 4 TB

Ik heb nog een lian-li kast staan waar ik alles ga inbouwen en een SATA SSD om als boot disk te gebruiken voor de virtualization host.

Waarom dit mobo?

• low power
• 12 SATA waarvan 8 met passthrough voor storage VM (mogelijks FreeNas)
• 4 gigabit ethernet poorten
• aparte management ethernet poort

Alternatief waren:

• Xeon-D X10SDV borden, maar meer verbruik en om passthrough te kunnen doen heb je al een duurder exemplaar nodig met ingebouwe SAS controller (vb X10SDV-4C-7TP4F)
• A2SDi-H-TF https://www.supermicro.com/products/mot ... i-H-TF.cfm , met 2 10GBaseT
• A2SDi-H-TP4F https://www.supermicro.com/products/mot ... H-TP4F.cfm , met 16 cores, 2 10GBaseT and 2 10Gb SFP+ , maar wel een pak duurder, moeilijker te koelen
• Er is van dit bord nog een versie met fan, maar deze lijkt nogal wat lawaai te maken en is moeilijk zelf te vervangen, daarom een apart Noctua fan.

Waarom non ECC ram?
Ik vind de prijs van (ECC) ram momenteel te hoog en wacht liever een jaar tot gezakt is en ik 16 of 32 GB ECC kan kopen. Dit geheugen is dan bruikbaar in een ander systeem.

Lijkt dit een degelijke setup?

Wat software betreft moet ik nog wat keuzes maken:

• Qua virtualizatie heb ik een voorkeur voor proxmox.
• NAS wordt mogelijks FreeNas met ZFS, maar eigenlijk zou ik liever BTRFS gebruiken met raid1 (wegens eenvoudiger uit te breiden); iemand ervaring met rockstor?
• mediaserver wordt waarschijnlijk PLEX.
• waarschijnlijk nog wat zaken (git, jenkins, vpn?, ...)

Feedback over software is altijd welkom, zeker over virtualizatie en/of NAS.

mvg,

Wim

wim.pi schreef:

• NAS (FreeNas?) + mediaserver (plex?) + nog wat ruimte om met een VM of docker te knoeien.

mobo: A2SDi-8C-HLN4F7 https://www.supermicro.com/products/mot ... -HLN4F.cfm

bekijk eerst je vereisten/noden PER onderdeel, zoek daar de minimums van op, en bereken alles daarop.

stel dat je enkel plex zou draaien, met 1 stream, ZONDER transcoding, dan vallen cpu eisen heel goed mee.
ga je beginnen met 1080p dat je moet transcoden raden ze al minimaal een cpu aan met minstens 2000 punten op passmark (per stream en zonder dus andere zaken te moeten doen).

freenas op zich gaat niet echt veel cpu nodig hebben, maar gezien je het gaat virtualiseren en er vast ook nog andere zaken opzet die WEL cpu gebruiken (denk aan backups, allerhande plugins, ...)
gezien je ook niet weet wat je misschien nog bijkomend van VM erop gaat gooien, lijkt het me best om misschien toch een krachtig genoege cpu te nemen?

Zelf heb ik twee servers draaien op Xeon-D X10SDV bordjes (1518 CPU). Dat werkt zeer goed (één ESXi andere FreeNAS met eigen SAS controller). Ik zou persoonlijk niet voor een Mini-ITX uitvoering gaan, maar voor Flex-ATX. Dat geeft meestal iets meer mogelijkheden (soms wel minder build-in sata poorten). De modellen met build-in SAS controller zou ik links laten liggen. Blijkbaar moet je Supermicro mailen om de laatste firmware te verkrijgen die aanbevolen wordt door FreeNAS, of je moet gaan 'prutsen'.

Let op de koelers, ik heb hier nog een Mini-ITX 1508 bordje liggen dat ik vermoord heb door de heatsink eraf te nemen (bij uitschuiver wat cruciale componenten geraakt/afgebroken). Dat omdat ik de passieve koeler wou vervangen door een officiële supermicro heatsink met actieve koeling (die ligt hier ook nog).

Misschien ook eens kijken naar hun mini Tower NAS modellen, of gewoon zo'n towertje kopen, dat kan schelen in de prijs
https://www.supermicro.com/products/cha ... 721TQ-250B

M.b.t. het geheugen (ECC/non-ECC) lees je veel op het internet. Ik ben voor de zekerheid voor ECC geheugen gegaan. Zoveel meer kost dat niet en dan zit je (op je NAS op zijn minst) toch al goed beschermd tegen geheugenfouten.
Zeer belangrijk bij supermicro is geheugen te nemen uit hun supported memory list ... en dan nog (zoals ikzelf heb ondervonden) is het nog geen zekerheid.

Tip: kijk eens op de tweedehands markt, zo heb ik ook enkele koopjes kunnen doen (geheugen, SAS controller,..)

Ik weet dat de deze setup het niet zal halen met plex als er transcoding moet gebeuren. Ik heb echter nauwelijks 1080 films en mijn huidige android box is aangesloten met 720p op de televisie... Voorlopig heb ik het niet nodig en als het in de toekomst wel het geval zou zijn, kan ik eventueel een grafische kaart gebruiken voor transcoding (met passthrough naar de plex vm).
Eigenlijk wil ik in de toekomst nog een 2e machine die krachtiger is (misschien X11SDV?) en vooral voor zwaardere virtualisatie/encoding/... kan worden gebruikt, eventueel niet 24/7 op. De machine die ik nu wil bouwen zal dan vooral NAS spelen en lichte virtualizatie en 24/7 draaien. Dan zal ik waarschijnlijk ook een rackje moeten bouwen in de kelder :-p.

Eerst zat ik ook te kijken naar die X10SDV bordjes, had een 4 core flex atx op het oog, maar ofwel moest ik daar de versie met ingebouwde SAS van nemen, ofwel een aparte SAS HBA bijkopen (ik weet niet juist het model meer, maar er is er een die is aangeraden voor FreeNas waar je een IBM model 2e hands zou kunnen kopen en dan reflashen). In beide gevallen heb je volgens mij voldoende koeling nodig; deze bordjes zijn gemaakt voor 1U chassis zonder fan op CPU of ingebouwde SAS of SAS HBA.

Qua performantie is de 8C Denverton (A2SDi) die ik op het oog heb ongeveer gelijk aan de 4C Xeon D (X10SDV-TP8F ofzo). Single core zal die Xeon wel beter zijn. TDP van Denverton is 25W vs Xeon 35W, dus lijkt me iets eenvoudiger te koelen. Ook liggen kijken om de heatsink te vervangen, maar dat is niet eenvoudig en wil ik mij voorlopig niet aan wagen. Voorbeeld van CoolJag heatsink https://mtekk.us/archives/guides/superm ... sink-swap/. (de X10SDV en A2SDi hebben volgens mij dezelfde heatsink/mounting holes)

Ik heb ook die mini tower bekeken, en die lijkt me zeer ok als je 4 schijven wilt en niet veel anders. Lijkt me ideaal voor familieleden die een deftige NAS wil, maar ik zou graag wat meer schijven er aan kunnen hangen in de toekomst, evenals een gewone BluRay writer (geen slimline).

Mja, dat ECC geheugen. Momenteel kan ik 16GB non ECC vinden (compatibel) voor 150 EUR, 16GB ECC (compatibel) voor 215 EUR. Lijkt me nog behoorlijk verschil. Ik kijk hiervoor wel uit 2e hands (tips zijn altijd welkom), maar dat is goed kijken naar de compatibiliteit lijkt me, het lijstje van Supermicro is niet zo lang, en buiten Kingston (https://www.kingston.com/en/memory/sear ... i-8C-HLN4F) heb ik geen andere fabrikant gevonden met een eigen lijstje... Ik kan eventueel eens kijken in Hong Kong voor ECC geheugen, volgend jaar daar op vakantie.

@Nukem, zitten jou X10SDV bordjes in 1u enclosures? Of gebruik je extra fans voor CPU en eigen SAS controller? Het lijkt me dat zo'n HBA ook snel richting 90°C gaat.

@Splitter, ook bedankt voor jou opmerkingen. Ik weet dat het bordje zijn beperkingen heeft in power, maar eigenlijk wou ik oorspronkelijk enkel een NAS en later nog een virtualisatie machine. Dit bordje lijkt me flexibel genoeg om toch al wat (lichte) virtualisatie te doen.

Eén systeem zit in een 1U: details (ESXi met voornamelijk mijn pfsense router/firewall)

Andere is in een Fractal Design Define R5 kast gestoken, namelijk een X10SDV-4C+-TP4F die komt default met een actieve CPU koeler Dat was ook mijn reden om die te kopen na mijn moord op een eerder bord + 10Gb ethernet ready

De HBA in mijn main NAS op het bordje hierboven is er LSI 9300-8i, die kan 'warm' worden, maar er moet geen speciale koeling voor voorzien worden lijkt me. Mijn andere HBA, een spotgoedkope tweedehands LSI 9201-16e, zit in mijn backup NAS (zelfde case, cheap Asrock J3355B-ITX moederbord met maar twee PCIe 2.0 lanes, maar dat is voldoende), ook die heeft geen speciale koeleisen lijkt me (nodige luchtverplaatsing is terug te vinden in de LSI docu, maar denk dat ik wel goed zit).

Qua geheugen moet je goed zoeken (tweakers, servethehome,...) om een tweedehands koopje te kunnen doen. Ik heb 100€/stuk gegeven voor mijn 16GB rdimms.
Tweedehands LSI is ook altijd opletten (chinese namaak), maar idd bv. Een IBM M1015 die je flashed kan interessant zijn. Er zijn ook cheap Realtek sata chip bordjes die door FreeNAS 'ondersteund' worden, maar daar zou ik van weg blijven.

Er is van mijn versie van het moederbord ook eentje met actieve CPU cooler.
Dat is echter een delta fan die tot 6000 rpm gaat, is die luid bij jou? Voorlopig zou ik het systeem in de living zetten...

Bij de versie zonder fan is de heatsink hoger en kan ik zelf nog een noctua opzetten, dat lijkt me voldoende om koel te houden (de atom wordt ook minder warm).

Je hebt je geheugen echt wel voor een deftige prijs gekocht, ik zal zeker ook uitkijken voor zo'n deals!