Home server ( low power )

[buthead]

Hallo,

Ben van plan om een eigen home server te maken.
Liefst zo zuinig en goedkoop mogelijk.

HDDs heb ik al liggen en SSD voor OS ook.

Heb nog wat oude onderdelen liggen zoals een I7-2600 - I7-7700 en bijhorende mobo. ( eventueel verkoop ik deze hier na de befaamde zolderopruiming )

Eventueel nieuwe CPU wil ik wel halen enz

builds en idee tips welkom of eigen realisaties

[boran_blok]

hoeveel disken?

[buthead]

Minstens 2 schijven erin en zal meer worden met de tijd

[dean3009]

O, leuk! Ik ben daar toevallig ook mee bezig en wil er uiteindelijk een NAS/opnsense-systeem van maken met Proxmox.
Ik hoop met slimme energiefuncties en door de schijven te doen slapen bij idle het energieverbruik zo laag mogelijk te houden.

Ik had bij mijn onderzoek een aantal interessante links gevonden die ik hier even deel:

• Spreadsheet met systemen met een idle energieverbruik van minder dan 30 watt: https://docs.google.com/spreadsheets/d/ ... id=0#gid=0
• Spreadsheet van voedingen met een hoge efficiëntie bij laag energieverbruik: https://docs.google.com/spreadsheets/d/ ... =110239702
• Een blogartikel van iemand die een 7 watt idle systeem heeft gebouwd: https://mattgadient.com/7-watts-idle-on ... erver-nas/

Ik heb de Cooler Master MWE 400 voeding gekozen. Die is op zich niet zo efficiënt maar bij lage belasting blijkbaar wel. Is ook niet duur. Ik hou het hier wat in het oog. Als ik updates heb over mijn systeem post ik ook.

[keerekeerweere]

Even toevoegen, jaren hier gelijkaardig systeem gebruikt, op basis van de Fujitsu's TX1320M3 met Xeon e3-1230v6, die hadden een (belachelijk) laag idle verbruik en ipmi aanboord, in idle zonder extra devices 9-11watt gemeten. en dat met standaard voeding.

wat tips & tricks van mijn (vorige) setups:

• voor proxmox de microcodes updaten voor je intel of amd cpu (proxmox helper scripts)
• moederbord bios instellingen goed zetten zodat je richting C6-C11 kan gaan
• powersave of scaling governor selecteren (proxmox helper scripts)
• aspm scripts (vb. https://github.com/notthebee/AutoASPM)
• lxc containers zijn lichter dan vm's
• tablet pointer off zetten bij de vm's (zoals opnsense), scheelt al gauw een paar watt
• consoleblank=600 of iets gelijkaaridg als grub kernel parameter toevoegen
• powertop auto-tune of manueel instellingen overzetten
• bij opnsense neem ik meestal een extra fysieke netwerk kaart ( iommu / pcie device)
• bij truenas neem ik meestal een extra fysieke HBA kaart in passthrough, pcie nvme's kan je (meestal) direct doorlussen naar de truenas vm. wel niet altijd goed in combo met aspm en powersavings

het lastige aan een opnsense in een proxmox, is dat bij reboot van de proxmox host, ook de netwerk verbinding (even) wegvalt tot alles herstart is. niet dat het moet, maar na wat kernel updates, is een reboot toch af en toe aangewezen.

momenteel draait hier een opnsense op z'n afzonderlijk node in een proxmox cluster, de proxmox is hier als het ware een 'poor mans' bmc/kvm en laat eenvoudige backups toe van de vm

ik vrees dat je met i7 af en toe wat pieken zal hebben (o.a. bij het opstarten), en de 2x00 reeks zal nog redelijk stevig zijn in idle verbruik. maar een 400w voeding is natuurlijk meer dan genoeg hiervoor.

[devilkin]

Ik zou ook graag m'n servertje wat zuiniger krijgen, maar met 6 schijven en 2ssds...

Ze zijn ook niet snel idle te krijgen gezien er wel wat activiteit op zit.

[yaris]

Meer schijven zit je al snel met zelfbouw. Zelf ben ik naar een HP elitedesk aan het kijken zoals deze
https://tweakers.net/aanbod/3859712/hp- ... b-ssd.html
Kunnen 2 3.5 inch schijven in en deze machines zijn ook zuinig.
Hier kan je wat inspiratie opdoen.
https://gathering.tweakers.net/forum/li ... 96876/last
De fujitsu bordjes zijn wel populair en heel zuinig.

[devilkin]

Ja, m'n huidige is zelfbouw: xeon 1230v5, 64gb ecc ddr4, 6 schijven in ZFS raid10, 2 datacenter grade ssds voor cache en om sync writes te versnellen over nfs.

[joriz]

Ik heb in 2023 zelf een systeem gebouwd met als basis de hierboven vermelde spreadsheets.
Powersupply in dit verhaal is vrij belangrijk en wat je ermee wil doen. Draait het systeem veel idle dan kijk je naar een power supply welke zo efficient mogelijk is rond dat vermogen. Bij heel eenvoudige systemen kan je voor 12v voeding gaan, deze zijn nog efficienter dan de typische atx power supplies. Vanaf dat meer vermogen nodig is bij bijvoorbeeld grotere hoeveelheden disken kijken naar atx.
De nieuwste CPU is niet altijd de meeste zuinige. Ook kwa moederborden, bios instellingen, etc zijn er veel verschllen.

Het systeem dat ik sinds 2023 gebruik draait op trueNAS. Deze doet smb shares en nfs shares voor een Proxmox cluster.

Mainboard: Supermicro X11SCL-IF (itx – ecc – ipmi - 2x 1gbit intel nic, 4x sata via intel chipset)
Cpu: Intel i3-8100T
Cpu koeler: Noctua NH-L9i
Memory: Kingston 16GB ecc
OS disk: Samsung 256GB M2
Opslag: 4 x Seagate Exos X18 (16TB, 7200rpm)
Casefan: Noctua NF-S12A
Voeding: Corsair SF450 SFX modulair
Case: Chenbro SR301 ITX server behuizing met 4x sata hotswap bays

Zonder de seagate disken zit deze op 14.6 watt idle, met disken 32 watt idle.
Bij belasting van de disken rond de 66 watt.

Het zal zeker zuiniger kunnen maar wou toch nog wat performance hebben. Helaas nog geen zuinige 2.5 / 10 Gbit nics gevonden dus alles nog op 1Gbit.

[buthead]

Heb even oud systeem snel in elkaar gestoken

Asus b250
I7-7700
Samsung ssd 500gb
4x WD black 3TB

Probleem na booten loopt het mis.

Krijg melding dat ik ze in RAID moet zetten via mobo maar lukt niet

Andere melding

Kan boot device niet vinden


—-
Installeren van W10 ging perfect zoals het moet en kon remote desktop enz instellen.

Scherm en alles afkoppelen en opnieuw inpluggen en error.
Scherm weer eraan en zelfde

Straks eens die HDD afkoppelen en SSD alleen proberen


Wat men vermoeden bleek de CMOS batterij die plat was had gemerkt dat die irritante led op mobo telkens weer aangingen na opstarten

[heist_175]

Ik heb een i5-10500 die idle 15W doet: 1 boot-SSD en dan 2 SSD's voor storage.
Gewoon met W10/11 erop: super gemakkelijk aan te passen en te laten doen wat jij wil.
Voordien (2014 > 2021) had ik een Synology. Mijn nieuwe "NAS" is zowel krachtiger als zuiniger.

[buthead]

Hier dit weekend eens meten wat men bakje doet van verbruik ben benieuwd nu met de zonnepanelen kijk ik er niet naar om maar wel beetje mee rekening houden zeker in winter en als die echt 24/7 aangaat dat die geen grote verbruiker is.

Later ook HA enz opzetten en dat andere dingen mediacenter enz

[dean3009]

Ik heb een energiemeter gekocht en heb het energieverbruik eens gemeten van volgende configuratie:

• Moederbord: Biostar B760MX2-E Pro D4
• CPU: Intel Core i3-14100
• RAM: 1 lat 32 GB DDR4
• PSU: Cooler Master MWE 400

Momenteel met twee HDD's en een SSD.

Ik heb 'powertop --auto-tune' uitgevoerd en ASPM ingeschakeld voor wat mogelijk is. Met de HDD's in sleep kom ik op 25 watt. Als de HDD's draaien wordt het 45 watt.
Ik vrees dat een aantal devices geen ASPM ondersteunen wat voorkomt dat de CPU in een diepere C-state dan C3 gaat...

Code: Selecteer alles

Powertop Device stats
            100.0%        PCI Device: Intel Corporation Raptor Lake SPI (flash) Controller
            100.0%        PCI Device: Intel Corporation Raptor Lake SATA AHCI Controller
            100.0%        PCI Device: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller
            100.0%        PCI Device: Intel Corporation Raptor Point-S PCH - PCI Express Root Port 3
            100.0%        PCI Device: Intel Corporation Platform Monitoring Technology

Die tonen ook ASPM not supported (heb het proberen te forceren via kernel params maar werkt dus niet). In BIOS geen ASPM-optie voor PCH

Code: Selecteer alles

root@proxmox:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:01.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x16 Controller #1 (rev 05) (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 32GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <4us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Device 7a39 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
00:1c.2 PCI bridge: Intel Corporation Raptor Point-S PCH - PCI Express Root Port 3 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Tehuti Networks Ltd. TN9510 10GBase-T/NBASE-T Ethernet Adapter
                LnkCap: Port #1, Speed 5GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <512ns, L1 <2us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 SATA controller: ASMedia Technology Inc. ASM1064 Serial ATA Controller (rev 02) (prog-if 01 [AHCI 1.0])
                LnkCap: Port #0, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <4us, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
 

Edit:
Ik ga morgen eens proberen via setup_var.efi (https://github.com/datasone/setup_var.efi) de Native ASPM instelling in UEFI in te schakelen. Misschien krijg ik er zo meer uit. Interessant allemaal!

[heist_175]

Ik heb een laptop-voeding aan een nano- of pico-PSU.
Dat zal waarschijnlijk ook al een verschil in efficiëntie en dus verbruik opleveren.
Ik meet aan het stopcontact met een ESPHome.

[WielerArchieven]

@buthead , Wat ik vooral mis uit het startbericht is wat wil je eigenlijk draaien op die home server?

Zelf reeds jaren een Unraid server draaien met eerst vier schijven en nu 6 waarvan één de parity doet, in totaal 48TB ruimte momenteel. Draait hier vooral Plex, Nextcloud, Vaultwarden (Bitwarden), de Arr's, PiHole en Unbound, HOOBS (voor niet ondersteunde HomeKit spullen) in Docker containers, en ook een Windows VM die af en toe wordt opgestart.

Voordeel wat ik zie in Unraid tov van TrueNas of een RAID systeem is dat als ik iets afspeel er maar één schijf hoeft te draaien de andere kunnen lekker verder slapen. Voor de twee SSD's in de cache pool gebruik ik wel ZFS in mirrored RAID.

Het is zeker niet de meest energie zuinige home server, vooral omdat mijn HBA kaart nefast verhindert om hoge C-states te halen, dat is het geval met het merendeel van de HBA kaarten. Zit momenteel aan 25 watt idle met de schijven in spindown, met S3 Sleep gaat het natuurlijk wel een heel stuk lager tot 3 Watt

[pfuhu]

Mijn ervaring inzake verbruik mss ook even delen. Proxmox-cluster waarbij het gemakkelijk is om tussen devices load te switchen en dus ook zowel in idle te testen, maar eveneens mét load (die vergelijkbaar (bijna identiek) is als deze op de verschillende toestellen draait (ik verschuif de containers/vm"s van server naar server om te vergelijken. Is dus identieke load):

Beelink EQR5: Ryzen 7 5825U - 32GB ram - 1xNVME 512GB en 1xNVME1TB
Idle: 6,3 watt
In gebruik: 42 watt

HP Prodesk G6 mini: Intel i5-10500T - 32GB ram - 1xNVME 512GB en 1xNVME1TB
Idle: 8,5 watt
In gebruik: 33watt

De éne verbruikt idle 2 watt meer, de andere bijna 10 watt meer als hij load heeft.

[Borromini]

Ik zit hier met een Ryzen 5500GT en A520 mobo op 35W idle. NVMe SSD voor het OS, 3 3,5" schijven voor de opslag. Alles bij elkaar niet zo slecht lijkt het. Nog geen tweaks voor zuinigheid gedaan. Debian stable.

[buthead]

Even kort schetsen

HA
Pi hole
Cloud service
Plex
Hiermee beginnend en zal nog wel wat bijkomen

[keerekeerweere]

Hier een test gedaan met:
Hardware:

1. moederbord : Asrock H510m-itx/ac
2. cpu: pentium Gold G6400
3. 2x 4GB DDR4
4. Intenso 250GB nvme SSD
5. Leicke 12V - 72W ULL
6. 12V pico-psu (gelijkaardig)

Software

1. Proxmox 8.4.1
2. Powersave governor
3. Intel microcode updates

Idle: 7.2W
stress-ng: 28W

[StarWing]

Ik zit rond de 36W overdag en rond de 40W snachts (gemeten in home assistant via een Zwave Neo Coolcam), maar hierin zitten ook andere zaken:

Server:
intel core i5-8600
Kontron D3643-H1
6TB HDD voor media library
1TB nvme voor os en guests
48gb ram (4latjes)
Pico PSU met Leicke adapter
zwave stick
ESXi-7.0U3n
Op de ESXi draaien volgende guests:
-PfSense
-Docker Ubuntu met ~18 containers
-Home assistant
-Nextcloud (image van Hansson IT)
-Emby met HW passthrough voor HW encoding
-W10pro (maar die staat enkel op als ik 'm nodig heb)

Bij de wattages zit inclusief een TPLink 8p POE switch met 2 Unifi AP's en 2 Reolink cams die snachts hun IR opzetten (vandaar het verschil in verbruik).

Al mijn data staat op de HDD, maar hiervan doe ik op bepaalde tijdstippen een backup naar mijn NAS (met 4HDD's), dus die staat enkel op bij een backup run.

[buthead]

Eens verbruik gemeten tplink hs110.
Klopt op een watt na.

60watt wanneer standaard
67watt in gebruik en internet actief
Idle nog even wachten

1 ssd Samsung sata
4x hdd 3,5 3TB Wd black

Heb power optimizing gedaan
Enige wat faalde was ahci deze staat terug op de Intel optane.
Anders error bij booten beter eerst alles ingesteld op ahci en dan verder maar zal niet extreem veel geven.

[Joop]

Ik zit hier met een Ryzen 5500GT en A520 mobo op 35W idle. NVMe SSD voor het OS, 3 3,5" schijven voor de opslag. Alles bij elkaar niet zo slecht lijkt het. Nog geen tweaks voor zuinigheid gedaan. Debian stable.

Pas op, als je de GPU gebruikt neemt het verbruik enorm toe, blijf je in CLI (black-box-mode) dan zakt het verbruik enorm.
Laat de grafische onzin achterwege en het vebruik zakt naar bijna niks.

[buthead]

Hier draait idd Windows dus met GUI.

Linux distro nog liggen twijfelen ben er minder en minder mee bekend.

Anderzijds met de ZP scheelt het enorm
Natuurlijk hoe zuiniger hoe beter.

Kan eventueel nog opnieuw men QNAP nas in gebruik nemen denk 20 watt max is nog een TS-251 reeks

[Nordic]

Voor de veredelde NAS, die ook enkele containers draait met enkel HA, Pihole en een eventuele Unifi controller. Zeker in scenario met 2x 3,5" en 1 of 2 nvme schijven. Is een zelfbouw echt zoveel zuiniger dan een kant en klare NAS?
Ik heb ondertussen 2 Synology nassen die elk meer dan 10jaar oud zijn, maar nog steeds werken. Uiteraard niet meer met online toepassingen, maar hardwarematig niets aan. Door hun nieuwe vendor lock in met schijven zou ik niet meer naar dit merk kijken. Maar voor lichtere toepassingen zijn deze toch aantrekkelijk? Of heb ik dit zo verkeerd.

[yaris]

Goh als we kostprijs even buiten beschouwing laten van de hardware zelf.
Stel dat je een mini pc met een I5 10de generatie hebt en je steekt er een 4TB ssd in heb je een verbruik van 10watt ofzo.
Stel dat je een synology met een gewone HD hebt draaien dan heb je een verbruik van neem 20watt.
10 watt op een jaar kost pak em beet 30 euro en 20 watt kost 60 euro. Dat is 30 euro verschil dus ... ook niet zoveel.

Enig verschil is dat je met de I5 veel meer power hebt. Voor die paar containers maakt dat niet uit of je een zelfbouw of synology gebruikt maar selfhosting is wel wat verslavend en voor je het weet zit je aan 30 containers ofzo. Je hebt ook de mogelijkheid om bijvoorbeeld proxmox te draaien voor virtuele machines.

Er is niet iets als "het beste" ... meer wat heb je nodig.
Ik heb net een container geïnstalleerd met ollama en webui voor wat te spelen. Met mijn 6 cores aan 100% kan ik wel de lichtste versie van deepseek draaien.
Ik ben zelf ooit begonnen met een nas, makkelijk alles in 1 toestel ... dan een odroid erbij genomen voor offloading van containers .... dan wat nuc's 2dehands gekocht om te spelen en dan bij optiplex mff toestellen gekomen omdat deze voor dezelfde performantie en iets meer verbruik een stuk goedkoper uitkwamen.
Ik ben nu aan het uitkijken naar een elitedesk small form factor omdat je daar 2 HDD's in kwijt kan en deze toestellen ook redelijk zuinig zijn maar nu ik wat speel met lokale llm's ben ik ook aan het denken aan zelfbouw om een GPU in kwijt te kunnen. Mijn kinderen beginnen AI ook te gebruiken voor school dus als ze dat lokaal gebruiken heb ik toch wat controle.

[buthead]

Denk veel lager dan een NAS gaat moeilijk worden.

Veel eigen puzzelwerk onderhoud en alles regelen installeren.

Nas is kant en klaar in feite en weinig verbruik.

Idle denk ik 11watt of minder als je bvb leds en afzet

[heist_175]

Voor gelijkaardig verbruik en met gelijkaardige aanschafkosten is een zelfbouw "home-server" veel krachtiger.
Daarenboven kan je er later nog alle kanten mee op: nieuwere CPU, meer geheugen, uitbreidingskaarten, ...

Ik had een Synology die 12-15W deed, ik heb nu een i5-10 die maar 10-12W doet.

[buthead]

Dat is helemaal waar zelfbouw heb je zelf de controle over.

Hier upgraden zit er niet in van cpu is 7-7700 reeks dus al even bestaand.

Komend lang weekend eens bekijken wat en hoe.

[YordiDR]

Ik ben nu aan het uitkijken naar een elitedesk small form factor omdat je daar 2 HDD's in kwijt kan en deze toestellen ook redelijk zuinig zijn maar nu ik wat speel met lokale llm's ben ik ook aan het denken aan zelfbouw om een GPU in kwijt te kunnen.

Dit kan ik aanraden, ik gebruik momenteel 2x HP EliteDesk 800 G2's met i7-6700 & 32GB DDR4 RAM. In ééntje zitten 3 SSD's (2 in RAID-1 voor proxmox boot & VM storage), 1 in passthrough naar een fileserver VM. Dit loopt al enkele jaren prima 24/7.
Ik ben zelf ook aan het experimenteren met Ollama voor Home Assistant. In deze SFF's kan je een low profile GPU steken zonder externe power connectors. Voor €150 a €200 kan je soms een tweedehands Nvidia T1000 met 8GB VRAM vinden, dit is hier ideaal voor.
Ik ben momenteel onderdelen aan het verzamelen voor zelfbouw aangezien ik een grotere GPU willen kunnen steken (RTX 3060 12GB VRAM). Vandaar gaat er één EliteDesk de verkoop in.

Sent from my Pixel 8 using Tapatalk

[TheCeet]

Misschien is mijn setup niet echt een "home server" maar het is wel leuk speelgoed om uit te leren.

Lenovo M720q met i5-9400t CPU.
16GB RAM
256GB SSD NVMe

Draait Proxmox met momenteel volgende containers:
- AdGuard Home
- Smokeping
- MySpeed
- Unifi Netwerk Controller
- Emby
- Navidrome
- PiAlert

Gemeten met TPlink P115:
draait +-4-6w idle met pieken niet hoger dan 15w.
Totale verbruik gisteren: 0.134 kWh

[dean3009]

4-6 watt idle is echt wel goed. Heb je nog iets speciaals gedaan om dat te bekomen?

Ik geraak zonder hdd's en met één ssd niet onder 14 watt idle (wel met actieve 2.5Gb NIC en M2 SATA expander). Met 6 extra hdd's in slaap komt het niet onder 22 watt. In beide gevallen behaal ik PC10. Niet slecht maar ik had iets minder verwacht.

Gemeten met zo'n LSC stopcontact uit Action maar ik vermoed niet dat de foutmarge daarop nu ook niet extreem zal zijn haha.

[TheCeet]

Daarom dat ik zo'n fan ben van die mini PC'tjes en hun verbruik.
Niets speciaal gedaan, wat dingen aangepast in BIOS, maar geen spectaculaire zaken.

Dan in Proxmox dit toegepast:
https://community.home-assistant.io/t/p ... age/323731

En dat is het zowat. Het powerbrickje is 65w trouwens.

Gisteren wel Home Assistant installed, en verbruik is nu iets hoger.
Hierin kan in mijn P1 meter en TP-link energymonitor visueel beter monitoren.

De data voor Emby (films & series) en Navidrome (muziek) staan op een Synology 220+ nas

[devilkin]

Mijn home server een upgrade gegeven: van een xeon e3 1230v5 naar een xeon e3 1245v6.

Dit, en het verwijderen van de addon gpu (was noodzakelijk wegens geen igpu in de oude chip) heeft het stroomverbruik laten zakken met een 20 a 30w. Niet verwacht dat het zoveel ging zijn...