E3-1230/32GB ECC/8*WD RED 2TB

[PowerSoft]

Heeft er iemand interesse in onderstaande server/NAS?

Case en toebehoren
Norco RPC-4220 (20 Hotswap SATA/SAS drive bays) - 4U Rackmount
RL-26 rails
120mm fan wall
4 * SFF-8087 TO SFF-8087 multilane SAS kabels
1 * SSF-8087 reverse breakout cable
Alle fans vervangen door stille fans (80mm em 120mm Noiseblocker fans)

Hardware
Xeon E3 1230
SuperMicro X9SCL+-F
2 * KVR1333D3E9SK2/16G (32 GB ECC RAM in totaal dus)
LSI Logic SAS 9201-16i
Corsair Professional Series Gold AX650 650 Watt, 20+24 Pins
8 * WD RED 2TB

Transport:
Af te halen in Wetteren, eventueel wil ik hem ook afleveren in het weekend bij een goede prijs

Prijs
Hangt van interesse af, aangezien dit nogal een dure aankoop was

Reden verkoop
Verhuis

[Goztow]

Het spijt me maar je kan niet verkopen zonder prijs.

Gelieve de regels van het Te Koop forum door te lezen en de nodige aanvullingen te doen: https://userbase.be/forum/viewtopic.php?f=73&t=21541

[PowerSoft]

Ik baseerde mij op dit topic om een prijspeiling te doen, staat ook geen vraagprijs: http://userbase.be/forum/viewtopic.php?f=73&t=45082
Verwijder de topic dan maar. Heeft geen zin een prijs te vragen als er geen interesse zou zijn, aangezien het nogal een specifiek product is.

[exop]

Wat wil je voor de disks?

[Goztow]

Leek me niet zo duidelijk dat dit een prijspeiling was. Ik denk dat we misschien gewoon best een tag ervoor toevoegen.

Je mag er dan mee verder gaan.

[ubremoved_539]

Ik baseerde mij op dit topic om een prijspeiling te doen

Misschien kan je zelf een indicatie geven van de nieuwprijs.

[PowerSoft]

Nieuwprijs is ongeveer 2700 EUR (inc 21%BTW, aangekocht als particulier)
aankoop case en hardware eind 2011
disks aangekocht eind 2012

Ik zou de server liefst in zijn geheel verkopen. Indien geen interesse zal ik eens nadenken of ik de disks apart wil verkopen en de andere componenten dan kan hergebruiken.

[PowerSoft]

Correctie: RAM is ook aangekocht eind 2012. (oorspronkelijk was er slechts 16GB ECC RAM in de server)

[ubremoved_539]

Enig idee wat het ding vreet aan electriciteit ?

[PowerSoft]

Heb er even een Voltcraft meter tussen gehangen.
vsphere hypervisor 6.0 met 4 VM (1 Linux, 2 Windows, 1 FreeBSD)
Na het booten waren de Windows updates bezig en verbruik was 120W-130W.
Na windows updates zakte het verbuik tot 92W.
Vermoedelijk kan het nog wel enkele W zakken als de disks idle gezet worden.

[ubremoved_539]

90W is te doen (zit nu rond de 100W denk ik met m'n huidige server).

De hardware is wel 4 jaar oud... dus prijs is iets moeilijks... 750 euro ?

[PowerSoft]

Ik denk er nog even over na als dat geen probleem is.
Ik denk dat 750EUR wel een eerlijke prijs is.

[PowerSoft]

Heeft er iemand interesse om de server te kopen bij een prijs van 750 EUR?

[ubremoved_539]

Ik ben mogelijks wel kandidaat... Ik laat je morgen iets weten.

[ Post made via mobile device ]

[Heronic]

Mooie aanbieding. Een jaar geleden zou ik al aan je deur gestaan hebben.
Mocht r2504 passen zou ik nog eens twijfelen maar momenteel denk ik eerder aan krimpen dan aan uitbreiden.

[ubremoved_539]

Heeft er iemand interesse om de server te kopen bij een prijs van 750 EUR?

Prima... I'll go for it... was toch al even aan het twijfelen voor iets nieuws.

[PowerSoft]

ok, voor mij is het ook goed.
Ik maak de server klaar. (Ik draai nog even een dban enzo). We kunnen het dan verder afhandelen via pb.

[ubremoved_539]

Prima... bezorg je me je contactgegevens via PM ?

[ubremoved_539]

LSI Logic SAS 9201-16i

Mmm... blijkbaar is dit geen RAID controller

Ken je je disken dan rechtstreeks toe aan het guest OS binnen ESXi ?

[PowerSoft]

Ik heb bewust niet voor een RAID controller gekozen omdat je dan vasthangt aan een specifieke vendor en ook om direct access te hebben tot de disks. Dan moest ik niet werken via VMFS of RDM.

Als je moderne COW filesystems wil gebruiken, zoals ZFS en BTRFS, dan heeft het OS directe toegang nodig tot de disks voor de beste resultaten.

Mijn setup was als volgt:

- host met VWware esxi
- VM met Ubuntu Linux. De HBA is via VT-d direct doorgeven aan het guest OS. (pci-e passthrough). Het guest OS heeft dus directe toegang tot de HBA en de disks.
- 'ZFS on Linux' voor storage pool.

Ik had een ZFS pool met 4 striped mirrors (zoals RAID 1+0).
Ik had een 16GB ARC (= cache voor data en metadata).
Je kan ook nog een L2ARC en ZIL (ZFS intent log) op SSD plaatsen

Met deze setup trek je zonder problemen de gigabit ethernet connectie dicht.
Intern op de server (dus tussen twee VMs) haalde ik via SMB zonder problemen +300MBs)


Je kan uiteraard ook FreeNAS ofzo gaan draaien in een VM. Maar ik deed liever alles manuaal (zo leer je nog wat bij)

[PowerSoft]

nog even bij vermelden, ik had de pool ook nog geshared naar esxi.
je kan dan intern iscsi gebruiken om zvol's beschikbaar te maken.
of je vmdks of op een nfs een pool draaien.

OS van mijn firewall en Ubuntu VM stondend op een SSD, andere tests VMs draaieden op de ZFS pool.
je zorgt gewoon dat de NAS voleldig opstart voor de andere VMs bij het booten.

[Goztow]

Ik vind het nu wel jammer dat dit topic toch een verkoop topic is geworden, terwijl het een prijspeiling was. Ik vind het tof dat jullie een akkoord bekomen en waarschijnlijk is er in de praktijk ook geen probleem maar nu moet ik eigenlijk terugkomen op mijn oorspronkelijke vraag van niet geldige verkoopgegevens...

Misschien is het eerlijkste om toch nog even een echt te koop topic te maken?

[PowerSoft]

Excuseer, u heeft gelijk. Ik had daar niet meer bij stilgestaan. Moet ik dan een volledig nieuwe topic aanmaken?

[ubremoved_539]

Ik heb bewust niet voor een RAID controller gekozen omdat je dan vasthangt aan een specifieke vendor en ook om direct access te hebben tot de disks.

Het heeft z'n voor en nadelen maar het is alvast geen "normale" ESXi setup op deze manier (ben ondertussen wat aan het lezen en men raadt het zelfs af).

Je kan uiteraard ook FreeNAS ofzo gaan draaien in een VM. Maar ik deed liever alles manuaal (zo leer je nog wat bij)

Het Linux wereldje is allemaal nogal nieuw voor mij... maakt de beslissing plots heel wat moeilijker

[PowerSoft]

geen probleem, denk er maar rustig over na.
ik moet toch een nieuwe topic aanmaken

[Goztow]

Graag een nieuwe topic, ja .

[ubremoved_539]

Welke firmware versie staat er op de HBA (en is dat bewust zo) ?

[PowerSoft]

Heb de firmware in maart geupdate naar de toen laatst beschikbare versie.
Ik denk dat dat 20.00.00.00 is, ik moet het eens nakijken vanavond. (momenteel is 20.00.04.00 beschikbaar sinds 21 mei) Dat kan ik wel snel updaten, is niet moeilijk.
De HBA bios is 7.39.00.00.

Mobo Bios heeft laatste versie: 2.2
IPMI heeft ook laatste versie: 3.38

geen bewuste keuzes van versie ofzo, ik hou dat regelmatig up to date (bezigheidstherapie ofzo )

[ubremoved_539]

De vraag ivm. bewuste keuze is omdat er blijkbaar nogal wat issues zijn met FreeNAS (eerder het onderliggend OS) en de firmware levels.

Ik tracht dus een aantal dingen op een rijtje te zetten... thinking out loud;

- ZFS blijkt zwaar (zeker 16 GB RAM) en toch niet zo'n perfect FS.
- BTRFS lijkt nog een beetje "beta" en RockStor heeft geen iSCSI support
- Windows Storage spaces hebben een enorme hit bij parity ipv. mirror configs
- Een 16 poort SAS controller is niet echt goedkoop
- Een 8 poort SAS controller is heel betaalbaar (maar heeft natuurlijk slechts 8 poorten)
- Het moederbord heeft slechts één x8 PCI-e slot

... blijft dus moeilijk.

[PowerSoft]

even ter verduidelijking, volgende expansion slots zijn beschikbaar:

PCI-Express
2 (x8) PCI-E 3.0 in x8 slots
1 (x4) PCI-E 2.0 in x8 slots

http://www.supermicro.nl/products/mothe ... SCL_-F.cfm

[PowerSoft]

nog even update op bovenstaande post, met de e3-1230 is het uiteraard pci-e 2.0 en geen 3.0 (daarvoor is e3 v2 nodig)

Ik heb ondertussen op de trein wat opgezocht ivm freebsd support voor de LSI SAS2116 controller.
Bij de oude FreeNas 8.x releases (gebaseerd op FreeBSD was er nog geen officiële ondersteuning voor de controller. Dan konden er idd problemen zijn wegens development driver.

De huidige release 9.3 is gebaseerd op FreeBSD 9.1 en heeft officieel ondersteuning voor de controller.

https://www.freebsd.org/releases/9.1R/hardware.html

The mps(4) driver supports the following controllers:

LSI Logic SAS2004 (4 Port SAS)

LSI Logic SAS2008 (8 Port SAS)

LSI Logic SAS2108 (8 Port SAS)

LSI Logic SAS2116 (16 Port SAS)

LSI Logic SAS2208 (8 Port SAS)

Daar zouden er geen problemen mee mogen zijn.

welk filesystem etc is natuurlijk een persoonlijke keuze, ze hebben allemaal voordelen en nadelen. Ik ben zeer tevreden van ZFS. en heb dat gekozen voor oa:

- COW, en dus zeer efficient snapshots
- zowel filesystem als block level
- data checksumming
- zeer eenvoudig te beheren, je doet alles met twee commando's (met FreeNas heb je dat uiteraard niet nodig)
- compressie ondersteuning
- ARC (cache)
- je kan ook deduplicatie gebruiken (heb ik niet gedaan), maar dan zet je best wel een L2ARC op SSD


moest je dat willen gebruiken kan ik wel eerst wat testen met FreeNAS doen (dan leer ik dat ook eens kennen)

[ubremoved_539]

Het liefst heb ik een hardware oplossing... nu is de "9261-8i 8-port PCI-E 6Gb/s SATA/SAS RAID Controller" (geen idee of je enige kennis hebt van RAID expanders ?) blijkbaar wel courant te vinden aan een schappelijk prijs al heb ik er dan twee nodig (nu ja, kan beginnen met ééntje ook) maar dan ligt je HBA hier ook maar te liggen wat dan weer zonde is.

Ondertussen nog verder de wereld van RAID controllers aan het verkennen...

[ubremoved_539]

Hoe zit het precies met die SAS kabels... en die backplane ? Heb je daar echt 20 aansluitingen op of hoe werkt dat precies ?

[PowerSoft]

met expanders heb ik geen ervaring, maar in principe zou 1 RAID controller + expander voldoende moeten zijn. (en kosten efficiënter dan 2 raid controllers)

ik ben zelf totaal geen voorstander van hardware raid wegens vendor lock in en eventueel afhankelijkheid van firmware versions (als je defecte kaart vervangt door een kaart met andere firmware kan je problemen hebben om te rebuilden, diet is natuurlijk neit altijd het geval). Aangezien er nogal veel data op de pool stond, wou ik zelf controle hebben. Als je geen belangrijke data op de storage zet, maakt het weining uit. (of je moet nog eens extra storage voorzien om alles te kunnen backuppen)
Als je data belangrijk is, hou dan ook rekening met de kost van een RAID kaart. Als die defect is, en je wil je RAID array rebuilden, dan moet je wellicht terug dezelfde kaart kopen. (op een moment dat er wellicht betere kaarten op de markt zijn) Maar dus opnieuw, als dataverlies geen rol speelt, is dat niet belangrijk.

Nu begrijp ik wel dat als je de volledige disks rechtstreeks aan esxi wil toekennen, dat je dan hardware RAID verkiest. Je hebt ook geen andere keuze dan eigenlijk. Ik simuleerde eigenlijk een externe NAS om de hardware RAID te omzeilen. (+dan alle andere voordelen ivm snapshots etc)

hier kan je wat fotomateriaal enzo vinden van de case:
http://www.wegotserved.com/2009/06/11/h ... t-chassis/

er zijn 5 rijen met 4 disks, iedere rij beschikt over 1 SSF-8087 connector. Je hebt dus geen 20 SATA connectoren.
Bij mij gaan de onderste vier rijen met elk een kabel naar de HBA, de bovenste rij gaat met reverse breakout kabel naar de sata connectoren op het mobo.

[ThomasN]

Mag hier nog op geboden worden trouwens ?

[PowerSoft]

Aangezien dit een prijspeiling topic is, mag ik hier van de moderators geen verkoop doen. Een bod is hier dus niet geldig. Ik zal een nieuwe topic moeten maken voor biedingen of verkoop.
Ik zal dan later een nieuwe topic maken voor de effectieve verkoop. Je mag mij altijd laten weten wat jij een eerlijke prijs vindt. Eerlijkheidshalve zal ik r2504 eerst nog wat bedenktijd geven.

[ubremoved_539]

ik ben zelf totaal geen voorstander van hardware raid wegens vendor lock in en eventueel afhankelijkheid van firmware versions (als je defecte kaart vervangt door een kaart met andere firmware kan je problemen hebben om te rebuilden, diet is natuurlijk neit altijd het geval).

Het is inderdaad een dilemma en zeker als je RAID kaarten tweedehands koopt (blijft het aanbod bestaan).

Nu begrijp ik wel dat als je de volledige disks rechtstreeks aan esxi wil toekennen, dat je dan hardware RAID verkiest. Je hebt ook geen andere keuze dan eigenlijk. Ik simuleerde eigenlijk een externe NAS om de hardware RAID te omzeilen. (+dan alle andere voordelen ivm snapshots etc)

Hoe je het ook wil draaien... het is de enige correcte setup in een ESXi omgeving... dilemma tegen dilemma.

Eerlijkheidshalve zal ik r2504 eerst nog wat bedenktijd geven.

Geen probleem... de kast is tof, de disken zijn tof, het moederbord is tof... maar je moet de dingen aan elkaar kunnen hangen en daar voel ik me momenteel niet goed bij. Als iemand anders echter een bod wil doen... prima voor mij... misschien heb ik er dan morgen wel spijt van Ondertussen zoek ik verder wat realistisch is en de meerkost ervoor.

[PowerSoft]

bij deze is de verkoop dan ook gestart: http://userbase.be/forum/viewtopic.php?f=73&t=45165