Configuration Serveur/NAS

Bonjour,

Dans le but de monté mon NAS moi même (car après beaucoup de recherche pour trouver un NAS sur lequel je peux librement installer TrueNAS et l’utiliser également en tant que serveur, donc exit les 2Go de RAM, je n’ai rien trouvé. Hormis le TrueNAS Mini X, qui après plusieurs long moi de négociation reste inlivrable en Suisse).

Du coup j’ai lu le document des conseils/pré-requis TrueNAS en terme de matériel. On retrouve la très forte recommendation d’utilisation de RAM ECC, ce qui réduit drastiquement les choix CM/CPU/RAM.

J’ai sélectionné les équipements suivants:

• Case: Fractal Node 804
• Carte mère: Supermicro X11SCH-F
• CPU: Intel Core i3–9100 (LGA1151 + ECC)
• RAM: Crucial 32GB DDR4–2666 UDIMM (2x 32Go)
• Alimentation*: Seasonic Focus PC 550W**

Pour l’OS, un disque SSD m.2 2280 WD Red SA500.

Pour les disques de données, 6x WD Red Plus 6To.

Utilisation:

Les disques seront surement utiliser les 6 dans un pool en RAIDz2 (OpenZFS), ce qui me fait un total de 18To utilisable, avec possibilité de perde jusqu’à 2 disques.

• Sauvegardes automatisé (PC, Serveurs, TimeMachine)
• Partages documents (SMB, FTP, Nextcloud)
• Gitlab

et potentiellement une ou l’autre VM/Jails pour faire tourner des softs custom. (et pourquoi un petit serveur de jeu style Minecraft, mais ce n’est pas le but, donc je ne m’attarde pas à séectionné la configuration pour ça).

Que pensez-vous de cette configuration ?

Je souhaite quelque chose qui tienne la route en limitant au mieux la consommation électrique.

Étant donné que ce NAS va tourner 24/24, je veux des composants fiable pour réduire au maximum les risques (entre autres risque d’incendie). Donc si vous pensez qu’un composants est plus fiable (même si plus cher), je vais le prendre en considération.

Et une dernière question, le ventirad de base est-il suffisant, ou que devrais-je mettre ?

Que pensez-vous de cette configuration ?

Elle est recommandée par TrueNAS, sûrement avec de bonnes bases.

Mais je suspecte que la recommandation soit faite pour un système d’entreprise, qui a des besoins plus heavy duty et qui a un budget… d’entreprise.

As-tu réellement besoin d’avoir autant de RAM ? Je sais bien qu’avec ZFS on recommande souvent d’avoir le maximum de RAM possible par rapport à la taille de son stockage, mais ce n’est pas une obligation stricte, ZFS sait se débrouiller tant que ça reste raisonnable.

On retrouve la très forte recommendation d’utilisation de RAM ECC

Ce n’est pas une mauvaise idée d’utiliser ECC si tu veux y mettre le budget. Mais curieusement, on associe souvent ZFS avec ECC. Pourtant, ce n’est ici rien de spécifique à ZFS, mais bien à tous les systèmes professionnels (dont les NAS) de façon générale, ZFS ou non. Certains¹ prônent même la généralisation d’ECC jusqu’au matériel consumer-grade.

Je vois que tu as sélectionné des disques WD Red Plus. Il y a un temps, on avait eu un petit scandale sur le fait que WD se gardait bien d’indiquer que certains disques de cette gamme (pourtant un peu noble) utilisaient la technologie SRM. Je ne sais pas ce qu’il en est depuis, mais il vaudrait peut-être se renseigner pour éviter d’avoir des disques SRM et non-SRM dans le même RAID (cela provoquerait une répartition incongrue de la charge de travail des disques à travers le RAID, le problème étant amplifié en cas de ré-écriture après remplacement d’un disque.)

À noter que Seagate, un concurrent, indique clairement sur sa page quels disques sont SRM ou non.

Étant donné que ce NAS va tourner 24/24, je veux des composants fiable pour réduire au maximum les risques (entre autres risque d’incendie). Donc si vous pensez qu’un composants est plus fiable (même si plus cher), je vais le prendre en considération.

Je dirais que la maîtrise du risque d’incendie est plutôt à voir au niveau de ta baie/local dans lequel le serveur réside, non ?

Je dirais que la maîtrise du risque d’incendie est plutôt à voir au niveau de ta baie/local dans lequel le serveur réside, non ?

Et le choix de l’alimentation, primordial pour éviter ce genre de surprises – c’est à peu près le seul composant qui a un vrai risque de déclencher un incendie maintenant qu’on a plus d’écrans cathodiques. Ça implique de bien la dimensionner et d’en prendre une d’une marque réputée auprès de testeurs sérieux (ce qui est rare : la plupart se contentent de vérifier les tensions, et ça même les mauvaises alimentations y arrivent).

Merci pour ta réponse.

Elle est recommandée par TrueNAS, sûrement avec de bonnes bases.

Oui, la seule différence étant que dans la liste, il cite le i3-8300, je suis parti sur le 9100 car il semble plus récent… et compatible avec la CM (8th/9th Generation Intel® Core™ i3)

As-tu réellement besoin d’avoir autant de RAM ? Je sais bien qu’avec ZFS on recommande souvent d’avoir le maximum de RAM possible par rapport à la taille de son stockage, mais ce n’est pas une obligation stricte, ZFS sait se débrouiller tant que ça reste raisonnable.

Après, je compte aussi y mettre des VM/etc. Je pourrais partir sur 32Go, dans un premier temps, à voir. Ce n’est pas ça qui va influer beaucoup sur mon budget.

Je vois que tu as sélectionné des disques WD Red Plus. Il y a un temps, on avait eu un petit scandale sur le fait que WD se gardait bien d’indiquer que certains disques de cette gamme (pourtant un peu noble) utilisaient la technologie SRM. Je ne sais pas ce qu’il en est depuis…

En effet, d’après tout ce que j’ai pu voir, c’est notamment la différence entre la plus WD Red et la version WD Red Plus, la normal en SRM, la plus en CRM.

Concernant le budget, je m’en sors autour des 2200.- CHF, avec 6 disques de 6To, ce qui me parraît correcte.

Je dirais que la maîtrise du risque d’incendie est plutôt à voir au niveau de ta baie/local dans lequel le serveur réside, non ?

ça sera à priori dans un bureau dans la maison, ma question est surtout de savoir si parmis les composants choisi (dont l’alim), il n’y a pas du bas de gamme qui augmente inutilement le risque.

Mes quelques questions encore en vrac:

Edit:

Merci @spacefox

Et le choix de l’alimentation, primordial pour éviter ce genre de surprises – c’est à peu près le seul composant qui a un vrai risque de déclencher un incendie maintenant qu’on a plus d’écrans cathodiques. Ça implique de bien la dimensionner et d’en prendre une d’une marque réputée auprès de testeurs sérieux (ce qui est rare : la plupart se contentent de vérifier les tensions, et ça même les mauvaises alimentations y arrivent).

En effet, c’est surtout concernant à ce point la dont je fais référence dans ma dernière question ci-dessus.

Est-il recommandé ou déconseillé de mélanger les disques ? (par exemple 3 WD et 3 Seagate afin de limiter les risques de de casse au même moment

Tu peux mélanger à condition de rester sur des profils similaires (pour éviter les problèmes dont j’ai parlé plus haut). De toute façon on est voué à mélanger un jour ou l’autre, quand il faut remplacer un disque, puis un autre, etc.

En restant dans la même gamme chez le même constructeur, tu peux aussi essayer d’avoir des séries différentes. Ce n’est pas toujours possible sur un marché de particulier.

Certains préconisent de mélanger pour mitiger la malchance en cas de série foireuse. Même en entreprise-grade, j’ai eu à remplacer deux disques du même modèle (même série) en moins d’un mois d’écart. Mais on ne saura jamais si c’est la série ou la faute à pas de chance.

Merci pour ces précisions.

Je vais effectivement partir sur les disques WD Red Plus (CMR) 6To. A voir si j’achète depuis différent vendeur pour avoir des séries différentes (ça risque juste de devenir plus embêtant pour les retours garantie si nécessaire).

Voici ma configuration mise à jour:

• Case: Fractal Node 804
• Carte mère: Supermicro X11SCH-F
• CPU: Intel Core i3–9300
• RAM: 2x Crucial 32GB DDR4–2666 UDIMM
• Alim: Seasonic Focus GX 550W

• HDD: 6x WD Red Plus (CMR) 6To (1 pool en RAIDz2)
• SSD: 2x WD Red SA500 1To (pour les VMs, en mirroir)
• SSD: 1x WD Red SN700 250Go (pour l’OS)

J’ai également posté sur le forum de la communauté TrueNas, on ma dit que mon alimentation était peut-être un peu juste, et qu’il faudrait voir pour 650W. Je suis un peu étonné, car j’aurais au contraire pensé devoir être plus bas pour être dans une meilleure range d’utilisation.

HDD: 8 x 35 = 280W  
CPU: 62W  
MOBO: 25W  
RAM: 12W (2x 6W)  
FAN: 100W

---- IDLE

HDD: 50W
CPU: 10W
MOBO: 25W
RAM: 12W
FAN: ???

~100-120W I think

-------------

Full charge: 480W x 1.25 = ~600W
IDLE: 600W * 0.2 = 120W

J’ai compté 8 HDD, alors qu’au final j’en aurai 6 avec 2 SSD.
Du coup, j’ai bien l’impression que 550W serait plus adapté, mais j’ai un peu peur de me planter..

Pour la puissance, ça m’étonne aussi, sachant que tu as compté très large pour tes disques durs : en réalité, ils consomment 21 W en pointe (1,75 A sous 12 V) (allez, 22,05 W avec la tolérance de 5 %). Par contre, à vérifier si les 550 W de ton alimentation sont disponibles en sortie, ou si c’est la charge à la prise…

Ce qui m’inquiète beaucoup plus dans les disques durs que tu as choisi, c’est qu’ils ne sont donnés que pour une fiabilité de 10^-14 (même lien, même tableau), ce qui me parait très peu pour des disques durs de cette taille et pour cet usage.

Pour la puissance, ça m’étonne aussi, sachant que tu as compté très large pour tes disques durs : en réalité, ils consomment 21 W en pointe (1,75 A sous 12 V) (allez, 22,05 W avec la tolérance de 5 %). Par contre, à vérifier si les 550 W de ton alimentation sont disponibles en sortie, ou si c’est la charge à la prise…

Je trouve aussi avoir été large, surtout que j’ai 8 disques dans le calcul, et c’est pas les deux SSD choisi qui vont consommé beaucoup.

Comment vérifier ce que délivre réellement l’alim ? Car effectivement, dans ce cas ça pourrait justifier l’utilisation d’une alim plus grande.

D’accord, je ne comprend pas forcément cette valeur et le lien que tu as donné n’est pas accessible. Et < 1 bit sur 10^14, ça fait un risque d’un bit d’erreur sur 100 To ? C’est large non, ou pas tant que ça ? Et ZFS ne détecte pas ce genre d’erreur ?

Edit: après avoir regardé chez WD, la gamme Plus et Pro est à < 1 bits pour 10^{14. Chez Seagate, les IronWolf sont aussi à 10}14, en revanche les IronWolf Pro sont à 10^15.

Par contre le prix n’est pas le même pour le IronWolf Pro, environ 60.- par disque, et une consommation électrique plus élevé…

J’ai corrigé le lien.

D’accord, je ne comprend pas forcément cette valeur et le lien que tu as donné n’est pas accessible. Et < 1 bit sur 10^14, ça fait un risque d’un bit d’erreur sur 100 To ? C’est large non, ou pas tant que ça ? Et ZFS ne détecte pas ce genre d’erreur ?

ZFS pourra la détecter si un checksum est invalide (après un scrub par exemple), le vdev passe alors en mode DEGRADED à et il me semble même qu’il tente alors un self-repair si le nombre d’erreur est acceptable (ce qui est le cas si un seul bit a flippé à un endroit, je suppose).

Enfin, il faut faire attention aux probabilités de bit-flip non pas tellement pour l’usage en continu (que ZFS peut rattraper au pire), mais plutôt dans le cas d’une reconstruction du RAIDZ/Mirror suite à un changement/ajour de disque, impliquant alors lecture massive des données lors du resilvering. Attention, d’après la doc, le resilvering ne vérifie pas tout systémtiquement comme un scrubing (sûrement pour des raisons de performances) :

Scrubbing and resilvering are very similar operations. The difference is that resilvering only examines data that ZFS knows to be out of date (for example, when attaching a new device to a mirror or replacing an existing device), whereas scrubbing examines all data to discover silent errors due to hardware faults or disk failure.

Dernier point : ZFS vérifie bien la cohérence de la structure de son arbre de checksums, ce qui le rend apte à tout vérifier. Mais il n’est pas capable pour autant d’anticiper ou de détecter la défaillance physique des disques durs, il faut plutôt se tourner vers des outils de monitoring type smartmontools pour ça.

Merci pour ces précisions, et ton billet très intéressant qui me pousse à voir les choses bien différemment, et en fin de compte, augmenter un petit peu le prix pour augmenter cette sécurité serait pas si mal.

Avoir ses disques qui crache durant une reconstruction doit être terrible, à ce demander pourquoi on fait du Raid…

Du coup, auriez vous des disques à recommander ?

Attention toutefois : le calcul de mon billet porte sur le cas du RAID 5 – ou toute forme de RAID avec une tolérance de panne d’un seul disque, qui oblige à relire sans erreur l’intégralité des disques restants pour réussir à reconstruire le disque remplacé.

Si tu es dans un cas différent, il faut regarder les processus de reconstruction et ce qu’ils impliquent, parce que ça peut totalement changer le calcul. Je ne connais ZFS, donc je ne peux pas t’aider sur ce point. En particulier, si tu as encore un disque de contrôle pendant la reconstruction, c’est beaucoup plus confortable, parce que ça permettra de corriger une partie des erreurs de lectures, et donc ça peut rendre légitime l’utilisation de disques moins fiables.

Je crois que PC INpact avait expérimenté le pire cas imaginable : la carte contrôleur RAID matériel qui crashe pendant une reconstruction et détruit d’un coup toute la grappe en écrivant n’importe quoi (mais là on est sur une malchance exceptionnelle).

Sinon, ça fait trop longtemps que je n’ai pas suivi le marché des disques pour conseiller un quelconque matériel.

J’ai pas spécialement de marques à recommander. Dans le milieu pro j’ai vu surtout du WD (gammes pro) et du HGST qui était plutôt très haut-de-gamme avec des disques durs de très haute capacité à l’hélium (et très chers). Ces derniers étaient apparemment ultra fiables, mais je n’ai pas spécialement de retour d’XP à leur sujet. Je ne sais pas si c’était grâce à l’hélium, mais des comparatifs HGST devraient se trouver en ligne sans difficulté.

Après avoir un peu regardé, j’ai les disques suivants:

• WD Gold 6To : 194.- CHF
• Seagate IronWolf Pro 6To : 209.- CHF

Soit 90.- de différence sur les disques.
Les deux sont avec un risque à < 1 bit pour 10¹⁵.

Je note tout de même:

Le disque WD Gold semble mieux sur le papier. Je vais donc prendre celui-ci sauf avis contraire.

Edit:

sujet. Je ne sais pas si c’était grâce à l’hélium, mais des comparatifs HGST devraient se trouver en ligne sans difficulté.

D’après ce que j’ai vu sur les IronWolf Pro, ils sont en hélium à partir de 10To, je ne sais pas si ça a un impact.

Je vais encore comparer le WD Gold au HGST Ultrastar pour voir.

Edit 2:

J’ai comparé le WD Ultrastar DC HC310 avec le WD Gold (j’ai comparé les datasheets), et on obtient sensiblement les mêmes valeurs (hormis la vitesse de lecture qui est plus élevé pour l’ultrastar en fait non, j’ai confondu avec la vitesse de l’interface), mais encore faut-il le trouver en SATA (car il est aussi en SAS) et en stock. Donc à priori pas beaucoup d’avantages face au WD Gold.

Edit 3:

Pour répondre à @spacefox :

Je crois que PC INpact avait expérimenté le pire cas imaginable : la carte contrôleur RAID matériel qui crashe pendant une reconstruction et détruit d’un coup toute la grappe en écrivant n’importe quoi (mais là on est sur une malchance exceptionnelle).

Dans mon cas, je n’ai pas de contrôleur RAID matériel, OpenZFS se charge lui même de ça (au contraire, mettre un contrôleur RAID apporte beaucoup de problème de ce que j’ai pu lire sans gain de performance).

Et concernant mon RAID, je vais partir sur du RAIDz2, ce qui correspond à 2 disque de parité. Pour informations, on retrouve les RAID suivant avec OpenZFS:

• Mirror : n disques en mirroir
• RAIDz-1 : 1 disques de parité
• RAIDz-2 : 2 disques de parité
• RAIDz-3 : 3 disques de parité

Le RAIDz-1 est peu recommandé, en tout cas pas en dessus de 2 To et 3 disques. Et RAIDz-3 ne semble pas autrement recommendé, il est préférable de partir du du RAIDz-2 et si nécessaire diviser en plusieurs grapes à partir de 8–10 disques.

Par contre, à vérifier si les 550 W de ton alimentation sont disponibles en sortie, ou si c’est la charge à la prise…

Je trouve aussi avoir été large, surtout que j’ai 8 disques dans le calcul, et c’est pas les deux SSD choisi qui vont consommé beaucoup.

Comment vérifier ce que délivre réellement l’alim ? Car effectivement, dans ce cas ça pourrait justifier l’utilisation d’une alim plus grande.

La puissance d’une alimentation, c’est sa puissance de sortie (combinée entre ses différents rails). Pour voir la répartition de la puissance entre les différents rails, c’est écrit sur le côté de l’alim et sur la fiche technique sur le site du fabricant. Pour une approximation de la puissance d’entrée, il faut grosso-modo diviser la sortie par le rendement (la courbe de rendement est souvent disponible quelque part, notamment en cas de certification 80+*).

De manière générale, les dispositifs de transformation (donc transfos et alims en tout genre, mais aussi moteurs et alternateurs) sont spécifiés selon leur puissance de sortie.

De manière générale, les dispositifs de transformation (donc transfos et alims en tout genre, mais aussi moteurs et alternateurs) sont spécifiés selon leur puissance de sortie.

D’une manière générale, oui. Mais dans le cas particulier des alimentations d’ordinateur, donner la puissance d’entrée était une blague courante chez les fabricants d’alimentations bas de gamme…

L’avantage des PC modernes, c’est que presque toute la puissance est consommée sur le +12 V, et que les alimentations de qualité sont capables de délivrer l’intégralité de leur puissance sur ce même rail. La Seasonic Focus GX 550 W susmentionnée peut sortir 540 W sur le +12 V (attention à bien sélectionner le bon modèle en haut…)

Du coup, plutôt 550W selon vous ?

J’ai déjà commander la 650W, mais je peux encore annuler.

A pars avoir un rendement légèrement moins bon, qu’est-ce que je risque avec une 650W ?

Est-ce que si elle est utilisé à moins de 20% de charge, est-ce un problème ? (les graphiques partent tous de 20%…) car j’ai de la peine à savoir si je serai à plus de 130W en IDLE..

D’une manière générale, oui. Mais dans le cas particulier des alimentations d’ordinateur, donner la puissance d’entrée était une blague courante chez les fabricants d’alimentations bas de gamme…

C’est vrai, il y avait aussi la blague de sommer les puissances des rails pour tripler la puissance. Mais si on reste sur des marques sérieuses comme ici, on devrait rester en terrain légal.

A pars avoir un rendement légèrement moins bon, qu’est-ce que je risque avec une 650W ?

Est-ce que si elle est utilisé à moins de 20% de charge, est-ce un problème ?

Il n’y a aucun risque à utiliser une alimentation surdimensionnée, tant qu’elle est globalement bien construite (et c’est le cas ici). Dans certains cas la longévité supplémentaire (les composants restant "au niveau" plus longtemps, car partant de plus loin) est intéressante, mais à mon avis dans le tien ça ne fait aucune différence.

Le plus gros que tu risques, c’est que ça perturbe des CPL par la déformation de tension, si tu en as et que les conditions sont par ailleurs déjà dégradées. Si tu as un contrat d’électricité pro, il est aussi possible que ça te coûte à peine plus cher pour la même raison — la tension déformante.

Donc, en gros, rien de grave.

Merci pour ces précisions.

J’ai passé commande pour tous l’équipement (enfin j’espère que je n’ai rien oublié )

Il me manque encore un truc. J’imagine qu’il me faut des câbles SATA-iii (aussi pour l’alimentation, je crois que c’est ce qu’on appelle les cable Molex, mais j’ai un vilain doute, si quelqu’un peut me le confirmer ?)

Auriez-vous des recommendations pour ces cables ?

• 6x HDD
• 2x SSD

Je vois qu’avec l’alimentation, il y a deux câble SATA avec 4 connecteurs, est-ce que c’est OK pour brancher 4 HDD sur le même câble ? Ou il faut prendre des câbles avec 2 connecteurs ? et ainsi avoir plus de câble.

Pour simplifier (et pour le style), tu peux avoir directement une baie à disques au lieu de fixer/connecter chaque disque directement dans le boîtier. Avec certaines baies, on met chaque disque sur plateau et elles permettent de retirer et de mettre les disque à chaud, depuis l’extérieur. C’est la baie elle-même qui gère la connectique en son sein, et toi tu n’as plus qu’à brancher la baie aux ports qui vont bien (autant d’ATA que nécessaire et alimentation), ce qui simplifie un peu.

À noter que certains châssis disposent déjà d’une telle baie (les châssis spécialement concçus pour faire des NAS rackables ou non, typiquement).

j’arrive un peu tard, mais quand je lis des chiffres de MTBF et autres indicateurs de fiabilité, mes réflexes professionnels se réactivent.
Tu veux faire un NAS toi-même, soit. Mais tu n’as pas de cahier des charges. Pour pouvoir choisir les disques, l’alim etc, il faudrait tout de même savoir ce que tu attends en terme de disponibilité du système. Par exemple, en cas d’interruption de service, quelle durée est acceptable ?
On peut aussi se demander si il ne vaudrait pas mieux de faire deux systèmes redondants et synchronisés plutôt qu’un gros système dont la carte mère peut lâcher (par exemple).
De même, tout miser sur du RAID ne dispense pas de mettre en place des procédures de sauvegarde et restauration qui ont un impact sur l’utilisation des disques.
De même, il est de bon ton de réfléchir à ce qu’on veut logguer.
Bon, ce que j’en dis est peut être excessif, c’est basé sur une expérience professionnelle dans le domaine du service aux grandes entreprises.