[Synthese] NAS: Choix, Configuration, exploitation, support.

[basthi]

Au moins le RAID 0 avait obligatoirement besoin des 2 disques pour démarrer...

Code: Tout sélectionner

RAID 0 Disque 1 : I.p.s.i.l. d. d.m.r.e.
RAID 0 Disque 2 : .m.o.s.b.e .e .é.a.r.r


+++
Basthi

[alan.dub]

C'était, bien sur , avant l'arrivée des ssd.
ssd qui, au passage, dans 2/3 ans vont tout déchirer et renvoyer nos bons vieux disques durs a la benne a recyclage.
Donc investir aujourd’hui dans un NAS laisse aussi à réfléchir.

Tarifs des SSD dans 2 / 3 ans pour avoir 16 To ?
Je ne crois pas qu'ils aient d'ici là atteint le tarif des HDD

Après si je me trompe... tant mieux

PS : Vive le SHR

[Polopretress]

C'est pour cela que je mettais le curseur a 2/3 ans car la potentiel du ssd a forte capacité va prendre le dessus mais a quelle échéance en terme de prix, c'est pas évident de le prévoir mais 2/3 ans ne me parait pas déconnant.
La techno est assez simple a industrialiser (+ simple qu'un DD avec sa mécanique) dès que les quantités vont exploser.

C'est peut etre Sansung qui va bouleverser le marché.
A priori on devrait pouvoir disposer de capacité de l'ordre de 8 To a des pris raisonables. Sachant que la techno du disque dur arrive a ses limites actuellement.
Wait and see.

[MLill]

J'ai constaté les prix suivants par To pour les SSD
- 2012 : 600 €, 46 € pour les HDD
- 2016 : 300 €, 40 € pour les HDD
- 2020 : 150 €, 38 € pour les HDD (25 € mini en entrée de gamme)

L'écart entre les capacités disponibles s'est aussi réduit et n'est plus aujourd'hui que de 1 à 4 (4To contre 16To).
En 2012 il était de 1 à 25.

En prolongeant les courbes on peut penser que, pour le stockage de grands volumes de données, la bascule de HDD à SSD se produira dans un peu moins de huit ans.

Michel

[Polopretress]

Je ne serai pas étonné que les courbes s’accélère sur le SSD qui va devenir de + en + une techno mature. Peut etre que le + gros souci va etre le refroidissement.
Dans 4 ans grand max. On verra

[MLill]

L'arrivée des SSD va aussi obliger les constructeurs de NAS à revoir leur gamme de produits.
Synology s'y met tout doucement
https://www.synology.com/fr-fr/products/DS419slim
https://www.synology.com/fr-fr/products/DS620slim

Michel

[Polopretress]

Ha oui ok, j'avais vu ces nouveaux slim en 2.5" (en me disant : "dommage , j'ai des disques 3.5") mais je n'avais pas fait le rapprochement avec le format aussi des ssd !

[Rahan06]

Yop !

Ca fait un moment que je n'ai rien posté
Bonne année à tous ; on est encore dans les clous !

Alors… 2/3 trucs en vrac.
Eu égard la taille des disques aujourd'hui, la probabilité de crash d'un second disque pendant une reconstruction est exponentielle par rapport à ladite taille. En d'autres termes, on avait peu de chance de perdre un volume RAID5 si on reconstruisait la grappe composée de disque de 1TB ou 500MB... avec des disques supérieurs à 6TB (8, 10, 12… 16), le risque grimpe en flèche.
Perso… c'est RAID6 (SHR ou non, c'est un autre débat).

Sinon… petit retour d'expérience…
Je possède un NAS DS1815+ qui jusque-là était équipé de 8 HDD de 6TB en RAID6 donc.
Le soucis : formatage "historique" en EXT4... et je voulais du BTFRS.

Une opportunité : je viens d'acquérir 5 HDD IronWolf de 16TB.
La problématique : comment sauvegarder les 25TB que j'avais…

La méthode (y'a p'être mieux mais bon)…
- Sauvegarde sur un des 16TB d'une partie des données via un dock connecté en USB au PC (et donc via le réseau) : Mouarf… le temps… quelques jours :-/
- Ejection d'un HDD de 6TB du NAS et insertion à la place d'un autre 16TB et backup du reste des données dessus. Création d'un volume simple sur ce 16TB (volume 2).
- Sauvegarde de la conf du NAS sur le PC.
- Désinstallation de certains services
- Migration de MariaDB vers ce nouveau volume
- Destruction du groupe et du volume 1 composé des disques 6TB
- Insertion des 3 disques de 16TB restant
- Création d'un nouveau groupe et volume "1" sur ces 3 HDD de 16TB (SHR-1) - BTFRS.
- Restauration de la conf du NAS
- Migration des données précédemment sauvegardées vers ce nouveau volume
- Réinstallation des services
- Migration de nouveau de Maria DB
- Destruction du volume 2 et insertion du 16TB précédemment dans le dock
- Expansion du volume 1 avec ces 2 HDD de 16TB pour un volume "final" composé de 5 HDD en SHR-2

Alors voilà… l'expansion à commencé hier soir vers 18h... il est près de minuit et nous en sommes à... 7,5% de l'accomplissement de la tâche.
Va bien falloir une bonne semaine pour que le volume complet soit dispo.
Qu'est-ce que ça va être le jour ou j'ajouterai les 3 HDD supplémentaires

En espérant que cela soit utile à certains

@+

Rahan

[Polopretress]

ça fait peur ça .... !!!
Bon ba moi je pars sur des disques en double. (faut je trouve un bon boitier pour acceuillir tout ca)
Trop galere et trop risqué ce systeme avec des gros disques.

merci !

[MLill]

Etant fatigué de gérer des disques durs un par un, j'ai retenu unRaid en 2012 pour l'archivage et le multimedia (pour le 24h/24 j'utilise deux DS-716).

Chaque disque conserve son propre système de fichiers, la parité étant gérée sur un ou deux disques dédiés.
En cas de perte d'un disque on peut le recréer à partir des autres et des disques de parité.
On ne court jamais le risque de perdre toute la grappe.

En cas d'extension on peut changer le disque de parité puis recopier le contenu d'un des disques sur un disque plus gros et de nouveau recalculer la parité.

Le contrôle du contenu des disques - il peut se dégrader même si ils ne sont pas utilisés - se fait par un contrôle de parité périodique.

Pour conserver un temps de contrôle et de remplacement raisonnable d'une dizaine d'heures je n'utilise encore que des disques de 4To au maximum.
Dans certaines grappes d'archivage subsistent des disques de 500 Go régulièrement contrôlés.

Le système est cependant limité par ses débits en écriture de l'ordre de 40 Mo/s, au lieur de plus de 110 Mo/s pour des gros fichiers sur un réseau gigabit.
En lecture on est limité par le débit maximal d'un disque.
On peut contourner plus ou moins ces limitations en utilisant un cache SSD.

Cerise sur le gâteau, le système a aussi remarquablement évolué en 10 ans, notamment grâce à sa gestion de la virtualisation.
J'utilise ainsi des VM-Librelec pour le Home-Cinéma, solution qui convient le mieux à mes besoins actuels.

Michel

[Rahan06]

Yop !

Ca fait un moment que je n'ai rien posté
…/...

Sinon… petit retour d'expérience…
Je possède un NAS DS1815+ qui jusque-là était équipé de 8 HDD de 6TB en RAID6 donc.
Le soucis : formatage "historique" en EXT4... et je voulais du BTFRS.

Une opportunité : je viens d'acquérir 5 HDD IronWolf de 16TB.
La problématique : comment sauvegarder les 25TB que j'avais…

La méthode (y'a p'être mieux mais bon)…
…/...

Alors voilà… l'expansion à commencé hier soir vers 18h... il est près de minuit et nous en sommes à... 7,5% de l'accomplissement de la tâche.
Va bien falloir une bonne semaine pour que le volume complet soit dispo.
Qu'est-ce que ça va être le jour ou j'ajouterai les 3 HDD supplémentaires

En espérant que cela soit utile à certains

@+

Rahan

Hello,

Vous vous souvenez de mon petit post ci-dessus (post tronqué volontairement et désolé de me citer moi-même).

Bon.. Eh bien c'est pas gagné : le Wizard du DSM m'a donc proposé de passer en SHR-2 et d'agrandir le volume pour utiliser les 5 disques de 16 TB.
Le passage en SHR-2 est fini… youpi… presque 1 mois après …

Ce que j'ignorai, c'est que l'opération consistant à agrandir le volume se ferait… après !
En d'autres termes, je suis reparti pour des jours (semaines) pour passer d'un volume exploitant les 4 disques en SHR-2 à un volume exploitant les 5 disques !

Je ne m'y attendais pas.
Soit, le volume initial SHR-1 sur 3 disques était presque plein (plus de 25 TB utilisé)… mais je pensais que la double opération pour passer en SHR-2 et ce, sur 5 HDD, se ferait en même temps… raté

Le seul truc qui m'avait intrigué : 4 HDD apparaissaient en statut "normal" alors que le cinquième avait un statut "initialisé".
Celui-ci est désormais en "normal" mais j'ai de nouveau une opération de modification en cours…

Je vous explique pas comme les disques bossent à fond 24/24 - 7/7 … :-/
J'imagine ce que cela sera quand j'ajouterai ultérieurement 3 autres HDD...

Voilà… c'était la suite de mon petit retour d'expérience… pas cool quand même que cela soit décomposé en une double opération.

Bonne soirée,

Rahan

[Polopretress]

Truc de dingue !

La solution Unraid est quand meme bien + souple la dessus. les disques restent indépendants et le(les) disques de parité font le boulot.
J'ai meme l'impression que si l'on pré-clear les nouveaux disques que l'on veut rajouter , ca doit aller assez vite a reconstruire une parité vu qu'elle n'est pas modifiée.

Depuis la remarque de MLill et une conversation // sur un autre forum/lieu, j'ai aussi décidé de partir sur Unraid avec virtualisation d'un PCHC en prime (sous Win10).
Je construis peu a peu ma conf a base de Ryzen 5 et je me documente pas mal sur la notion de VM (avec carte graphique et ressources USB en Passthrough) et Dockers car c'est un monde que je découvre et malgré ma connnaissance de windows, ca change du tout au tout mes références.

C'est compliqué, risqué mais j'ai envie d'aller au bout de la démarche.
Y a interet a bien maitriser l'Anglais car peu de chose concrète en langue FR.

[MLill]

Bienvenue au club

Dans le cas de la migration de Rahan impliquant à la fois le changement de système de fichiers et le remplacement des disques de 6To par des 16To il aurait été possible de conserver dans la même grappe des disques de 6 To en REISERFS (plus ou moins équivalent à EXT4) et des disques de 16 To en BTRFS.
Comme j'essaye de toujours conserver un slot de libre j'aurais remplacé le disque de parité de 6To par un premier disque de 16To, puis mis un disque de 16To dans le slot libre et recopié le contenu de deux disques de 6To dans ce nouveau disque.
Etc ...
Bon, il faut quand même être patient, mais un peu moins

Michel

[Rahan06]

Bienvenue au club

Dans le cas de la migration de Rahan impliquant à la fois le changement de système de fichiers et le remplacement des disques de 6To par des 16To il aurait été possible de conserver dans la même grappe des disques de 6 To en REISERFS (plus ou moins équivalent à EXT4) et des disques de 16 To en BTRFS.
Comme j'essaye de toujours conserver un slot de libre j'aurais remplacé le disque de parité de 6To par un premier disque de 16To, puis mis un disque de 16To dans le slot libre et recopié le contenu de deux disques de 6To dans ce nouveau disque.
Etc ...
Bon, il faut quand même être patient, mais un peu moins

Michel

Yop !

Relis mon post : c'est ce que j'ai fait… mais après, j'ai réintégrer ce disque à la nouvelle grappe en BTFRS (tout comme son copain dans le dock) et ce, après recopie des données du 16TB vers le nouveau volume en BTFRS.

Dans tous les cas, c'est long !

A priori, c'est la passage de SHR-1 vers SHR-2 qui a été super long !!
Là, l'agrandissement de la grappe est à 25%.. on croise les doigts.

Rahan

[MLill]

Excuses moi j'avais mal suivi tes opérations sur les volumes

Reste l'estimation du temps de migration que je fais compte tenu de mon expérience avec des disques de 3To et 4To.
Intégrer les 8 disques de 6To dans la grappe prend environ 16H par disque soit 128H.
Il faut ensuite recalculer la parité sur 16To, environ 42H, donc j'arrive à 190H soit au total 8 jours.

Michel