Introduction à unRAID

[MLill]

...
Quand je deplace un dossier d un share a un autre je suis a 20Mo seconde.
....

Je suppose qu'il s'agit d'une copie du disque sur lui même.
Sur deux disques différents on plafonne aux environs de 50 Mo/s à cause de l'aller-retour sur le réseau.
Il faudrait que j'intègre ce type de test dans mes benchmarks, pour déterminer si unRaid est plus mauvais qu'un autre sur ce point.

Sauf qu'en faisant un test de copie d'un fichier sur le serveur - Windows en la circonstance - j'ai eu la surprise de voir apparaître ceci :

Copie-Windows.JPG (27.83 Kio) Vu 2149 fois

Ce qui invalide la théorie, imprudemment exposée , d'une limite à 50 Mo/s du temps de copie d'un fichier sur le serveur, le temps de l'aller retour sur le réseau.

En fait dans le cas particulier d'un client Windows reliée à un serveur Windows je n'observe pas d'aller retour.
Le fichier est copié directement sur le serveur.

Copie-Windows-Ressources.JPG (134.03 Kio) Vu 2149 fois

Ci-dessus ce qu'affiche le moniteur de ressources sur le serveur.
Dans un premier temps copie du client vers le serveur, forte activité réseau, faible activité disque.
Puis copie du fichier sur le serveur.
Plus d'activité réseau, et forte activité disque sur un temps beaucoup plus bref (SSD).

En fait la copie d'un fichier sur le serveur s'exécute aussi vite qu'elle soit commandée depuis le client ou depuis le serveur

J'ai tenté l'expérience sur mon DS112+ en utilisant le même fichier de commandes :

La première étape - la plus rapide - se remarque surtout par une activité processeur plus intense.
La seconde, deux fois plus longue, par une réduction de l'activité processeur et une faible augmentation de l'activité disque
Mais toujours la même activité réseau, ce qui confirme la théorie de l'aller-retour imprudemment énoncée.
L'activité réseau est aussi confirmée par le moniteur de ressources sur le client.


Alors qu'en est-il d'unRaid ?

Remarque préliminaire, c'est le seul des trois produits ici comparés à avoir un moniteur de ressources qui indique le minutage ce qui permet un pointage à posteriori par rapport à l'heure de début et de fin des traitements.

La première phase la plus brève est toujours la copie du PC-client vers le serveur.
Après ... plus d'activité réseau durant la copie du fichier sur le serveur.

Le fait de lire et d'écrire sur le même disque peut expliquer la lenteur de la copie sur le serveur.
Il me reste à effectuer le même test avec une SSD sur le serveur ...

Malgré le handicap d'un disque 2"5 5400 rpm le serveur unRaid reste plus performant dans cet exercice que le DS112+ muni d'un 3"5 7200 rpm.

[MLill]

Si unRaid ne passe pas par le réseau pour la copie d'un fichier dans un répertoire, qu'en est-il lorsque l'on désire copier un fichier d'un disque externe dans la grappe ?

Pour cela installons le plugin SNAP, qui permet de partager sur le réseau des disques hors grappe unRaid.

Copions :

Code: Tout sélectionner

https://github.com/dlandon/unraid-snap/raw/master/snap-x86_64.plg

... dans l'écran d'installation :

Dans la première ligne de l'écran paramètres est maintenant disponible l'icône SNAP.

... qui permet de partager un disque sur le réseau.

On clique sur la ligne du lecteur choisi pour lui donner un nom de partage (ici NOMADE).
Le menu contextuel (clic droit) permet de monter et partager le disque.

Une fois ceci fait les icônes M (Mount) et S (Share) sont en vert.
Au passage on peut noter que le disque formaté en NTFS est lisible par unRAID.

Sur le PC client Windows, le dossier Nomade est maintenant partagé :

04-explorateur.JPG (36.51 Kio) Vu 2135 fois

En résumé, c'est encore plus simple à faire qu'à expliquer

...

[MLill]

Maintenant nous pouvons exécuter, au moyen de l'explorateur Windows d'un poste client, la copie du disque USB dans la grappe (sans disque de parité).

05-copie.JPG (30.27 Kio) Vu 2131 fois

Les 60 Mo/s affichés par Windows laissent de l'espoir ...

Mais hélas le moniteur de ressources témoigne de l'activité réseau durant tout le transfert entre 16h19 et 16h20.

J'ai répété le test en fermant toute les fenêtres de monitoring, en exécutant un fichier de commande ...
Rien n'y fait, contrairement à ce que laissait espérer la boîte de dialogue Windows, le débit moyen plafonne à 53 Mio/s.

Ce qui n'est certes pas mauvais mais moins bon que lorsque l'on connecte le disque USB au PC-client pour y tranférer les fichiers dans la grappe (jusqu'à 103 Mio/s dans cette configuration).

Reste à faire le tri entre les opérations qui sont faites directement sur le serveur - telles que le déplacement ou la copie d'un fichier sur le même disque - et les autres.

Bref un gestionnaire de fichiers (file manager) sur le serveur unRaid ne serait pas inutile.

[MLill]

Je suis à la recherche d'un plug in pour pouvoir gerer les fichiers directement sur le NAS, sans passer par l'explorateur windows.
un peu comme file station de chez Synology par exemple...

J'ai "trouvé" une solution robuste mais fruste qui pourrait éventuellement te satisfaire.
La présentation est sommaire mais la navigation est simple et il n'y a ni commande ni nom de fichier à taper.

Transferring Files Within the unRAID Server

Midnight commander

En pratique il faut installer Putty (un classique !) si ce n'est pas déjà fait sur son PC.

Puis lancer une session Telnet.

10-putty.JPG (48.59 Kio) Vu 2121 fois

Ouvrir la session (par défaut il suffit de taper root sans mot de passe).

11-midnight-commander.JPG (24.83 Kio) Vu 2121 fois

Taper "mc" pour lancer Midnight Commander.

A ce stade on dispose de deux panneaux permettant de sélectionner un répertoire cible et un répertoire source.
L'on passe de l'un à l'autre par la touche de tabulation.
On sélectionne les opérations par les touches de fonction en suivant les indications en bas de l'écran.
On navigue entre les répertoires au moyen des flèches du clavier et de la touche entrée.

Reste à connaître quelques éléments de l'organisation des répertoires en Linux.
Le disque 1 se trouve, par exemple, en /mnt/disk1 (deuxième ligne ci-dessous).

Ensuite j'ai lancé la copie.
Pas de trafic réseau et au final environ 65 Mio/s à cause d'un décalage entre le début de la lecture et le début de l'écriture.

Les écrans doivent être beaucoup plus clairs avec une option linguistique US

[athoriac]

Encore merci pour ce tuto, je teste ça des que j'ai resolu mon petit soucis..

Voila depuis la semaine derniere, j'ai monté ce NAS mais je tourne sans disque de parité.

j'ai monté un premier disque de 4T, sur lequel j'ai copier tous mes fichier a partir de mon ancien serveur.
en copiant les fichiers je me suis aperçu qu'un disque etait defaillant, mais fonctione encore.

j'ai tout de meme ajouter a unraid les 4 disques dur de mon ancien serveur, 3 x 2T, et un disque de 500Go pour le cache.

je me retrouve donc aujourd'hui avec:

0 disque de parité
1 disque cache de 500G
disk1 4T
disk2 2T
disk3 2T
disk4 2T "hs"

dans les shares j'ai exclu le disk4, dont il est juste formaté en btrfs, mais est theoriquement vide.

jusque la tout ce passe bien.

je decide de debrancher le 2T "hs" et le remplacé par le second 4T que j'ai recu du sav aujourd'hui.

Et je vois pas comment faire ça, j'ai l'impression que l'utilisation d'un disque de parité est obligatoire. Pour le moment je n'en ai pas encore, car je ne me suis pas decider a savoir si j'utilise un disque de 4T ou un disque de 6T.
car si j'utilise un 4T je ne pourrai pas mettre de disque de 6T dans l'array...

qu'en pensez vous ?

merci
++
léo

[MLill]

Oui c'est une sécurité qui n'a pas de sens.

Le plus simple est de sauvegarder le contenu de la clef USB - ou du moins le répertoire \\serveur\flash\config.
Pas besoin de débrancher la clef USB du serveur pour les sauvegardes.

Puis arrêter la grappe.
Ensuite menu "Tools" option "New config".
Puis réaffecter les disques un par un, dans l'écran "Main" "Array Devices".

Enfin redémarrer la grappe.

Le disque de parité doit avoir la plus grande capacité.
Mais on peut très bien remplacer un disque de parité de 4 To par un disque de 6 To le jour où l'on a décidé d'utiliser au moins un disque de données de 6To.

Michel

[athoriac]

Le disque de parité doit avoir la plus grande capacité.
Mais on peut très bien remplacer un disque de parité de 4 To par un disque de 6 To le jour où l'on a décidé d'utiliser au moins un disque de données de 6To.

oui, c'est finalement la solution que je vient de tenté, sauf que j'ai un soucis, en montant ce second disque de 4T.

il me dit que ce second disque n'est pas le plus gros disque de l'array, alors que c'est le meme que le premier.

en regardan dans les option smart, je m'aperçoi bien que ce second disque est a peine plus gros que le premier, bizarre.

il me propose un parity swap

les choses ce corse ...

++
léo

edit: apparement on peu suprimer une certaine fonction "hpa", je vais suivre un tuto present sur le forum de lime...

[MLill]

En cas de nouvelle configuration, peu importe les disques qui sont montés.
Il suffit juste que le disque de parité soit le plus gros.
Mais comme tu n'as pas de disque de parité il n'y a aucune raison.
Cela dit il pourrait être suffisant de déclarer le second disque comme premier disque.

Si les deux disques de 4 To sont neufs et d'un même modèle je ne comprends pas ce qui peut se passer.

Michel

[MLill]

J'ai lu ce sujet sur l'HPA.
Juste pour découvrir de quoi il s'agit.

Si il n'y a pas moyen de désactiver cette fonction c'est un souci pour le présent et le futur.

Sinon j'ai fait l'expérience de configurations sans disque de parité avec des disques de tailles différentes, rajoutés, remplacés, supprimés, sans jamais rencontrer de contrôle sur la capacité des disques.

J'ai aussi expérimenté le "parity-swap".
Il s'agissait de remplacer un disque défectueux de 1 To par un disque de 3 To alors que le disque de parité était lui aussi de 1To.

Michel

[athoriac]

Hier soir j'ai essaye de supprimer ce HPA, sans succes a chaque reboot c'etait pareil, bien que la modif etait ok avec le soft HDAT2.

ce matin apres un nouvel essaye j'ai enfin reussi a le désactivé , il falait egalement desactivé la fonction dans HDAT2.

Bref unraid, acepte maintenant mon second 4T comme disque de parité..

c'est parti pour 10hrs de "parity-sync"...

++
léo

pour info, j'ai crée une cle usb bootable avec Rufus http://rufus.akeo.ie/downloads/rufus-1.4.12.exe
et j'ai copier hdat2 http://www.hdat2.com/files/hdat2_50.exe
j'i rebooté sur cette cle usb, et j'ai lancé l'exe hdat2_50.

ensuite attention a bien choisir son disque, le mieux est de booté avec ce seul disque de branché.
une fois le disque choisi.
j'ai utlisé la fonction auto remove HPA, qui a tres bien fonctioné.
ensuite dans modify --->Host Protected Area feature, choisir remove.
j'ai quitté proprement le soft, et rebooté le nas en remetant en place la cle UNRAID .

[MLill]

Merci Léo, pour ces précisions

Je fais un "preclear" des disques avant de les insérer dans la grappe.
C'est un bilan de santé du disque, non indispensable.
Par contre horriblement long même si il s'exécute en arrière-plan sans interférer avec le fonctionnement du serveur.
Après "preclear" l'ajout d'un disque de données dans la grappe est instantané car il n'y a pas de parité à recalculer (tout est à 0 sur le nouveau disque).

Michel

[athoriac]

ok,
le pre-clear ce fait enl igne de commande ?

merci

[MLill]

Oui c'est juste une instruction à passer en ligne de commande.
Le paradoxe est que l'on peut suivre son avancement dans l'interface !

unMenu est une deuxième interface d'unRaid qui donne accès à des fonctions complémentaires.
Screen permet de lancer des sessions en ligne de commande et d'exécuter des programmes sans laisser l'ordinateur à partir duquel on a lancé la session allumé.
On peut aussi lancer plusieurs sessions ce qui permet par exemple d'initialiser (preclear) plusieurs disques en parallèle.

installation d'unMenu
installation de Screen
Preclear avec Screen
Preclear sans Screen

Michel

[athoriac]

encore merci, de tes tutos.

je reviens sur le plugin SNAP.

je souhaiterai sauvegarder de manière hebdomadaire, le contenu de deux share, sur un disque dur externe au pc, mais connecté en permanence, par exemple en USB.
est t'il possible de programmer une sauvegarde, automatique qui copierai le contenu de mes share vers ce HDD, qui serait mis sous tension automatiquement lors de la copie !!

sinon quel plug'in pourrai faire ça ?

merci

[MLill]

La programmation automatique de sauvegardes par rsync ou crashplan est possible.
Par contre si Synology et QNAP ont une interface utilisateur graphique pour définir et lancer des sauvegardes ce n'est pas le cas d'unRaid.
Il faut passer directement par l'ordonnancement des tâches dans Linux.
Il y a aussi un plugin crashplan mais qu'il faut peut-être un peu détourner de son usage pour faire des sauvegardes locales.

Il existe aussi une commande pour arrêter (spin down) et démarrer un disque (spin up) et programmer le temps de mise en veille.
Je suppose qu'il s'agit de hdparm.

A tester/vérifier.

Michel