UNRAID. Un OS multifacette.

[Polopretress]

Les premières vidéos sont maintenant accessibles.
Elles seront toujours sur le 3ieme post de la Page 1

Suivre le lien : VIDEOS UNRAID


Vos remarques sont les bienvenues.

[alan.dub]

Bravo
Je regarderais tout ça ce soir avec un peu de pain et du beurre de cacahuète

[Polopretress]

@MLill
Je vais avoir besoin de tes lumieres car je suis en train de préparer la 5ieme video qui va se concentrer sur la gestion des fichiers et de la copie a partir des unassigned disks.
Et pour cela , pour poser une bonne base de structure des données, j'ai besoin de débuter une discussion sur la notion de "disks shares" et "user shares".

J'ai bien compris le concept et les différences (avec leur contrainte respectives) et j'hésite encore....


On va prendre un exemple concret qui consiste a transferer le contenu d'une médiatheque sur l'array.
Cette médiatheque tiend actuellement sur plusieurs disques d'un PC standard.

La logique voudrait que j'utilise plutot un stockage via les "user shares" en créant donc , par exemple, un user-share "mediatheque".
Ainsi, on peut avoir l'avantage de personnaliser les droits d'acces de cette zone.
Je peux exclure ou inclure des disques particuliers (si je le souhaite) mais je ne pourrais controler ou vont se mettre physiquement les fichiers video puisque le principe du "user share" est justement de répartir ces données sur l'ensemble des disques dispo.
C'est très bien, si je dispose d'un ou 2 disques de parité.

Par contre, cela me ferme la porte sur une gestion un peu + "archaïque" mais que je souhaitais personnellement mettre en oeuvre. C'est a dire effectuer une copie de ces fichiers sur des disques redondants qui ne seraient pas en fonction (donc les fameux disques que je garde dans un tiroir "au cas où".
C'est toujours possible mais cela devient bien trop compliqué car le contenu des disques ne serait jamais stabilisé (je pense que tu comprends ce que je veux dire)

Dans cette optique de "disques dans le tiroir", la solution a privilégier semble plutôt de ne passer par la notion de "user share" mais par la notion de "disk share".(donc comme on peut le trouver pour une gestion des données sur windows)
Ainsi, je maitrise ou le fichier est écrit. je rempli le disque puis je fais une sauvegarde qui ira dans le tiroir et je n'ai pas (ou peu) a revenir dessus.
Bien sur avec cette technique, l'emploi de disque de parité devient optionnel.

Donc ma question est qu'elle solution privilégierais tu ?
Sachant que l'emploi des "user share" est quand meme + pro et dans l'esprit d'un serveur de données...
Et ce choix doit se faire dès le début.

[MLill]

Bonjour Plolpretress

Il faut un peut tâtonner pour trouver l'organisation qui correspond à ses besoins.
Mais le système est tellement souple que si tu ne choisis pas l'organisation idéale tu pourras facilement faire machine arrière.

Par défaut tous les répertoires situés à la racine d'un disque sont des "users shares".
Il y a aussi le plugin unbalance qui permet de relocaliser un répertoire sur un ou plusieurs disques.
Sans oublier la possibilité de définir ou d'exclure les disques d'un "user share" que tu as évoquée.

Tant que l'on ne définit pas de disque de parité on peut rajouter et supprimer très facilement un disque de la configuration.
Et utiliser "unassigned devices" pour accéder aux disques qui ne sont pas dans la grappe.
Mais dans ce cas un répertoire ne peut pas occuper plusieurs disques.

Je n'utilise les "disk share" que pour faire le point du contenu d'un disque particulier.
Un des intérêts d'unRaid est de ne jamais être bloqué par la capacité d'un disque.
Si j'ai besoin de 4 To je veux pouvoir utiliser un seul disque ou deux de 2To.

J'ai récemment redéfini mon organisation pour les données cryptées conservées sur d'autres sites.
Une machine unRaid est dédiée à cet usage et je définis une configuration par sauvegarde avec le ou les disques qui y sont affectés.
J'accède à la sauvegarde par un "user share", différent pour chaque groupe de disques, chaque partage (user share) étant une cible d'hyperbackup de DSM.

Dans ce cas particulier je n'utilise pas de disque de parité mais cela serait possible au prix d'une manipulation un peu plus pénible de la configuration.

Michel

PS : je réserve les vidéos pour ce soir

[Polopretress]

oui ok. donc toi , tu es plutot pour l’utilisation des "user-share" meme si l'ensemble des données d'un "user share" est réparti sur plusieurs disques.

Par défaut tous les répertoires situés à la racine d'un disque sont des "users shares".
Il y a aussi le plugin unbalance qui permet de relocaliser un répertoire sur un ou plusieurs disques.
Sans oublier la possibilité de définir ou d'exclure les disques d'un "user share" que tu as évoquée.

Et effectivement, ce qui est interessant avec ce plugin , c'est de pouvoir avoir la fonction que je recherche éventuellement ==>

Code: Tout sélectionner

Gather
Consolidate data from a user share into a single disk

Par défaut tous les répertoires situés à la racine d'un disque sont des "users shares".

tu veux dire que si je transferes de mon Unassigned disk (via Krusader par exemple) un dossier nommé "FILMS" (avec du contenu MKV dedans) sur un disque de la grappe alors il sera automatiquement vu comme un user-share appelé "FILMS" ?

[MLill]

Oui il sera reconnu.
Ensuite tu pourras cantonner le partage réseau sur le disque que tu as sélectionné pour éviter qu'il ne s'étale dans toute la grappe lors de futurs ajouts.

Dans le cas de mon exemple de sauvegarde c'est DSM qui crée le répertoire à la racine du disque (ou des disques), il ne faut surtout pas qu'il préexiste.
Ensuite l'interface permet de configurer les droits d'accès.

Cette souplesse permet aussi de s'en sortir quand un disque a un problème.
On remplace le disque, le reconstruit, puis le remonte via "unassigned devices" et compare l'ancien et le nouveau disque via Krusader.
La panne sans le stress ...

Michel

[Polopretress]

Ensuite tu pourras cantonner le partage réseau sur le disque que tu as sélectionné pour éviter qu'il ne s'étale dans toute la grappe lors de futurs ajouts.

Cétait effectivement la question qui serait venue ensuite
Merci.

OK pour la technique de comparaison en cas de doute sur un disque.


Autre question pour l'opération de pré-clear d'un disque qui n'est pas encore dans la grappe (ou qui vient d'etre rajouté dans la grappe mais que le grappe n'est pas encore lancée ):
Il m'avait semblé (avec les dernieres versions de unraid) que cette opération pouvaient etre lancée manuellement (peut etre après le formatage) et sans recours a un plugin additionnel.
Tu confirmes ?

[MLill]

Le pre-clear fait trois opérations :
- une lecture du disque
- son remplissage par des zéros (ou autre chose)
- une relecture

Et on peut répéter le cycle autant de fois que l'on désire.
Dans un passé lointain cette vérification du disque avant son utilisation pouvait avoir un sens.
Je me contente maintenant d'un passage d'écriture de zéros, sans les lectures, suivie d'une vérification du rapport smart.

Le disque étant rempli de zéros il est opérationnel sans délai lorsqu'il est inséré dans la grappe - la parité n'a pas besoin d'être recalculée.
Si on ne fait pas le preclear c'est unRaid qui se charge d'écrire des zéros sans que le plugin soit nécessaire - et sans qu'on le lui demande.

Dans tous les cas le formatage n'a lieu qu'un fois la grappe redémarrée .
Il ne faut pas oublier de préciser le système de fichiers choisi avant.
Dernièrement je me suis fait piéger en oubliant d'indiquer que je désirai un disque btrfs crypté.

Le preclear m'a surtout été utile lorsqu'il s'est agi de redonner une nouvelle jeunesse à des disques sur lesquels planait la menace de secteurs invalides.

Michel

[Polopretress]

Donc pour effectuer un pré-clear sans l'inclure dans la grappe (par exemple étant monté en unassigned disk), il faut un plugin ?

Il ne faut pas oublier de préciser le système de fichiers choisi avant.
Dernièrement je me suis fait piéger en oubliant d'indiquer que je désirai un disque btrfs crypté.

effectivement, je pensais qu'il était possible de changer le systeme de formatage (avec un disque vide) après lancement du formatage et introduction dans la grappe mais je ne trouve pas....
Dans "settings" / "Disk settings" on peut changer le systeme de formatage par défaut mais c'est pour l’introduction de nouveau disque , je suppose.

Par contre, il faut que je regarde a nouveau des video car pour un disque mis en "unassigned, on peut changer son systeme de formatage. et donc le passer en btfs crypté (mais bien sur , perte de données si tu as commencé a écrire dessus)

désolé si mes remarques peuvent paraitre étonnante mais je découvre et c'est vraiment top
C'est aussi pour cela que je souhaitais faire mes videos au fur et a mesure de mes galeres car cela met le lecteur vraiment en situation de "premiere fois"

[MLill]

La première fois on se pose toujours des tas de questions, mais unRaid est organisé de manière logique et réfléchie.
Quand on se pose une question les concepteurs y ont souvent pensé avant !

Tu peux aussi utiliser un système de fichiers différent du système par défaut.
En cliquant sur le disque on affiche ses propriétés ... mais avant d'avoir démarré le formatage.
Ce sont de petits réflexes à attraper, difficiles à préciser dans une doc, mais qui vont mieux dans une vidéo.

Effectivement le plugin "unassigned devices" permet de manipuler les partitions et les formats.
Je n'ai pas utilisé ces options.

Michel

[Polopretress]

Y a tellement de chose a voir et comprendre !

Je temporise la 5ieme video pour y mettre "unassigned device", "fix common problem" , "Krusader", "pre-clear" et "Unbalanced"
Peut etre en 2 parties (et en se limitant aux disques locaux et pas ceux accessibles via le réseau local sur une autre machine car too much en step 1 ) car ca fait un programme très chargé en une seule video....

Avec "Unassigned devices" et "Unbalanced" , on peut passer d'une grappe non encryptée a une grappe encryptée.

Quand je vois le mot "encrypté" , je me dis que c'est plus sur pour éviter des intrusions illicites mais pas sur...
Peux tu me resumer l'interet de données cryptées ?
Et aussi les contraintes liés au cryptage sur les temps d'acces aux données et leur disponibilité pour les manipuler.

[MLill]

"Fix Common Problems" est un sujet à lui seul !
Je n'ai pas la connaissance d'un produit équivalent que ce soit sous Windows, DSM ou QTS.

Quand je laisse un disque ou un NAS en dehors de mon domicile, je crypte les données.
Sinon je ne crypte pas.
Je n'ai fait aucun test de performances concernant le cryptage utilisé par unRaid.
Le sujet est complexe car il faut prendre en compte le processeur et le support du processeur par le logiciel.
On peut aussi rencontrer des contraintes sur le nom des fichiers ou la structure des répertoires qui font que je n'utilise pas le cryptage de DSM.
Ou un support variable en fonction des versions du système d'exploitation qui font que j'ai abandonné le cryptage de Windows.

Dans le cadre de mon expérience limitée du cryptage d'unRaid mon seul souci est d'avoir à rentrer un mot de passe pour démarrer la grappe.
A part cela son utilisation est transparente.

Michel

[Polopretress]

Je voulais préparer une nouvelle video pour résoudre un souci que j'ai remarqué en mode console mais c'est une vraie poupée Russe. Quand tu tires un fil, tu te rends compte que de nombreuses étapes préliminaires sont nécessaires...
C'est chaud quand meme !
C'est là que l'on ressent l'absence de "plug and play" même si tout a une solution.

Au point ou j'en suis, il me faut modifier le fichier "GO" de la carte flash qui se trouve dans /config.
Tu as déjà édité cela facilement sous Windows ? a priori, il est + prudent d'utiliser "notepad++". Tu confirmes ?

[MLill]

La situation est tellement plus simple qu'il y a dix ans que je peux effectivement ne pas me rendre compte des lacunes subsistantes .
A l'époque il n'y avait pas de mode console ...

Mais pourquoi as-tu besoin de modifier le fichier go ?

Pour le modifier il est effectivement prudent d'utiliser notepad++.
Avec le bloc-notes Windows on peut avoir de mauvaises surprises car les fins de lignes peuvent être mal détectées sous linux.
Sans parler des problèmes que peuvent poser différents encodages des caractères dans un même fichier.

Michel

[Polopretress]

Mais pourquoi as-tu besoin de modifier le fichier go ?

Je te laisse deviner

Il s'agit de modifier un truc "basique" dans l'acces en mode console sachant que par l'acces en mode browser distant le problème ne se pose pas.
Normalement, je devrais pouvoir tout faire par le mode browser mais on ne sait jamais du fait que ce serveur sera a la cave dans ma salle HC.
(et puis, je n'ai acheté une carte GT710 pour rien quand meme ! )

indices :
necessite donc "community application" (meme si on peut le faire ne direct via le lien du plugin)
necessite NERDpack
Dans NERD, necessite "kbd" ==> là, l'indice est trop facile ...
puis un instruction sup a introduire dans le fichier go.

J'ai vu pas mal de demande d'évolution sur le sujet sur le forum unraid mais ce n'est pas encore pris en compte.