Modérateurs: Modération Forum DIY, Modération Forum Installations, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 36 invités

Conseils, Guides et Tutos pour le stockage et réseau
Règles du forum
Avant de poster, merci de prendre connaissance des règles du forum : à lire avant de poster

UNRAID. Un OS multifacette.

Message » 20 Aoû 2020 9:48

Polopretress a écrit:Je ne suis pas sur que pour le besoin de HAZGOD3, il faille se prendre la tête avec un outil de synchro en laissant les données dans le qnap vu qu'il veut transférer seulement sans assurer une re-synchro dans le futur.
Après en terme de temps de transfert c'est peut etre aussi performant.

Je ne connais pas les NAS Qnap et le systeme de formatage utilisé mais s'il utilise un systeme de formatage connu de unraid, perso, je retirerai le disque a copier du qnap et je le monterai dans unraid via "unassigned device" puis copie dans les user share de unraid via krusader.

Donc je ne passerai pas en SMB via un montage de disque réseau par unassigned device puisque par ce biais le débit est limité a 100-120 Mo/s et qu'il peut quasiment doubler le débit en déplacant physiquement le disque a copier (sans parler que le montage du disque physique est + simple a configurer qu'un partage de disque réseau via unassigned devices (par exemple, je n'ai jamais réussi a mettre cela en place sur mon PC Windows mais peut etre que de NAS a NAS, c'est + simple)


Et aussi pour répondre aune autre question : oui, il faut mettre en place le cache après cette opération de transfert de données (ou alors mettre le cache en place avant mais ne pas valider l'utilisation du cache sur le user share où tu va effectuer ces transferts.
De la meme facon, l'ayant fait comme cela de mon coté, je ne te conseille pas de mettre en place le disque de parité avant d'avoir réalisé ces transferts. Cela divisera au minimum par 2 voir 3 les temps de transferts. Le disque de parité peut etre rajouté après et le calcul de parité serait fait en temps masqué.

Pour le cryptage, je n'ai pas d'avis. peut etre inutile si les disques restent physiquement dans la meme systeme.


C'est clair que je suis habitué aux outils de synchronisation et que je les utilise à temps et à contretemps ;).
L'option de montage des disques que tu proposes est plus simple et plus rapide.

Ceci-dit l'organisation des disques de QTS peut être complexe avec des volumes regroupant plusieurs disques qui ne peuvent être montés individuellement dans un autre système même si ils sont formatés en EXT4.
Mais même une simple grappe RAID est difficile à exploiter en dehors de son système d'origine.

Actuellement mon TS-253A est configuré en QTIER
J'aimerais qu'unRaid, peut être dans une v10 ;), s'occupe aussi de mettre sur une grappe SSD les données que je consulte quotidiennement et relègue dans des disques à l'arrêt celles que je n'ai pas consultées depuis des mois ...

L'organisation en plusieurs grappes d'unRaid, dont nous avons discuté ci-dessus, est simplissime par rapport à ce que propose QTS ...

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19154
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 20 Aoû 2020 12:01

Mon usage du plugin "CA User Scripts" :

2020-08-18-user-scripts-1.jpg


Les tâches peuvent, optionnellement, être planifiées (je n'utilise pas cette fonctionnalité)
2020-08-18-user-scripts-2.jpg
2020-08-18-user-scripts-2.jpg (27.75 Kio) Vu 1064 fois


"User scripts" me sert, en particulier, aux sauvegardes par synchronisation.
L'autre option consiste à utiliser des plugins tels que "CA Backup and Restore" ou "Duplicati".

Backup Appdata
Appdata regroupe les données des conteneurs (docker containers) et des VMs.
Le plugin "unassigned devices" permet de monter le dossier partagé "SvgUnRaid" du NAS Synology dans lequel sont effectuées les sauvegardes.
Les instantanés, gérés par DSM, permettent d'accéder à d'anciennes versions.
Comme certains répertoires contiennent de nombreux fichiers inutiles à sauvegarder, ou d'autres avec des droits particuliers, je ne synchronise que certains d'entre eux.
Code: Tout sélectionner
dir="/mnt/disks/DS716_SvgUnRaid/Appdata/Array-1"
src="/mnt/user/appdata"
rsync -a --delete --no-o $src/smartreport/ $dir/smartreport/
rsync -a --delete --no-o $src/dokuwiki $dir/dokuwiki
...

Le répertoire Smartreport qui contient les rapports smart - script ci-dessous - n'est pas lié à un conteneur ou à une VM.

Backup Config
Le dossier "config" de la clef USB contient l'information sur la grappe et les plugins.
Y figure en particulier la définition en XML (plugins/dockerMan/templates-user) des conteneurs qui permettent de regénérer l'image docker.img
Code: Tout sélectionner
rsync -a --delete --no-o /boot/config/ /mnt/disks/DS716_SvgUnRaid/Flash-UnRaid/Array-1/config/


Backup Flash Drive
Il peut être utile d'avoir accès à une ancienne version de la clef USB, par exemple pour restaurer une ancienne version d'unRaid.
Code: Tout sélectionner
rsync -a --delete --no-o /boot/ /mnt/disks/DS716_SvgUnRaid/Flash-UnRaid/Array-1/


Backup VMs
Je n'en jamais eu besoin, mais, par principe, je sauvegarde les images des machines virtuelles.
Code: Tout sélectionner
rsync -a --delete --no-o /mnt/user/domains/ /mnt/disks/DS716_SvgUnRaid/VMs/


Backup VM Settings
Indispensables pour regénérer les VM, leurs définitions en XML
Je sauvegarde le dossier nvram, au cas où j'y trouverais une utilité (problème en suspens ;))
Code: Tout sélectionner
dir="/mnt/disks/DS716_SvgUnRaid/VM-Templates/Array-1"
src="/etc/libvirt/qemu"
rsync -a --delete --no-o $src/*xml $dir/xml/
rsync -a --delete --no-o $src/nvram/* $dir/nvram/


Import from DS716 NAS
Ici il s'agit de sauvegarder sur la grappe unRaid des dossiers du NAS ...
Code: Tout sélectionner
dir="/mnt/user"
src="/mnt/disks"
echo "Synchro /Share-1"
date +%H:%M:%S
rsync -a --delete --no-o $src/DS716_Share-1/ $dir/Share-1/
date +%H:%M:%S
rsync -a --delete --no-o $src/DS716_Share-2/ $dir/Share-2/
...


Smart Report
Depuis sa version 6, unRaid gère les rapports SMART.
Mais, mon besoin étant de détecter les nouveaux incidents, en faisant abstraction des dégradations passées, il me manque un historique.
Les références des disques (sda, sdb ...) et leurs identifications sont copiées à partir de l'écran principal.
Code: Tout sélectionner
echo "please remember to spin up all drives before running this script"
smartctl -a -d sat -T permissive /dev/sdb > /mnt/user/appdata/smartreport/ST2000LM003_HN-M201RAD_S321J9XXXXXXX_`/bin/date +%Y-%m-%d`.txt
smartctl -a -d sat -T permissive /dev/sdc > /mnt/user/appdata/smartreport/ST2000LM003_HN-M201RAD_S321J9YYYYYYY_`/bin/date +%Y-%m-%d`.txt
...


On peut compléter ce script par un bref "benchmark" des disques
Code: Tout sélectionner
hdparm -Tt /dev/sdb > /mnt/user/appdata/smartreport/ST2000LM003_HN-M201RAD_S321J9XXXXXXX_`/bin/date +%Y-%m-%d`.speed
hdparm -Tt /dev/sdc > /mnt/user/appdata/smartreport/ST2000LM003_HN-M201RAD_S321J9YYYYYYY_`/bin/date +%Y-%m-%d`.speed
...


Tous ces traitements peuvent être généralisés, par exemple en remplaçant les scripts par l'appel à des routines php.

Michel
Dernière édition par MLill le 13 Sep 2020 10:31, édité 1 fois.
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19154
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 20 Aoû 2020 16:09

MLill
oui je vais bien prendre mon temps sur tout ça j'ai déjà commencer a installer des Plugins sans avoir mis les HDD .


Polopretress

Alors la tu ma surpris si le System de formatage de Qnap et compatible avec Unraid je peut carrément mettre les HDD dans mon future nas :o je vais faire quelle que recherche si c'est compatible sa serra un gros gain de temps merci. Mais si c'est pas compatible j'aurai pas le choix de passer via a SMB?

ajouter les HDD de parité après avoir fini de transféré mes fichiers ? j'avais pas penser a ça et tu me confirme que je pourrai bien utiliser unraid comme cette fonction ce fait en font du system? Mais je voulais faire un preclear avec tout mes HDD en même temps si j'applique ton astuce je vais devoir faire deux preclear non ?
En parlent de preclear je doit le faire un preclear puis formater ou l'inverse ? Les SSD je doit faire également un preclear ou il faut éviter ?
HAZGOD3
 
Messages: 16
Inscription Forum: 16 Mai 2020 2:51
  • offline

Message » 20 Aoû 2020 18:18

@MLiLL
Ouos, j'avais oublié en effet que le stockage des données sur un nas pouvait utiliser plusieurs disques pour un meme fichier. dans ce cas, pas d'autre choix que de laisser les données ou elles sont et de passer par un lecteur réseau via unassigned devices...

Merci pour tes scripts. je regarderai aussi a mon retour de congés :thks:

je vais faire quelle que recherche si c'est compatible sa serra un gros gain de temps merci. Mais si c'est pas compatible j'aurai pas le choix de passer via a SMB?
oui, c'est ca. voir ma remarque ci dessus. J'avais oublié... et si tu es en raid5/6 alors c'est mort, tu devrais passer par SMB.


MLiLL confirmera mais pour moi le Pre-Clear n'est utile que si tu veux gagner du temps pour rajouter un disque. Ainsi en étnt pré-clear, l'operation de recalcul de la parité est instant.(puisque la parité n'est pas modifiée)
Quand tu construis ta grappe, vu que la parité devra etre calculée sur l'ensemble des données des disques, le pré-clear n'a aucun interet (sauf a éventuellement tester ton disque avant son intégration dans la grappe)
Donc oui, je confirme. Au début, il est préférable d'écrire ses données avant de rajouter le disque de parité.(gain en vitesse d'ecriture sans compter le gain en usure des disques)

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14292
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 20 Aoû 2020 19:28

Oui tout à fait le preclear permet un rajout de disque instantané dans une grappe RAID.
Cela peut permettre aussi de tester un HDD neuf, mais je ne le fait que si le disque est destiné à une grappe unRAID.

Le preclear est aussi utile lorsque l'on a détecté des erreurs dans le rapport SMART.
Certaines erreurs peuvent disparaître et je considère alors le disque comme "neuf".

Cela n'a pas d'utilité pour un SSD, pour le remettre en forme j'utilise un "secure erase".
En théorie il ne faut pas utiliser de SSD dans la grappe unRAID mais uniquement dans le cache et le futur pool.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19154
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 21 Aoû 2020 18:47

Tu avais raison MLill la version 6.9 est bien pour la gestion des SSD. Merci pour les Script, ça va nous être utile car j'ai déjà essayé le plugin "CA Backup / Restore Appdata" mais c'est pas le top pour restaurer les sauvegardes, on dirait qu'il n'y a aucun changement après en fait. On voit le même changement comme sur la vidéo de Polopretress donc il restaure bien mais si :
- j'installe un docker "qbittorrent"
- je mets un fichier à télécharger
- je fais une sauvegarde via le plugin
- j'efface le fichier à télécharger de qbittorrent
- je restaure le docker
=> J'ai plus de fichier

Quelqu'un a déjà essayé d'utiliser UnRaid sur VirtualBox ? Car ici pour faire mes tests je passe par un autre PC avec une clé USB trouvée dans un tiroir :p Mais la période d'essai va se terminer ... Je vais acheter une licence pour mon vrai NAS Unraid mais j'aurais aimé avoir un PC de test pour tester des plugins par exemple ou le comportement des différent mode de partage de l'array sans toucher mon vrai NAS. La solution c'est d'utiliser un PC et trouver à chaque fois des clés USB ou utiliser Virtualbox et faire des instantanés pour ne plus devoir changer de clé USB à chaque fois :/
Je me demande si c'est vraiment utile de faire une mise à jour du BIOS en règle général ? Ici avec ma carte As-Rock Fatal1ty X370 Professional Gaming, je suis en P4.60 (donc correct pour mon AMD R5 2600) mais la dernière version est en P5.80 ... Je me demande si ça vaut le coup de la faire ou si on verra aucune différence.
ODylanO
 
Messages: 137
Inscription Forum: 19 Nov 2019 12:16
  • offline

Message » 21 Aoû 2020 19:22

J'ai pris l'habitude de n'utiliser que des programmes de synchronisation pour effectuer des sauvegardes.
Cela peut être un peu plus long quand on traite de nombreux petits fichiers et il faut éventuellement gérer des problèmes de droit d'accés.
Sinon on sait ce qui est sauvegardé et on peut accéder directement aux fichiers.

J'ai abandonné VirtualBox pour VmWare Workstation puis VmWare Workstation pour unRaid.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19154
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 21 Aoû 2020 19:30

C'est normal que ton fichier ne soit pas restauré car il est stocké en dehors de la zone de backup qui est appdata.

Sur le mois de septembre , je regarderai + a fond les données de MLiLL et je ferais probablement une video dessus.

VirtualBox, j'ai essayé un peu mais vite abandonné. ca rame...

Pour la mise a jour du BIOS, c'était super utile pour la gestion des IOMMs quand tu fais des machine virtuelles mais avec la 6.9, cela simplifie les choses car normallement les groups IOMMU sont dissociés. Donc si ta version de BIOS acceptent dejà ton CPU, pas de raison de faire une mise a jour. Par contre, il faudra tout de meme configurer le Bios pour débloquer les fonctions de virtualisation.

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14292
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 21 Aoû 2020 20:04

Oui je pense aussi que c'est une meilleure solution. Polopretress, le plugin "CA Backup / Restore Appdata" fait une sauvegarde de Appdata et des autres emplacements que tu décris très bien dans ta vidéo, je pense que pendant une restauration il remet aussi les fichiers de ces autres emplacements non ?

Pour faire simple moi avec Virtualbox je suis même pas arrivé à me connecter sur Unraid car il me fait passer par une adresse IP qui est hors de mon réseau genre 182.153.24.410. Vous faites vos tests directement sur vos NAS UnRaid ?

Oui mon BIOS accepte déjà mon CPU et il est configuré pour la virtualisation. Donc je ne dois pas le mettre à jour alors :)
ODylanO
 
Messages: 137
Inscription Forum: 19 Nov 2019 12:16
  • offline

Message » 21 Aoû 2020 22:45

ODylanO a écrit:...
Pour faire simple moi avec Virtualbox je suis même pas arrivé à me connecter sur Unraid car il me fait passer par une adresse IP qui est hors de mon réseau genre 182.153.24.410. Vous faites vos tests directement sur vos NAS UnRaid ?

Oui, j'ai abandonné la virtualisation sous Windows.
Sauf que j'ai récemment mis en place Docker sous Windows qui devient utilisable car n'utilise plus ... Virtual Box.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19154
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 22 Aoû 2020 18:06

Vous faites vos tests directement sur vos NAS UnRaid ?

Je suis assez novice pour les tests mais pour les videos que je fais, en effet, je fais une sauvegarde avant de appdata/domains et system

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14292
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 29 Aoû 2020 1:20

Bonsoir a tous je viens tout juste de crée mes shares le preclear a pris 65H :cry:

je vais faire un transfert avec SMB c'est le plus simple pour moi mais je constate que c'est surement le plus lent je dépasse pas 65mo/s .
Une fois que je transfert tout je vais mettre en place les paritys et les caches .
Mais comme je flippe un peut je pense que je vais garder mon qnap quelle que mois par peur que Unraid merde ou que je fasse une fausse manip .
HAZGOD3
 
Messages: 16
Inscription Forum: 16 Mai 2020 2:51
  • offline

Message » 29 Aoû 2020 3:03

Bizarre.
65Mo/sec sans parity disque me semble très lent. C'est ce que j'ai avec.
sans ce disque, on monte a la vitesse de la carte ethernet (dans mon cas dans les 110Mo/sec)

Et puis un pre-clear qui dure 65 Heures, tu as pre-clear quoi pour que cela prenne auatnt de temps (tu as du valider toutes les options de tests et vérification)

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14292
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 29 Aoû 2020 9:04

Je coche systématiquement les cases "skip pre read" et "skip post read".
Sinon on multiplie le temps par trois.
Elles devraient, à mon goût, être cochées par défaut.

L'extrait d'un de mes derniers rapports (2 To - 2"5 - je n'ai pas plus lent).

Code: Tout sélectionner
#   Step 1 of 3 - Zeroing the disk:                                                         [6:23:13 @ 87 MB/s] SUCCESS    #
#   Step 2 of 3 - Writing unRAID's Preclear signature:                                                          SUCCESS    #
#   Step 3 of 3 - Verifying unRAID's Preclear signature:                                                        SUCCESS


De mémoire ce n'est pas plus long lorsque l'on traite plusieurs disques à la fois.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19154
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 29 Aoû 2020 11:02

Je confirme. Le pre-clear si appliqué en meme temps sur plusieurs disques ne dure pas + longtemps. (je l'ai fait sur 2 donc 4 ou 5 en meme temps , je ne sais pas si on a la meme chose)

Par contre, @HAZGOD3, je ne l'ai pas mentionné hier lors de ma réponse mais a moins que tu ne veuilles tester les disques avant introduction dans la grappe (rapport SMART suspect), l'opération de pre-clear n'est pas absolument nécessaire lors de la construction initiale de la grappe puisque de toute facon la parité sera calculée une premiere fois (meme avec des disques pre-clear sur lesquels on a déjà inscrit des données)

Donc lors de l'initialisation de la grappe comme tu le faisais, l'opération de pre-clear aurait pu etre évitée.
C'est lorsque l'on rajoute un nouveau disque a la grappe existante que le pre-clear a son sens.


Sinon, J'attend encore que la "beta" devienne "stable" afin de démarrer les tuto sur les VM windows.
J'en ai actuellement 3 qui tournent (l'une via VNC et l'autre par un passtrhough carte GT710 avec windows sur le cache et la derniere ern passtrhough carte GT710 avec windows sur un ssd externe en unassigned device.
C'est la conf sur le cache la + rapide.
Ces 3 VMs seront supprimées avec le 6.9 pour repartir de zéro et enfin, installer et comparer les perf en PCHC avec GTX1080 en passthrough.
Dernière édition par Polopretress le 29 Aoû 2020 11:28, édité 1 fois.

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14292
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline


Retourner vers Stockage et Réseau