Modérateurs: Modération Forum DIY, Modération Forum Installations, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 21 invités

Conseils, Guides et Tutos pour le stockage et réseau
Règles du forum
Avant de poster, merci de prendre connaissance des règles du forum : à lire avant de poster

UNRAID. Un OS multifacette.

Message » 09 Aoû 2021 10:21

twano_o a écrit:Hello Michel,

ton script à l'air effectivement sympa pour faire ce type de backup :)

Quelques petites commandes pour des pistes d'améliorations qui peuvent t'intéresser:
- ionice et nice, qui permettent de lancer des scripts sans leur attribuer un max de ressource (ça peut être sympa selon le moment ou tu veux lancer tes backups et si ton NAS fait autre chose en même temps)
- nohup, qui te permet de lancer le script sans garder la main sur le terminal, et de pouvoir consulter les logs dans un fichier à part (utile le jour où un backup n'est pas passé correctement, et que tu veux debugué)
- l'option --progress ou -v pour suivre l’exécution de ton rsync
- et peut-être ssh-copy-id pour déposer ta clef ssh entre tes 2 serveurs, histoire de pas avoir un fichier contenant ton mot de passe en clair

Bonne journée,
Antoine

Merci Antoine pour ces informations :).

Je faisais effectivement un blocage sur ce fichier mot de passe.
J'ai été heureusement surpris de voir que rsync n'acceptait pas de s'exécuter si son accès n'était pas protégé (d'où les instructions chown et chmod).

En désactivant SMB-1 sur le NAS Synology j'ai pu faire fonctionner la commande rsync avec les dossiers montés par le plugin unassigned devices qui gère les mots de passe dans un fichier crypté.

Code: Tout sélectionner
#!/bin/bash
# $1 le nom ou l'adresse IP du NAS
# $2 le nom du dossier contenant la sauvegarde des répertoires réseau
# $3 le nom du répertoire réseau du NAS

# import du répertoire
SRC="/mnt/remotes/"$1"_"$3/
DIR="/mnt/user/"$2/$3/
#date +%H:%M:%S
echo rsync -a --delete --no-o $SRC $DIR
rsync -a --delete --no-o $SRC $DIR
date +%H:%M:%S


Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19153
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 09 Aoû 2021 15:43

Pendant que j'y suis, je suis moi aussi entrain de mettre en place des backups avec rsync:
j'ai remarqué que lors d'une copie vers /mnt/user/mon_partage les fichiers arrivent tous vers le meme disques.
Est-ce normal ?

Je m'attendais à ce que pour "optimiser la vitesse d'écriture" mes fichiers soit répartie sur plusieurs disques, non ?
Ce qui permettrais surement aussi de sécuriser les données, et avoir moins de réparation à faire en cas de reconstruction depuis la parité.
Y'a un truc que j'ai mal compris ?
twano_o
 
Messages: 3
Inscription Forum: 02 Aoû 2021 11:59
  • offline

Message » 09 Aoû 2021 17:39

Pour faire court tu peux choisir si unRaid remplit tous les disques de la même manière (50% chacun par exemple) ou les remplit successivement (90% le premier, 10% le second, 0% les suivants).
Mais en règle générale si tu écris dix fichiers les dix iront bien sur le même disque, ou alors les premiers sur un disque et les derniers sur un autre.

Ecrire en parallèle ne servirait à rien car le goulot d'étranglement est au niveau du disque de parité qui doit être lu et écrit en même temps que l'on écrit sur le disque de données.
Si deux fichiers étaient écrits simultanément sur deux disques différents cela ne permettrait pas de réduire le nombre de lectures/écritures du disque de parité.

Le point faible d'unRaid est cette lenteur de l'écriture.
Par contre lors d'une écriture deux disques tournent seulement, ce qui économise de l'énergie, réduit le bruit et les vibrations et augmente leur durée de vie.

En cas de reconstruction depuis la parité il faut malheureusement écrire la totalité du disque et pas seulement les blocs défaillants.

Par contre, chaque disque ayant son propre système de fichiers, la grappe unRaid est plus résistante aux incidents matériels que les systèmes RAID traditionnels.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19153
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 10 Aoû 2021 14:09

Pas si facile de trouver un boîtier pour son NAS DIY.
C'est très rare qu'un boîtier me séduise et je viens de tomber sur l'annonce du Jonsbo N1
D'après mon expérience le positionnement vertical (en hauteur) d'un PC avec un ventilateur en haut et une prise d'air en bas permet un refroidissement particulièrement efficace :idee: ...
Bien plus efficace qu'un positionnement horizontal.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19153
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 11 Aoû 2021 10:50

J'effectue mes sauvegardes par synchronisation, regroupant tous les dossiers de mon NAS Synology dans un dossier de sauvegarde d'un NAS unRAID.
Je conserve plusieurs générations de sauvegardes (quotidiennes, mensuelles, annuelles ...) et des sauvegardes hors du domicile.

J'ai utilisé successivement pour cette synchronisation des Windows (Vice-Versa pro) et Hyper Backup (DSM).
Mes soucis avec DSM-7 m'ont fait migrer les procédures vers unRaid.
Le script appelé par "user scripts" contient une ligne par dossier sauvegardé (IMPORT dossier).

J'ai testé deux variantes pour accéder aux dossiers du Syno.
La première utilise le démon rsync du Syno, la seconde Samba V2 avec montage des dossiers par "unassigned devices".

Le graphique ci-dessous résume les temps d'exécution (je n'ai pas fait figurer le temps pris sous DSM-7 :zen: :

2021-08-09-rsync2.jpg
2021-08-09-rsync2.jpg (41.18 Kio) Vu 653 fois


Pour que les temps soit comparables j'ai effectué un minimum d'évolutions entre deux synchronisations.

L'utilisation du démon rsync permet de diviser par deux (ou plus) le temps de comparaison de répertoires contenant de nombreux petits fichiers.
En moyenne le gain est de 30%.

La procédure Windows utilise Samba à la fois pour la source et la destination.
D'où un handicap par rapport aux scripts qui s'exécutent sur un NAS et bénéficient d'un accès direct au système de fichiers.
Les algorithmes peuvent être aussi moins optimisés que ceux de rsync.

Hyper Backup gère un dossier @eaDir pour chaque dossier (et sous dossier) à synchroniser.
Pour éviter cette étape, inutile lorsque l'on ne gère qu'une version de sauvegarde, je porterais, en cas de besoin, les procédures rsync sous DSM.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19153
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 20 Aoû 2021 13:06

Je n'ai jamais fait de test de rapidité de backup mais pour ma part j'utilise le logiciel payant :https://www.syncovery.com/

Il est vraiment très complet et dispose d'une tonne de fonctions que je ne vais pas détailler ici quand ça serait bien trop long.
C'est l'un des rares (le seul ?) également qui dispose de package natif pour faire fonctionner le logiciel directement sur des nas,syno,qnap etc.

Il dispose également de package permettant d'effectuer les listings de fichiers sur les nas cela déporte donc cette opération, il prends également en charge de plusieurs manière les copies delta.

Si vous chercher un soft de backup, c'est une excellente option que je trouve meilleure que Syncbackse que j'ai également testé.
-Lyam-
 
Messages: 166
Inscription Forum: 21 Aoû 2020 19:58
  • offline

Message » 24 Aoû 2021 10:07

Bonjour à tous :)

UnRaid continue d'évoluer, à petits pas.
Synology a une autre approche avec DSM ;)

Voici donc venir la 6.10, l'accent me semble avoir été mis sur la sécurité.
* la présentation officielle
* la vidéo de de Space Invader

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19153
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 25 Aoû 2021 1:20

Merci pour l'info !

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14282
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • online

Message » 03 Sep 2021 0:04

Je viens de regarder les nouveautés et rien de bien nouveau en fait.

Tout ce qui est rajouté sont des fonctions qui étaient déjà installées chez moi mais via plugin ou docker.
Maintenant c'est de base.

- Le mdp sur root => OK , fallait quand meme etre tordu pour ne pas en avoir mis déjà 1.
- Nouvelle présentation du tab User ==> rien de bien important sauf que l'on voit d'un coup d'oeil qui a les droits admin.
- "community application" installation simplifiée ==> mais tout le monde l'avait déjà.
- Wireguard intégré ==> mais on l'avait déjà (je continue de ne pas aimer ce VPN tant qu'il n'offrira pas la possibilité d'avoir une authentification renforcée par un code tournant via appli mobile type "google authentificator".)
- QQ améliorations cométiques sur HMI sans importance.
- mise a jour "normale" des fichiers systemes pour VM et Docker (comme d'hab)
- tab plugin/Docker un peu + rapide a refresh

Pas de quoi casser la patte a un canard :)

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14282
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • online

Message » 03 Sep 2021 8:03

Au fil des années beaucoup de petites évolutions intelligentes ...

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19153
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 30 Sep 2021 1:15

ca dort ici :)
Bonjour a tout le monde !

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14282
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • online

Message » 30 Sep 2021 8:51

:zzzz:

Bonjour Polo !

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19153
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 30 Sep 2021 11:48

Vu que tout le monde s endors, une petite question me turlupine..

Je vient d installler un nouveau windows 10 et j ai une demande de mot de passe de la part d unraid afin d acceder a mes shares..

Je ne sais plus trop la manip a faire, il me refuse tout .

Sur mon unraid j ai juste oe compte root d enregistrer..

Merci
athoriac
 
Messages: 2224
Inscription Forum: 24 Mar 2007 22:59
Localisation: Sommières (30)
  • online

Message » 30 Sep 2021 12:16

C'est plutot windows qui te demande un login/mdp pour acceder a tes shares sur unraid , non ?

Je crois que des que tu as un share mis en private et/ou secure, ca fout le bordel quand tu y accedes via le PC distant. (car tu es déclaré en "nobody")
Donc résoudre cela défintivement chez moi, j'ai renseigné la partie "gestionnaire d'identification" dans windows afin que lorsque je m'adresse a l'IP qui correspond a unraid ca balance le login/mdp systématiquement.

onglet "information d'identification windows" et tu mets le login/mdp de ton user déclaré dans unraid
attention: 2 actions a faire dans ce gestionnaire si tu t'adresses soit a l'IP , soit au nom du NAS.
(voir Video tuto 6 a la 33ieme minutes)

La configuration dans mon profil


PCHC madVR / Epson LS12000 / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14282
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • online

Message » 30 Sep 2021 12:30

Ok donc il faut que je cree un profil user en plus du profil root sur unraid.. effectivement avec les dossiers secure et private c est encore plus le bordel...

Merci
athoriac
 
Messages: 2224
Inscription Forum: 24 Mar 2007 22:59
Localisation: Sommières (30)
  • online


Retourner vers Stockage et Réseau