UNRAID. Un OS multifacette.

[obi]

Bonjour,

Je continue mes recherches et je reviens sur ce que j'ai dit. Je ne sais pas si c'est vraiment hyperbackup > Unraid que je dois utiliser.
Je suis tombé sur ça:
https://www.beatificabytes.be/backup-sy ... to-unraid/

Et je ne suis pas sur que cette méthode répondre exactement à ce que je souhaite faire, à savoir synchroniser UN dossier du NAS Synology (Moments=photos) vers l'array d'unraid (et ça on va dire une fois par jour).
J'ai l'impression que l'hyperbackup du synology c'est la sauvegarde du NAS entier... ou je me trompe ?!
Moi je veux juste qu'il synchronise un dossier vers Unraid.

Merci

[MLill]

Je fais ce que tu désires, en utilisant deux méthodes différentes.
- hyperbackup (DSM)
- script rsync (unRaid)

1) HyperBackup

A - Sur le serveur unRAID il faut suivre les instructions qui figurent dans ce lien que tu as donné.
- ajouter des instructions au fichier GO dans le répetoire CONFIG de la clef USB
- définir un fichier rsyncd.conf dans le répertoire custom/etc de la clef

J'aurais aimé trouver une explication aussi claire et aussi complète lorsque j'ai mis en place cette procédure !

Je crée aussi un utilisateur dédié à cette tâche (nommé rsync par commodité).

B - Sur le NAS Synology il faut utiliser l'option "copie rsync (monoversion)" qui synchronise les répertoires que l'on sélectionne.
Je me suis un temps fâché avec Synology qui avait supprimé cet option lors de la refonte de leurs méthodes de sauvegarde.
Heureusement je ne devais pas être le seul et la bévue a été réparée !

Puis il faut renseigner l'IP du serveur unRAID le nom de l'utilisateur et le mot de passe défini à l'étape précédent et sélectionner un module de sauvegarde.
Dans mon cas il s'agit de MNT car je laisse DSM créer le répertoire de sauvegarde.

Ensuite on peut sélectionner les répertoires que l'on désire sauvegarder

2021-05-26-hyperbackup-4.jpg (43.33 Kio) Vu 364 fois

Enfin on peut nommer la tâche hyperbackup et le répertoire de sauvegarde.

Et c'est parti !

Michel

[MLill]

Mais il y a plus simple !

2) Script unRAID

Utiliser "Unassigned Devices" pour se connecter au répertoire du NAS que l'on désire synchroniser.

2021-05-26-userscript-1.jpg (15.63 Kio) Vu 360 fois

Utiliser "User Scripts" pour définir un script d'importation des données (synchronisation).

2021-05-26-userscript-2.jpg (11.51 Kio) Vu 360 fois

2021-05-26-userscript-3.jpg (23.39 Kio) Vu 360 fois

Ci-dessous le début de mon script (qui synchronise plusieurs répertoires ...)

Code: Tout sélectionner

dir="/mnt/user"
src="/mnt/remotes"
date +%H:%M:%S
echo "Synchro /Sauvegardes"
rsync -a --delete --no-o $src/DS716_Sauvegardes/ $dir/Sauvegardes/
date +%H:%M:%S

L'instruction "date" permet de connaître le temps pris par la sauvegarde.

Pour un meilleur confort d'utilisation il faudrait monter les répertoires du NAS distant au début du script.

Michel

[obi]

Wouah super!!
Merci beaucoup pour tes tutos
Je vais étudier tout ça et voir ce qui me correspond le mieux.
J'vous tiens au jus

[obi]

Bon alors j'ai réussi avec la 2ème méthode (effectivement plus facile).
Pour la première méthode, je ne savais tout simplement pas comment créer le fichier /boot/custom/etc/rsyncd.conf avec les infos indiquées dans le lien pourtant détaillé.

Pour un meilleur confort d'utilisation il faudrait monter les répertoires du NAS distant au début du script.

Pour l'instant j'ai activé le "automount" sur mon smb share dans unraid, mais juste par curiosité quelles sont les commandes pour monter cette partition en début de script ? Je n'ai pas trouvé l'info...

Merci!

[MLill]

Je n'ai pas cherché à écrire le code permettant de monter le répertoire réseau en début de script.
Il faut aussi attendre que le répertoire soit monté avant de lancer le script.

Si cela peut t'aider, mon fichier rsyncd.conf (à placer dans custom/etc sur la clef USB)

Code: Tout sélectionner

 uid             = rsync
 gid             = users
 use chroot      = no
 max connections = 4
 pid file        = /var/run/rsyncd.pid
 timeout         = 3600

 [mnt]
 path = /mnt/user
 comment = répertoires partagés
 read only = FALSE

Mon fichier go

Code: Tout sélectionner

#!/bin/bash
# Start the Management Utility
/usr/local/sbin/emhttp &
# rsync
if ! grep ^rsync /etc/inetd.conf > /dev/null ; then
cat <<-EOF >> /etc/inetd.conf
rsync   stream  tcp     nowait  root    /usr/sbin/tcpd  /usr/bin/rsync --daemon
EOF
read PID < /var/run/inetd.pid
kill -1 ${PID}
fi
# validation inetd
cp /etc/inetd.conf /boot/debug-ml/
# copy conf
cp /boot/custom/etc/rsyncd.conf /etc/rsyncd.conf

Attention à l'éditeur, il faut penser aux fins de lignes LINUX (LF) - et non pas Windows (CR+LF).
Il faut aussi éventuellement faire un CHMOD pour rendre le fichier exécutable (chmod 777).

Michel

[Polopretress]

il est trop fort

je rajoute cela en page 1 aussi !!!

[MLill]

J'ai galéré pour faire fonctionner Hyperbackup vers unRaid, et réalisé bien plus tard que "Unassigned Devices" permettait de traiter simplement les sauvegardes réseau !

Michel

[obi]

Je n'ai pas cherché à écrire le code permettant de monter le répertoire réseau en début de script.
Il faut aussi attendre que le répertoire soit monté avant de lancer le script.

Je vais continuer à chercher pour monter le répertoire réseau en début de script. Si je trouve je viendrais poster ici...

Merci pour ton aide en tout cas !

[MLill]

Unassigned Devices permet de définir un script

2021-05-26-ud.jpg (21.6 Kio) Vu 318 fois

C'est peut-être utilisable pour déclencher une sauvegarde.

Michel

[Polopretress]

Jamais réussi a monter un SMB via unassigned devices.
peut etre que c'est parce que c'était vers mon PC Win10 et des problemes de droits d'acces mais j'avais tout essayé a l'époque...

[Polopretress]

Tien, une question simple , je pense, mais je n'ai pas testé.

Quand on fait par exemple une VM Win10 avec 4 des 16 cores du CPU, est-ce que l'on peut ensuite modifier le nombre de cores alloués (par exemple 8 ) sans se retaper une installation complete ?
(je pense que oui mais dans le doute...)

[-Lyam-]

Pas eu de soucis pour le moment pour monter un smb partagé sur mon syno avec Unassigned Devices, cela a fonctionné du premier coup.

Pour Rsync perso j'ajoute les arguments suivants:
--progress --stats --dry-run

--progress permet de voir la progression de la copie
--stats affiche un petit un résumé en fin de copie
--dry-run Permet d'effectuer une simulation de ce que l'on a tapé sans toucher à rien.

Bien pratique pour vérifier que la commande fait bien ce que l'on a demandé

On peut également utiliser l'argument -z qui transfert les fichiers en effectuant une compression.
Référence: Avec cette option, rsync compresse toutes les données des fichiers qu'il envoie à la machine de destination. Cette option est utile avec des connexions réseau lentes.

Notez que cette option permet d'obtenir des taux de compression meilleurs que ce qui peut être obtenu avec des shells distants qui compressent, ou un transport qui compresse, car cela prend en compte l'information implicite envoyée pour les blocs de données qui correspondent entre eux.

Je n'ai pas fait de bench mais cela peut potentiellement être utile donc si votre réseau est lent, merci de noter que c'est le transfert qui est compressé à la volée pas vos fichiers sur la destination

[MLill]

Merci Lyam

Je vais essayer l'option --stats.

Jamais réussi a monter un SMB via unassigned devices.
peut etre que c'est parce que c'était vers mon PC Win10 et des problemes de droits d'acces mais j'avais tout essayé a l'époque...

On peut aussi se passer de Samba (et de unassigned devices), le démon rsync devant pouvoir être activé sur un NAS Synology.
J'ai appris le principe du démon grâce au forum unRaid et notamment cette intervention de weebotech (2008).

Tien, une question simple , je pense, mais je n'ai pas testé.

Quand on fait par exemple une VM Win10 avec 4 des 16 cores du CPU, est-ce que l'on peut ensuite modifier le nombre de cores alloués (par exemple 8 ) sans se retaper une installation complete ?
(je pense que oui mais dans le doute...)

Je ne suis plus certain d'avoir fait le test, mais ma VM-Windows a moins de cœurs et de mémoire que le Windows natif !
Donc j'utilise le même Windows avec 6 ou 8 cœurs.

Michel

[-Lyam-]

Sur rsync toujours mais un peu plus complexe, il peut être intéressant d'installer WSL2 sous Windows 10 pour bénéficier d'un bash linux permettant d'utiliser la commande Rsync en "natif" sous Windows pour certaines opérations de copie.

Pour moi l'un des gros points fort de Rsync est la copie DELTA qui permet de ne copier que les blocs qui changent dans un fichier plutôt que le fichier en entier à chaque fois.

Très pratique dans certains cas comme lorsque l'on a des types de fichiers qui se mettent à jour souvent comme des bases de données ou des machines virtuelles.