Modérateurs: Modération Forum DIY, Modération Forum Installations, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 9 invités

Conseils, Guides et Tutos pour le stockage et réseau
Règles du forum
Avant de poster, merci de prendre connaissance des règles du forum : à lire avant de poster

UNRAID. Un OS multifacette.

Message » 03 Mar 2020 23:44

L'objectif de ce nouveau post est multiple. Je ne sais pas ce qu'il deviendra et vers quoi il s'orientera.

- Une plateforme d'entraide pour les personnes qui veulent aborder le monde informatique différemment ?
- Discuter d'une solution alternative (parmi d'autres) aux NAS des constructeurs bien connus sur ce marché ?
- Plus simplement, à titre personnel, partager mon projet et mon avancé sur le sujet.

****************************************************************************************************************************************************************************************************
****************************************************************************************************************************************************************************************************


La table de matière simplifiée :

-- Ma Configuration Hardware.

-- Tests avant Installation.

-- Les Videos "Tuto".

****************************************************************************************************************************************************************************************************
****************************************************************************************************************************************************************************************************


Les TIPS discutés dans les posts: :

NextCloud : Tuto rapido pour creer un reverse proxy avec Nexcloud sous unraid.

Scripts : Des scripts utiles.

VM : permettre de lancer la VM même si le périphérique USB configuré est absent.
VM : Soluce au cas où le démarrage de la VM ne se fait pas sur l'iso de windows ou que l'on n'ait pas le temps de lancer VNC en appuyant sur une touche afin de démarrer à partir de l'iso.
VM : Utilisation de l'IGD en passthrough
VM : Utiliser le même OS Win10 (installé sur une SSD NVMe) en natif ou en VM.

Tips hardware:
VM : Se servir des ports USB3 pour y connecter un disque dur Sata3.


****************************************************************************************************************************************************************************************************
****************************************************************************************************************************************************************************************************


Déjà, UNRAID, c'est quoi ?
Unraid est un système d'exploitation pour les particuliers et les petites entreprises qui offre des fonctionnalités puissantes permettant de configurer vos systèmes informatiques afin d'en maximiser les performances et la capacité en utilisant n'importe quelle combinaison d'applications, de machines virtuelles, de périphériques de stockage et de matériel.
Il est développé sous Linux.
On boot sur l'OS via une clef USB qui va se charger dans la mémoire RAM du PC.

Le site officielle se trouve à cette adresse.
Le forum officiel où l'on trouve beaucoup d'information et de guides se trouve ici : Forum UNRAID
A noter aussi une chaîne YouTube de Spaceinvader expliquant le fonctionnement et les astuces de UNRAID avec beaucoup de video tuto : Spaceinvader One
Je conseille aussi cette page de synthèse sur le forum de UNRAID : Guides et Videos

Bien sur, tout est en Anglais et suppose une maitrise relative de la langue car les notions abordées sont parfois compliquées a comprendre lorsque l'on découvre ce sujet.
Je n'ai pas trouvé réellement de forum FR ayant le même niveau d'information mais je suis preneur si cela m'a échappé !

A noter tout de même que UNRAID nécessite l'achat d'une licence dont le prix reste, de mon point de vue, raisonnable pour le service rendu :
- 59 $ pour 6 HDD (cash drive inclus , je pense)
- 89 $ pour 12 HDD (cash drive inclus, je pense)
- 129 $ au dessus et jusqu’à 30 HHD

La version a 59 $ me parait intéressante puisqu'elle est évolutive moyennant un upgrade vers les 2 autres formules a 39 et 79 $ (donc 9$ de + seulement)
Les prix actualisés se trouvent sur cette page

*****************************************************
*****************************************************

Sur HCFR, j'ai trouvé un sujet traitant de cet OS réalisé par MLill : Introduction a unRAID
Après un échange avec MLill , il a été convenu qu'il serait préférable d'ouvrir un nouveau post dans la mesure où le sien est déjà trop ancien pour traiter des fonctionnalités que UNRAID nous offre maintenant.

Je tiens a préciser que j'ai découvert UNRAID il y a seulement une quinzaine de jours.
Depuis cette période, je me documente et emmagasine de la connaissance théorique. Vous aurez donc compris que je ne suis en aucun cas un expert (ni de UNRAID, ni de Linux. ni des systemes d'information, ni des serveurs...etc...)
D'autre part le vocabulaire que je pourrais employer sera parfois (souvent ?) erroné, j'en suis certain, étant nouveau sur ce sujet que je découvre.
Ce post n'a donc pas la vocation d'être un guide :)


UNRAID n'est pas qu'un NAS et cette distinction qui m'a attiré pour, finalement, me convaincre.

A l'origine, mon besoin était de me doter d'un NAS (de type Synology) pour me permettre simplement de sauvegarder mes données principalement constituées de vidéos et de photos et de pouvoir accéder à ces données principalement via mon PCHC me servant a la diffusion des films/séries dans ma salle HC dédiée.
L'idée était aussi de "sécuriser" un peu mes données en cas de défaillance d'un disque afin de ne pas les perdre. Donc ajout de 1 ou 2 disques pour créer la sécurité (dit "de parité").

L'objectif ici n'est pas de faire la critique d'un NAS de type Synology mais l'idée même de construction de volume ou tous les disques sont maillés et les données d'un même fichier écrit sur différents disques (donc systeme RAID5 ou 6 ou SHR etc...) ne me plaisait pas du tout.
Sans compter le temps de reconstruction de la parité (très long) et le fait que tous les disques sont sollicités au maximum pendant une opération d'écriture/lecture et la création de parité.

Je préfère y aller + l'ancienne avec un disque de sécurité bien identifié et des disques de données séparés (et déportables sur un autre machine) et qui seront moins sollicités.(donc plutôt du RAID4 avec 1 ou 2 disques de sécurité)
C'est aussi ce que propose UNRAID et cela tombe bien.

On pourra revenir sur ce sujet. Sur les avantages mais aussi ce que cela apporter en désavantage (dont la vitesse d’écriture qui peut être réduite sauf si on a recours a un cache SSD, ce qu'il faudra de toute façon ajouter).
C'est un choix personnel. Je ne sais même pas à l'heure actuelle si j'utiliserai un disque de sécurité sur la couche serveur de UNRAID ou si je dupliquerai mes données sur des disques qui ne seront pas en fonction. Donc en quelque sorte un RAID 1 type "miroir" géré manuellement (choix que je privilégie aujourd'hui)

Et pour finir sur mon choix personnel, les disques HDD ne seront pas de techno NAS (type RED, IronWolf etc...) grace justement au choix de UNRAID.
Si il y a un disque dit "NAS" , ce serait le ou les disques de parité mais pas les disques de données


Les 2 autres raisons majeures pour lesquelles , je ne suis pas partit sur un produit clef en main comme un DS918+, DS1019+ , DS1819+ etc..., c'est :
- le coût de revient ramené au nombre de HDD.
- la curiosité de me construire ma propre machine meme si mes connaissances sont limitées sur le fonctionnement d'un serveur et notamment si on part sur une base Linux comme UNRAID le propose.

Mais comme je le disais : UNRAID n'est pas qu'un NAS

Il va aussi permettre d'installer :
- des applications pour rendre la vie de configuration des programmes plus simples et conviviale sous environnement Linux (que je ne connais pas).
- d'installer un nombre impressionnant d'application en utilisant la notion de "Docker". (pour en citer qquns, on peut parler de VPN, de PLEX, EMBY, Video surveillance, Kodi sous Librelec etc...)
- de lancer des machines virtuelles (VM) qui vont émuler les OS de son choix. (par exemple les Windows, IOS, .....)


Et là, j'ai tout de suite fait la relation avec mon PCHC ou avec une possibilité de PC Gamer puisque la gestion de VM de UNRAID permet de créer un lien physique avec les ressources hardware de la carte mère (on appelle cela le mode "PassThrough")
Si bien que le "serveur" devient un véritable couteau Suisse si les ressources hardware sont correctement dimensionnées par rapport au besoin que l'on a.

Mais pour résumer avec UNRAID, on pouvoir monter une machine qui sert de NAS avec disques de parité / Cache SSD mais aussi un PCHC puissant et/ou PC dédié au Gaming et beaucoup d'autre chose comme le Streaming video en utilisant l'accelération hardware de la carte graphique etc...

Bien entendu, il s'agira, je le rappelle, de correctement dimensionner la plateforme hardware sur laquelle on va déployer tout ce beau monde et notamment la capacité de la carte mere en terme du nombre d'I/O adressables (pour la gestion des disques) et de choisir correctement le CPU pour pouvoir effectuer des taches en parallèle sans perturber un processus lorsqu'un autre démarre.

A ce petit jeu, on se rend vite compte qu'aujourd'hui AMD avec sa gamme RYZEN a une longueur d'avance sur INTEL en raisonnant a budget égal.
La clef dans ce systeme , c'est la capacité du CPU a offrir du multi core (et multi-thread).

En effet, plus on disposera de Core dans le CPU, plus on pourra attribuer a des processus différents une ressource hardware pour traiter la tache (le ou les Core) sans que l'autre processus actif n’interfère avec.


*************************************************************
*************************************************************

Dans le second post, je détaillerai mon projet et la raison pour laquelle j'en suis arrivé a ce choix qui privilégie :
- la consommation raisonnée.
- la capacité en ajout de disques de données
- le prix de revient final.
- l'évolutivité vers un PCHC et/ou un PC Gamers.

Ce n'est en rien une référence. Elle correspond, je pense, a mon besoin.
On pourra vouloir aller taper dans des CPU plus puissants (donc aussi plus couteux et consommateurs) comme les AMD Ryzen™ Threadripper™ 3970X (32 core/64 Threads) ou encore une plateforme INTEL XEON E5 ou E7 de course (mais a quel prix !)

On pourra aussi aller taper dans du nettement moins cher, faible consommation si l'on veut essentiellement un serveur (NAS).
Par exemple la conf décrite dans le premier tableau de ce post, construit autour d'une carte micro ATX embarquant un CPU intel CELERON J4105 basse consommation (TDP = 10W) pour un cout de 400€ + la licence à 59$. (version boitier Silverstone 8 disques hotplug)

A chacun d'identifier son besoin et d'aligner le hardware en conséquence.


Fin de ce long post de présentation.
J’espère avoir attiré l'attention et la curiosité. C'était le but :)


Par contre, il ne faut pas perdre de vue que la mise en place d'un tel système n'est pas "Plug and Play" même si cela s'est amélioré par rapport a quelques années.
C'est pas Windows, hein !

Il faudra OBLIGATOIREMENT mettre les mains dans le cambouis.
C'est aussi ce qui m'a attiré mais ce qui peut repousser beaucoup de monde :)


Bon résumé des capacités (très commercial mais résume assez bien l’étendue du scope atteignable) :
(perso, je trouve cette video absolument bien faite !)

Dernière édition par Polopretress le 05 Mai 2021 11:46, édité 23 fois.

La configuration dans mon profil


Config: PCHC / Sony590ES / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14131
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 03 Mar 2020 23:45

**********************************
Présentation de ma configuration.
Tous les postes sont a peu près définis.
Il me faut encore confirmer le choix final du SSD cache.

Le choix est construit autour d'un "vieux" CPU Ryzen 5 1600 AF amenant 6 Cores/12 Threads (pas si vieux puisqu'il vient de sortir...) et d'une carte mere très bien dotée en I/O (notamment 10 ports SATA3 et 2 emplacements M2, un double PCIE*16 gen3 et d'autres ports PCIE gen 2 avec certaines limitation si les ports M2 sont utilisées.

Comme mon choix final est aussi avant tout guidé par le rapport qualité/prix, la carte mere est peu chere comparée a ce qu'elle apporte en ressource, reste adaptée pour les Ryzen gen 1 et 2 (meme gen 3 avec mise a jour du BIOS).

Quand au CPU, c'est la modele AF présentant un rapport qualité/prix imbattable puisque c'est en fait un RYZEN 5 2600 (donc gravure 12 nm en techno gen zen +)
Voilà d'ou vient le 1600 AF et son test : https://www.techspot.com/review/1977-amd-ryzen-1600-af/

A ce propos, j'hésite encore avec le R7 2700 (8 cores/16 Threads) mais il faut bien savoir s'arreter....
EDIT 09 Mars : J'ai finalement opté pour le Ryzen 7 2700 !

Ceux qui voudront + de puissance pourront aussi aller vers du X (ie R5 2600X) mais j'ai fixé ma limite de conso haute a un TDP = 65 W (ce qui est déjà très élevé pour la tache de serveur)

Compte tenu que les modeles Ryzen (pas G) n'integrent pas de GPU intégré, on y associe une carte graphique low cost GT710 qui sera installée sur le second port PCIE*16 (et donc tournera en x8 mais aucun souci de bande passante a prévoir , ni avec cette carte , ni avec une éventuelle 'vraie" carte graphique HDG utile pour le jeux ou le mode PCHC).

Image

En fait concernant le SSD, j'ai 2 alternatives :
- CRUCIAL - SSD Interne - MX500 - 250Go - M.2 SATA3 CT250MX500SSD4 (45€)
- CORSAIR Force MP510 240 GB NVMe PCIe Gen3 x4 M.2-SSD CSSD-F240GBMP510 (59€) EDIT 09 Mars ==> Choix final

Je potasse les posts sur le forum unRAID pour me décider car MX500 est plébiscitée sur sa robustesse mais semble poser problème sur le secteur 0.
Le MP510 semble aussi assez bien en type PCIE3*4 (beaucoup + rapide que le SATA3) mais peu trouvé en conf NAS.

Contrairement a la construction d'un PC classique , il faut être très vigilent sur le type/marque du matériel utilisé lorsque l'on se lance dans ce type de machine avec Docker et VM...

Initialement , j'avais plutôt visé une RAM 1*16Go mais passer a 2*8Go permet le mode dual channel (les barrettes de RAM seront configurées en 2666 Mhz et pas en 3200 Mhz car le chipset de la carte mere me limite a 2666 MHz si je rajoute un second jeu de RAM pour aller jusqu’à 32 Go)



***********************************
La prochaine étape est de figer le choix pour le SSD afin de lancer en même temps les commandes.
L'assemblage rapide suivra (quand j'aurai les fonds car je suis un peu juste pour ce mois ci et Mars...) car il faut que je vérifie plusieurs points dans la période de rétractation...

1. L'absence de coil whine en mode PCHC. Donc je ferai une installation rapide et classique de windows 10 + conf PCHC avec ma carte GTX1080.
Cela me permettra de valider que l'ensemble du nouveau hardware n'est pas sujet a ce phénomène car il peut aussi provenir d'autres éléments que la carte graphique.
Il me servira de référence ensuite pour évaluer la performance de la VM en mode PassThrough sur carte graphique sur le rendering time de madVR.

Une fois validé ce point:
2. Installation version trial de Unraid et configuration d'un array a 2 disques + ssd cache
On se familiarise avec et on essaye diverses configurations de sortie graphique avec la GT710. (sans la GTX1080 montée)
Etude des performances d'acces via lecture/écriture de mon PC vers le serveur
Lancement de film a partir de mon PC classique avec les sources déposées sur l'ARRAY.

3. On installe la GTX1080 et on créé une VM Windows+ configuration Passthrough carte graphique/ 2 a 3 USB

4. Benchmark classique et adaptation/optimisation de l'affectation des Core CPU / RAM , modif vbios, SSD cache et..

5. installation PCHC et comparaison avec mon PC principal.

6. si concluant, on arrête là, on enlève la carte GTX1080 puis on finalise l'installation des plugin / dockers utiles sur la partie serveur et on engage la phase de transfert sur un ARRAY de 4 disques de 10TO

un beau programme semé d’embûches....


A la fin, pour 750€, on obtient :
- Un NAS avec cache SSD pouvant accueillir 10 HDD
- Une évolutivité a 15 HDD moyennant + 60€
- Un PCHC "Ready" (moyennant l'ajout d'une carte graphique)
- Une config PLEX permettant la diffusion de flux video vers 2 a 3 user. (en passant depuis qq mois, on peut utiliser la carte graphique pour le transcodage !)
- Une plateforme de téléchargement autonome (via Usenet probablement)
- une plateforme de test via VM des principaux OS.
- et d'autres possibilité via dockers non encore affinées.


Ici on trouvera le détail de quelques choix hardware

***************************************************************************************************************************
***************************************************************************************************************************


Le boitier choisi en rack 19"

Une vue face avant porte fermée.
Profondeur d'encastrement dans baie 19" = 53cm
Hauteur 4U

Une très belle qualité et robustesse.
Image

J'ai installé très rapidement et facilement l'option rack 3"5 extractible.

Image
On peut aussi les mettre dans les 2 autres logements qui sont equipés d'une cassete démontable avec ventilo D120 supportant 5 disques interne mais dans ce cas, le montage est fait dans l'autre sens (donc disque a l'horizontal)

La reference du rack : 4U Standard Chassis 10 x 3.5" HDD + 1 x 2.5" HDD/SSD + 3 x 5.25" Bays
La reference du tiroir adaptateur 3 baies 5"1/4 vers 5 baies hotplug 3"5 : 5 x 3.5" SATA Hot Swap into 3 x 5.25" Drive Bays



***************************************************************************************************************************
***************************************************************************************************************************


La carte M2 PCIE permettant l'ajout de 5 SATA3

Cette option ne sera pas achetée pour l'instant puisque avec les 10 ports SATA3 disponibles sur la carte mère, on a le temps de voir venir mais elle pourrait servir pour pousser la configuration au max des slots dispo du boitier sélectionné (15 disques au format 3"5

KALEA INFORMATIQUE Carte contrôleur M.2
Image


***************************************************************************************************************************
***************************************************************************************************************************


Les pieces avant assemblage


Image

**********************************************************
Dernière édition par Polopretress le 17 Avr 2020 18:38, édité 7 fois.

La configuration dans mon profil


Config: PCHC / Sony590ES / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14131
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 03 Mar 2020 23:45

Ici on trouvera le détail des video "tuto" d'installation

***************************************************************************************************************************
***************************************************************************************************************************

Une chaîne YouTube a été ouverte et une Playlist "UNRAID" est disponible où seront mis a dispo toutes les vidéos tuto que je mettrais a dispo au cours de mon installation.
Voici le lien : La Chaîne de Polopretress

Je rappelle l'objectif :
- Disposer d'un NAS (sécurisé ou non par 1 à 2 disques de parité) pouvant atteindre + de 10 disques.
- Installer un certain nombre de plugins et dockers facilitant la vie de gestion du serveur.
- monter une VM Windows 10 permettant la diffusion de films a partir d'une conf PCHC puissante par utilisation de la carte graphique en mode PassThrough. (facilement transposable en PC Gamer si le CPU est adapté)
- Permettre un acces distant sécurisé et partage de données / synchro (VPN et/ou NextCloud)
- Mettre en route un certain nombre de Dockers (par exemple PLEX, des logiciels de téléchargement, Télésurveillance et systeme d'alarme, ...)

Les Vidéos tuto seront classées par ordre chronologique. Une vignette est insérée à la fin de chaque video pour permettre de passer a l'étape suivante.

C'est parti !



***************************************************************************************************************************
***************************************************************************************************************************

Preparation USB bootable UNRAID (Video 1)

Résumé : Cette vidéo présente comment créer un clef bootable pour UNRAID





***************************************************************************************************************************
***************************************************************************************************************************

Configuration BIOS (Video 2)

Résumé : Cette video décrit comment effectuer des modifications dans le BIOS afin de prendre en compte l'installation future de VM et la création des modes PassThrough des ressources hardware qui seront allouées aux VMs actives.

La carte mere présentée est une ASROCK X370 Taichi avec version BIOS mises a jour en 4.80





***************************************************************************************************************************
***************************************************************************************************************************

Premier Boot (Video 3)

Résumé : Cette vidéo présente rapidement (via webcam) le premier boot de la clef USB UNRAID et les opérations a réaliser pour valider sa licence (temporaire) et configurer l'heure du serveur.





***************************************************************************************************************************
***************************************************************************************************************************

Premiers pas dans l'interface (Video 4)

Résumé : Cette vidéo présente les premiers réglages a réaliser dans UNRAID au travers d'un web serveur accessible via un PC connecté au réseau local.
(principalement, l'initialisation de l'array et du cache mais aussi des réglages basiques)





***************************************************************************************************************************
***************************************************************************************************************************

Premiers pas dans l'interface (Partie 2)

Résumé : Cette vidéo présente des compléments de réglage a réaliser dans UNRAID et la première installation de plugin via "Applications Community"
Il donne aussi la méthode pour passer le clavier en mode AZERTY lorsque l'on accede a UNRAID en mode Console.





***************************************************************************************************************************
***************************************************************************************************************************

Les Disk Shares et User Shares dans UNRAID (Video 6)

Résumé : Les élements de base sont expliqués et un focus spécifique sur les pieges a éviter lorsqu'il s'agit de gerer les droits d'acces.
Une video complément sera réalisée pour des petits additifs mineurs.





***************************************************************************************************************************
***************************************************************************************************************************

User Shares suite et compléments (Video 7)

Résumé : Compléments sur les User Shares pour créer un RootShare et User-Share imbriqué dans un User-Share existant.





***************************************************************************************************************************
***************************************************************************************************************************

Changer le type de formatage d'un disque de la grappe (Video 8 )

Résumé : Comme le titre l'indique...





***************************************************************************************************************************
***************************************************************************************************************************

Le plugin UNASSIGNED DEVICES (Video 9)

Résumé : Permettre de lire/écrire/formater et faire des opérations diverses avec un disque (HDD, SSD, SMB Share, ...) non inclus dans la grappe.





***************************************************************************************************************************
***************************************************************************************************************************

Introduction du disque de Parité (Video 10)

Résumé : comme le titre l'indique.





***************************************************************************************************************************
***************************************************************************************************************************

Le Plugin PreClear (Video 11)

Résumé : Un utilitaire de stress de disque et de mise a zéro de tous les bits du disque.





***************************************************************************************************************************
***************************************************************************************************************************

Le Plugin Unbalance (Video 12)

Résumé : Un utilitaire pour effectuer des transferts de données du contenu des user shares sur le(les) disque(s) de son choix. Possibilité aussi de répartir la charge des données sur chacun des disques de la grappe.





***************************************************************************************************************************
***************************************************************************************************************************

4 Plugins intéressants (Video 13)

Résumé : Cette vidéo présente 4 petits plugins qui facilitent la vie.
- Fix Common Problems : pour identifier les erreurs et les améliorations a faire sur la conf du serveur.
- Auto Update : Pour mettre a jour automatiquement les Plugins et Dockers.
- Backup/Restore Appdata : pour faire une copie de sauvegarde du User-Share Appdata mais aussi gérer le backup de la Flash et de LibVirt.img.
- Appdata Clean UP : Pour faire le ménage dans Appdata avec des Dockers qui ont été désinstallés.





***************************************************************************************************************************
***************************************************************************************************************************

Le Docker KRUSADER (Video 14)

Résumé : Un explorateur de disque pour UNRAID.



Précision concernant cette video (que l'on m'a fait remarquer) :
Il est préférable de rentrer un mot de passe vnc lors de la création du docker. au lancement de la webUI, le mot de passe est alors a rentrer.
Cela n'a pas été mentionné dans la video car le mot de passe rentré apparait sans codage. ce que j'ai fait ensuite.



***************************************************************************************************************************
***************************************************************************************************************************

DNS, Dynamic DNS et Docker ddclient(Video 15)

Résumé :
Creation de domaine et dynamic DNS.
Mise a jour IP publique par docker ddclient.

Cette vidéo est la première d'une série de 3.
Part 2 : mis en oeuvre OpenVPN
Part 3 : Mise en oeuvre d'un certificat SSL sur OpenVPN.






***************************************************************************************************************************
***************************************************************************************************************************

Docker OpenVPN(Video 16)

Résumé :
- Installer/configurer le docker OpenVPN.
- Se connecter a distance a votre réseau local.

Cette vidéo est la seconde d'une série de 3.
Part 3 : Mise en oeuvre d'un certificat SSL sur OpenVPN.



ERRATUM : je tenais juste a préciser que cette video laisse actif en mode admin le user "admin" avec son password "password". Ce qui n'est pas bien !
Une video complément pour supprimer définitivement le compte "admin" sera link a la fin de cette video lorsqu'elle sera dispo.
Et pour info, la suppression du superuser "admin" n'est pas possible en mode GUI car il n'est pas vraiment supprimé....

A ce stade, j'ai trouvé une méthode qui fonctionne mais qui a ses limites puisqu'une mise a jour du docker OpenVPN oblige a refaire la manip.
Je continue les recherches car ce qui est indiqué sur le site de openvpn est obsolete et ne fonctionne pas avec le docker openvpn-as.

EDIT 08/07/2020 : ca y est :love: J'ai trouvé la méthode pour supprimer définitivement le superuser "admin" inscrit en "PAM" qui réapparaissait a chaque relance/update du docker.
Je mettrais demain une video "complément" afin d'expliquer comment procéder car cette modification me parait "OBLIGATOIRE" pour éviter une faille de sécurité dans le VPN.


***************************************************************************************************************************
***************************************************************************************************************************






A suivre :) ==> en attente de la version officielle 6.9 pour éviter que le tuto en 6.8 soit obsolete trop vite.
- VM Windows 10 simple en VNC.
- VM Windows 10 "ready" pour un PCHC (avec passthrough carte graphique et avec/sans passthrough SSD systeme)

- NextCloud

- Heimdall (de ce que j'ai vu un portail très sympa pour gerer tout ses acces)

- pfSense. (un gros dossier en perspective...)

- Plex (pour celui-ci, rien de sur car je n'en vois pas l’intérêt pour mon besoin. Une lecture de films sans traitement video ne me tente pas du tout - éventuellement pour me permettre de streamer des films de ma médiatheque pour qq contacts proches mais bon ...)



***************************************************************************************************************************
***************************************************************************************************************************
Dernière édition par Polopretress le 13 Nov 2020 20:24, édité 55 fois.

La configuration dans mon profil


Config: PCHC / Sony590ES / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14131
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 04 Mar 2020 0:42

bravo, hâte de lire la suite!
moi qui suis un inconditionnel Synologiste je suis curieux de voir ça, ca a l’air très prometteur :bravo:
nolem
 
Messages: 1737
Inscription Forum: 23 Oct 2007 19:08
Localisation: Essonne
  • offline

Message » 04 Mar 2020 2:36

Quel boulot! Merci :oldy:

Je vais suivre ça aussi, car si je dois changer le NAS c’est une piste.
le shad
 
Messages: 5255
Inscription Forum: 03 Sep 2005 14:52
Localisation: Bassin d’Arcachon
  • offline

Message » 04 Mar 2020 19:33

Merci Polopretress pour ce sujet sur unRaid, sur lequel tu poses un regard neuf :).

De mon côté je peux faire un retour d'expérience en évoquant plusieurs points.

Le premier est la gestion du parc de disques.

Le RAID-5 et le RAID-6 sont prévus pour fonctionner avec des disques identiques ou du moins des disques identiques.
Pour augmenter la capacité il est recommandé de les changer tous même si Synology autorise plus de souplesse.
Lorsque le disque ne peut plus se synchroniser avec les autres ou a des secteurs invalides il faut le changer par un disque équivalent.

Faut-il absolument se débarrasser des disques anciens, de trop faible capacité ou moins en forme ?
Ou au contraire peuvent-ils continuer à être utile pour des usages moins critiques ou des sauvegardes ?

J'ai encore en ligne dans une grappe unRaid un disque de 500 Go de 2007 initialement contenu dans un "disque réseau" dont l'emploi ne fut pas concluant.

Dans cette même grappe unRaid j'ai des disques de capacités variables avec tous les types de soucis que l'on peut rencontrer sur des disques.
Ce qui ne les empêche pas, étant régulièrement testés, de m'être utiles pour des sauvegardes en cible de procédures "Hyper Backup".

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19135
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 04 Mar 2020 19:48

ok merci.

Par rapport a ce que tu dis des disques anciens, tu parles de grappe unRaid.
Tu peux détailler ce que c'est stp car je vois bien l'array dans unRaid mais cela est constitué d'une seule "grappe".
On peut creer plusieurs grappes ?

Ou alors ces disques anciens restent gérés dans unRaid mais en tant que disques "unassigned devices" (donc hors de l'Array) ?

La configuration dans mon profil


Config: PCHC / Sony590ES / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14131
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 04 Mar 2020 20:22

Tu as raison aujourd'hui on ne peut installer qu'une grappe dans une machine.
Mais j'ai plusieurs machines avec chacune sa grappe.

J'ai retenu des racks Lian-Li, plus disponibles, permettant de monter quatre disques dans trois slots 5.25.
Ainsi, si besoin est, je transfère les disques d'une machine à une autre en quelques minutes.

Cela dit il existe une astuce pour faire coexister plusieurs grappes.
Il suffit de changer la configuration sur la clef USB (un répertoire à copier) et de redémarrer ...

Reste à s'assurer que les disques inutilisés ne tournent pas.

Mais le point essentiel est que, même lorsque l'on utilise une seule machine, on peut sans inconvénient monter des disques différents.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19135
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 04 Mar 2020 23:17

OK, je comprends.

Puisque tu parles des rack Lian-Li, j'ai trouvé l'equivalent. J'ai commandé et recu le rack et le tiroir.
Résultat : bonne qualité. J'attend de controler la nuisance du ventilo D80 pour voir s'il faut le changer par un BeQuiet Pure wings 2 que je connais bien et que j'ai aussi mis dans la liste du matériel en cas ou.
Aussi, je vais rajouter du détail sur ces postes dans le post N°3 (ou j'avais mis "réservé")

La configuration dans mon profil


Config: PCHC / Sony590ES / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14131
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 05 Mar 2020 0:13

Un des avantages des racks lian li est qu'ils fonctionnent avec des ventilateurs de 120 mm.
Suivant les cas de figure je les ai remplacés par des ventilateurs plus silencieux (Noctua ou BeQuiet) ou supprimés pour me contenter de la ventilation du boîtier.
Ils amortissent aussi très bien les vibrations des disques.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19135
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 05 Mar 2020 11:03

Ma second retour d'expérience concerne les sauvegardes.

Lorsque l'on monte plusieurs disques dans son PC on ne craint pas de les voir tomber en panne tous à la fois.
A tel point qu'il arrive de sauvegarder le contenu d'un volume sur un autre.

Mais, c'est tellement plus pratique de disposer d'un grand volume de stockage rassemblant en un seul espace tous les disques physiques.
Comme on ne veut pas perdre tout le volume si un disque ou deux disques tombent en panne, on a conçu le RAID-5 et le RAID-6 qui permettent de faire face à de telles éventualités.
Malheureusement, plusieurs disques de la même série, sollicités de la même manière, peuvent tomber en panne quasi simultanément. Cela m'est arrivé :cry: .
D'autres soucis, par exemple au niveau du contrôleur ou de l'alimentation, peuvent aussi amener à la perte de la grappe sans que les disques soient en cause.
Sans rentrer dans les détails j'ai du remplacer deux cartes mère et une carte contrôleur ...

UnRaid permet de disposer d'un espace unique de stockage sans prendre le risque de perdre simultanément le contenu de tous.
La gestion, optionnelle, d'un ou deux disques de parité permet de reconstituer le contenu d'un ou deux disques défaillants.
En dix ans j'ai fait face à quatre ou cinq incidents sans solution à ma portée en RAID-6.

...

Lors de mon étude d'unRaid, en 2011, j'ai constaté que j'avais deux types de données :
- celles, originales, qui n'existaient que sous un format numérique ou qui étaient très longues à numériser
- les autres

Pour ces autres données je ne voulais pas prendre le risque qu'un incident informatique me conduise à en perdre la totalité, mais j'étais prêt à assumer une perte partielle.
Une scénario RAID-5 (ou RAID-6) m'aurait conduit à doubler le nombre de disques par rapport au scénario unRAID.
Ce n'est pas l'option que j'ai retenue.

J'ai aussi, pendant un couple d'années, utilisé unRaid pour la première catégorie de données, Synology et QNAP ne me fournissant pas la même prestation.
Les données originales étaient gérés en RAID-1 sous BTRFS dans le cache disque.

On peut donc gérer, sur une seule machine, les deux types de données, dans deux grappes distinctes.
Personnellement je préfère utiliser plusieurs machines et ne pas en faire tourner une plus grosse que nécessaire 24H/24.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19135
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 06 Mar 2020 23:22

Tu peux m'en dire + sur le type de formatage BTRFS et XFS ?
Je vois les 2 types et je ne sais a quoi me rattacher...
Le XFS semble + utilisé dans l'Array et le BTRFS + pour le cache drive meme si on en voit aussi en XFS.
J'ai regardé ca mais ca ne me parle pas...
A priori XFS serait plus rapide
mais BTRFS :
- permettrait + de choses.(comme les snapshots dont je n'ai pas non plus compris l’intérêt...)
- occuperait + de place donc moins de place dispo pour stockage des fichiers utiles.


De la meme facon, en parcourant le forum unraid, je vois pas mal de gens avec des config en cache disque très costauds (par exemple 3 SSD de 1To n'est pas rare du tout)
Je ne comprend pas trop le reel besoin.
Ce sont ceux qui utilisent beaucoup de programmes sous dockers et de VM ?

J'ai, pour ma part, seulement prévu 250Go pour les transferts dans l'array et stocker la VM windows + qq dockers.
Je pense que cet espace est largement suffisant. Non ?

La configuration dans mon profil


Config: PCHC / Sony590ES / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14131
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline

Message » 07 Mar 2020 11:25

Je vais essayer de faire court ;)

Tu as des systèmes qui gèrent l'intégrité des données (ZFS, BTRFS), d'autres qui ne le font pas (EXT4, NTFS, XFS).
Le faire pénalise les performances.
C'est une question de choix personnel.

J'ai un benchmark qui consiste à copier et synchroniser des fichiers sur le réseau.
En 2015 je l'ai passé sur deux configurations identiques BTRFS et XFS.
XFS a été effectivement plus rapide (3h 7mn) que BTRFS (3h 10mn 30s).

Il y a des cas, rares mais que j'ai rencontrés, où le matériel laisse passer des erreurs.
Les fichiers sont corrompus et on ne s'en aperçoit que lorsque l'on les utilise.
BTRFS permet de vérifier régulièrement si les fichiers sont intacts, ce qui est hors du champ des tests SMART complet.
Lorsque cela m'est arrivé, suite à des soucis de contrôleur, j'ai pu remplacer les fichiers dégradés.

Tous les RAID ne sont pas égaux.
Les plus basiques proposent le remplacement du disque fautif dés qu'ils ne peuvent plus lire un secteur.
Les plus évolués sont capables de reconstituer le secteur invalide à partir du contenu des autres disques.
Le RAID de BTRFS, utilisé dans le cache d'unRAID, a cette capacité.

unRAID ne gère pas, du moins via son interface, toutes les fonctionnalités de BTRFS.
On pourrait envisager à l'avenir une gestion du RAID dans le cache, de type RAID-5 ou RAID-6.
Je rêve surtout d'une gestion des instantanés (snapshots) proche de celle de Synology.
Ce sont ces fonctionnalités qui m'ont conduit à retourner à Synology pour la gestion de mes données sensibles.

Lorsque l'on construit son propre NAS on n'est pas forcément hyper-rationnel, avoir la machine la plus performante possible peut devenir un objectif ;)
UnRAID permet d'avoir des machines extrêmement performantes, et faciles à utiliser, pour des tarifs relativement dérisoires.

La taille du cache dépend de son usage.
Si l'on veut avoir les transferts les plus rapides possibles il faut le dimensionner en fonction du volume maximum de transfert quotidien.
C'est une fonction que je n'utilise pas.
Je n'utilise actuellement le cache que pour les VM mais l'ai, dans le passé, utilisé pour bénéficier du RAID-1 BTRFS.
Dans ton cas 250Go devraient suffir.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19135
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 07 Mar 2020 18:38

J'ai oublié de répondre à ce point :
Polopretress a écrit:mais BTRFS :
...
- occuperait + de place donc moins de place dispo pour stockage des fichiers utiles.
...

Comme unRaid ne gère pas les instantanés la place utilisée est grossièrement la même avec BTRFS que XFS ou NTFS.
Il faudrait que je le vérifie une nouvelle fois.

DSM permet de définir les instantanés que l'on conserve, par heure, jour, semaine, mois, année.
Plus on en souhaite, plus les mises à jour sont fréquentes et plus le volume occupé est important, mais néanmoins très inférieur à celui que l'on doit conserver avec une politique de sauvegarde traditionnelle.

Michel
Avatar de l’utilisateur
MLill
Membre d'Honneur - Contributeur
Membre d'Honneur - Contributeur
 
Messages: 19135
Inscription Forum: 08 Déc 1999 2:00
  • offline

Message » 07 Mar 2020 19:31

Merci a toi pour ces explications.
Ca commence a s'éclaircir.

Donc si je suis bien, avec UNRAID, pas de valeur ajoutée a passer en BTRFS (car pas de snapshot) donc XFS convient mieux.


Sinon, j'ai passé toutes les commandes car j'ai eut pas mal de frayeur ce matin.
En fait, pas mal de produit sélectionnés avaient pris un cout de hausse de prix non négligeable. C'est quand meme dingue comment les prix varient d'un jour a l'autre...
J'ai aussi failli commander sur des sites un peu "space" moins chers (par exemple AlzaShop) mais je me suis ravisé préférant moins risquer sur le délai de livraison et le support après vente (donc je suis resté essentiellement sur amazon et cdiscount)

Du coup, j'ai craqué pour upgrade de CPU.
Ca sera donc un Ryzen 7 2700 (8 cores/16 Threads) pour environ +70€ par rapport au Ryzen 5 1600 AF.

Commandes passées et prix confirmés, la note a un peu gonflée....

Ça donne ça au final (tout ce qui est vert est lancé en commande):

Image

L'assemblage sera pour le weekend prochain si pas de retard de livraison.

La configuration dans mon profil


Config: PCHC / Sony590ES / Microperf Screenline 2m82 / Bi-Amp BMS12S305+RCF ND650 /Sub Beyma 18" et JBL GTI15 / JBL Arena 120 surround (8) et back (2) / Lab Gruppen C10:8X et C16:4 / Crest 8001 / Filtrage BLU100+BLU BOB2+BLU USB / ASIO
Avatar de l’utilisateur
Polopretress
Contributeur HCFR & Modérateur Installations
Contributeur HCFR & Modérateur Installations
 
Messages: 14131
Inscription Forum: 08 Jan 2016 1:48
Localisation: Val d'Oise
  • offline


Retourner vers Stockage et Réseau