UNRAID. Un OS multifacette.

» 30 Sep 2020 14:22

Polopretress a écrit:Oui, moi j'ai lu en diagonale et toutes ces manip a faire m'ont un peu fait flipper, j'avoue....
Au train ou vont les choses, je n'ai pas l'impression que l'on aura une version dite "stable" avant fin d'année.

Cette version 6.9 est effectivement plus longue à sortir que de coutume.
Tom donne quelques explications à ce sujet.

Je ne pense pas que le problème de partitionnement des SSD était initialement au menu.
J'ai aussi lu qu'il était possible d'utiliser des SSD dans la grappe unRaid, même si ce n'était pas officiellement supporté (sans fonction TRIM).

Michel

» 14 Oct 2020 8:19

Deux sujets sur le site d'unRaid :
- backup de server à server (rsync et wireguard)
- beta30

Michel

» 14 Oct 2020 11:51

je ronge toujours mes freins avec ces beta ...

dalleurs heureusement que j'ai temporisé l'installation définitive des VMs et la réalisation des video tutos...

In order to restore storage device passthrough to VM's, lbvert has been reverted to v6.5.0.

» 14 Oct 2020 12:23

J'interprète la sortie de la beta 30 rapidement après la 29 comme le signal d'un projet qui se rapproche de son terme ...

Michel

» 15 Oct 2020 9:32

Bonjour à vous deux , suite à mon topic "nas ou pas nas " ma décision est prise : ce sera nas

, les tutos vidéo de Polo sont au top et je ne vois pas de raison de ne pas me lancer (si ce n'est la flemme ^^ )

Petites questions au passage :
-comme évoqué sur mon topic avec michel je comptais prendre un pc portable inutilisé de la maison (avec un DD de 1To et une clé USB ) histoire de me "faire la main" dans un premier temps , du coup j'utilise un compte créé pour l'occaz' ou bien tout sera transférable (une fois maîtrisé et fonctionnel) sur le matos définitif ? (je sais pas si je suis bien clair là ^^ )
-le rack 4U que tu as pris sera le PCHC ou bien il ne sert qu'à "stocker" les DD et tout le reste (CM/CPU/RAM/CG etc ...) est dans un autre boîtier ?
-J'ai bien compris l'intérêt d'en faire également un pchc mais pourrait-on à ce moment là s'en servir à distance , c'est à dire (je vais peut-^tre dire une connerie ou du moins mal m'exprimer ) , transcoder via le nas et donc visionner via pc/tablette/phone ? (je résume au cas ou je ne sois pas très clair : le nas/pchc fait tout le boulot et le client lui ne fait que diffuser )
-Comme expliqué dans mon topic je viens de trouver un boitier silverstone grandia GD08 avec une capacité d'acceuil raisonnable niveau nombre de DD pour en faire mon nas mais quid de la conso si ce dernier tourne H24 avec tout le matos qu'il y a dedans ? (I7 7700K /16 Go DDR4 /GTX 970 )
-et enfin , étant pour ma part sur la config KAZ (je vois que tu parles de PLEX sur ce topic ) peux-t-on imaginer que justement les clients (pc/tablette /etc ) aient accès directement à l'interface KODI (un truc tout beau où on a juste à choisir le film et appuyer sur play ) et dans quelle mesure/limite puis-je partager ça avec quelques proches ?

Merci d'avance pour ta/vos réponses et surtout pour le taf effectué ici même

» 15 Oct 2020 16:51

(je sais pas si je suis bien clair là ^^ )

Non

Pour moi, a aprtir du moment ou tu changes de plateforme hardware, tu dois tout reprendre a zéro. mais rien ne t'empeche d'utiliser ton portable pour te faire la main.
mais te faire la main sur quoi vu que avec un portable, tu ne pourras rien mettre en oeuvre a part le premier boot sur unraid ?
Sache aussi que certains ont vu leur boot systeme corrompu en bootant sur clef USB un programme tier. c'est un risque a prendre en compte. on m'a rapporté ce probleme recemment (pas avec un clef UNRAID mais méfiance tout de meme)

le rack 4U que tu as pris sera le PCHC ou bien il ne sert qu'à "stocker" les DD et tout le reste (CM/CPU/RAM/CG etc ...) est dans un autre boîtier ?

Tout est dans le rack 4U bien sur. (pour l'instant, je ne plug pas de carte video costaud sur la CM car je n'ai qu'une seule carte GTX1080 sur mon main PC. Ce qui fait que pour l'instant, la partie PCHC continue d'etre réalisé par un classique windows sur une autre machine. Mais le but est bien de tout intégrer dans le rack 4U quand je me serai décidé a upgrade ma carte graphique (par une 3080 peut etre mais j'attendrais probablement la prochaine série 4xxx)

-J'ai bien compris l'intérêt d'en faire également un pchc mais pourrait-on à ce moment là s'en servir à distance , c'est à dire (je vais peut-^tre dire une connerie ou du moins mal m'exprimer ) , transcoder via le nas et donc visionner via pc/tablette/phone ? (je résume au cas ou je ne sois pas très clair : le nas/pchc fait tout le boulot et le client lui ne fait que diffuser )

Tout est possible.
Là tu confonds la notion de PCHC et la capacité a transcoder pour faire du streaming video.
la notion de PCHC pour moi, c'est le classique KODi + lecteur + filtres externes tel que madVr, lav filters etc... donc decodage en local et diffusion via HDMI
la notion de streaming video c'est du decodage/transcodage local puis envoie du flux via le réseau local interne en interne ou en externe. C'est PLEX par exemple.
(avec PLEX tu as une simple diffusion du contenu et pas de traitement video comme madVR)

Donc pour te répondre, oui UNRAID installé dans le rack 4U sera capable de faire du PCHC (via VM windows) et de la diffusion streaming video (via le docker PLEX et un abo a PLEX pour avoir acces au transcodage hardware)
La seule limitation est que si tu as une seule carte video, alors PLEX ne sera pas possible pendnat une lecture de film via le PCHC (et vis et versa)
Si tu veux faire les 2, il faudra 2 cartes graphiques

Comme expliqué dans mon topic je viens de trouver un boitier silverstone grandia GD08 avec une capacité d'acceuil raisonnable niveau nombre de DD pour en faire mon nas mais quid de la conso si ce dernier tourne H24 avec tout le matos qu'il y a dedans ? (I7 7700K /16 Go DDR4 /GTX 970 )

je ne sais pas.
En IDLE, un PC ne consomme pas enormement , je pense mais attend toi tout de meme a 50W peut etre. Ce serait a vérifier.
Après faut s'interroger si le fait de laisser son NAS tourner H24 est necessaire. C'est chacun son besoin en fait. Moi, il ne tourne pas beaucoup (seulement le soir) tant que je partage pas des videos avec l'extérieur.

-et enfin , étant pour ma part sur la config KAZ (je vois que tu parles de PLEX sur ce topic ) peux-t-on imaginer que justement les clients (pc/tablette /etc ) aient accès directement à l'interface KODI (un truc tout beau où on a juste à choisir le film et appuyer sur play ) et dans quelle mesure/limite puis-je partager ça avec quelques proches ?

Voir + haut.
La partie PCHC avec traitement ne peut se partager. ou alors il faut partager localement le flux audio/video et meme ca, c'est contraignant car la diffusion finale va s'ajuster sur le plus faible des diffuseurs.
Sinon PLEX (en client) dispose aussi d'une interface a la kodi

» 16 Oct 2020 9:13

mais te faire la main sur quoi vu que avec un portable, tu ne pourras rien mettre en oeuvre a part le premier boot sur unraid ?

Le boot sur USB et le DD du portable en "partage" ça ne suffirait à tester dans un premier temps ?
Je ne comprends pas bien le problème que tu décris rapport au programme tiers , ça "foutrait en l'air" ton boot usb puisqu'il y'a déjà l'OS dessus c'est bien ça ? Pas moyen à ce moment là de booter sur un DD externe je suppose , le problème serait le même ?

Tout est dans le rack 4U bien sur

Ok

donc in fine il ne te restera plus que le NAS/PCHC c'est bien ça ? Si oui ça pourrait être cohérent avec mon idée d'utiliser mon boîtier silverstone plutôt que d'en racheter un second . Si j'ai bien tout compris UNRAID est l'OS qui gère la partie NAS et Windows (par exemple) serait une VM pour l'interface PCHC mais le tout dans la même boîte ?

Là tu confonds la notion de PCHC et la capacité a transcoder pour faire du streaming video.

Ok , du coup là en effet je saisis la différence PCHC/Streaming "local" , il y a donc un choix à faire à ce niveau , ou avoir 2 cartes graphique ou bien séparer les deux machine et avoir un NAS d'un côté (avec PLEX pour les appareils de la maison , tablette/pc/phone ) et un PCHC pour la salle dédiée (par exemple) ? J'ai bon là ?
Je suppose que PLEX n'est pas aussi gourmand en ressources qu'un outils comme MADVR et que donc une CG entrée de gamme suffirait ?

Après faut s'interroger si le fait de laisser son NAS tourner H24 est necessaire. C'est chacun son besoin en fait. Moi, il ne tourne pas beaucoup (seulement le soir) tant que je partage pas des videos avec l'extérieur

Oui , en effet ça c'est adapter en fonction des besoins , bien compris

La partie PCHC avec traitement ne peut se partager. ou alors il faut partager localement le flux audio/video et meme ca, c'est contraignant car la diffusion finale va s'ajuster sur le plus faible des diffuseurs.
Sinon PLEX (en client) dispose aussi d'une interface a la kodi

Alors là attention , je vais probablement me prendre les pieds dans le tapis façon Pierre Richard (mais on touche au but vis à vis de mes questions de noob :mdr:

)
Pour résumer (et dans mon cas perso ) le plus simple serait peut-être de séparer physiquement NAS et PCHC :
- le PCHC pour la salle dédiée (config KAZ donc il faut de la ressource )
- NAS avec PLEX pour streamer sur les autres appareils de la maison
Le PCHC accède aux fichiers films via KODI direct sur le NAS et se charge de tout le reste , alors que PLEX lui diffuse en streaming aux clients depuis le NAS (pour le moment j'ai l'impression d'être plutôt clair :mdr:

) donc (le bouquet final ^^ ) : Dans quelle mesure/limite je peux diffuser via PLEX en local et en externe tout en regardant un film dans ma salle dédiée ? Je vais donner un exemple concret , ce sera sans doute plus simple :
Ma compagne regarde un film dans la salle dédiée (donc PCHC qui lit un fichier du stocké sur le NAS)
Je regarde une série sur la tablette dans la cuisine en faisant un bon boeuf bourguignon (donc PLEX qui lit un fichier stocké sur le NAS)
Ma belle soeur regarde le dernier BR que j'ai acheté , bien au chaud chez elle , à 200km de là sur son pc (donc PLEX /NAS elle aussi )
Techniquement c'est possible ? Si oui quelle est la limite ? La connexion/bande passante je suppose en premier lieu , mais au niveau hardware ? ou bien software ?

Voilà , encore merci de prendre le temps de me lire et de me répondre , j'ai bien conscience que mes questions peuvent sembler naïves ou farfelues (pour ne pas dire confuses :mdr:

) .

» 16 Oct 2020 10:48

Je ne comprends pas bien le problème que tu décris rapport au programme tiers , ça "foutrait en l'air" ton boot usb ....

Ca pourrait foutre en l'air le boot présent sur le disque systeme (pas celui de l'USB) et donc que tu ne sois plus en mesure de booter normalement avec ton portable.
Normalement je ne vois pas de raison que cela fasse ca mais comme je l'ai écrit , j'ai vu un cas similaire il y a 2 semaines avec un autre programme que unraid booté via clef USB qui a corrompu la partition principal et a conduit a un BSOD (ecran bleu de la mort) obligeant a tout re-installer.

Déjà que veux tu tester via le portable ?
(car ce ne sera pas possible de mettre en place une grappe ou de faire tourner une VM en passthrough par exemple, donc juste faire joujou avec des réglages particuliers mais rien de bien important comme le transfert de fichier, le stockage, les user shares, les docker container etc...)

serait une VM pour l'interface PCHC mais le tout dans la même boîte ?

oui

Ok , du coup là en effet je saisis la différence PCHC/Streaming "local" , il y a donc un choix à faire à ce niveau , ou avoir 2 cartes graphique ou bien séparer les deux machine et avoir un NAS d'un côté (avec PLEX pour les appareils de la maison , tablette/pc/phone ) et un PCHC pour la salle dédiée (par exemple) ? J'ai bon là ?
Je suppose que PLEX n'est pas aussi gourmand en ressources qu'un outils comme MADVR et que donc une CG entrée de gamme suffirait ?

Tu n'as pas 2 machines séparées. Tout est fait dans le rack 4U avec la meme carte mere qui accepterait 2 cartes graphiques. Unraid gere les 2 a la fois ou l'un sans l'autre en meme temps.
Si les 2 sont actifs en meme temps, il faut attribuer correctement le nombrede Core CPU a chque process (la VM Windows et le Docker PLEX)

Pour PLEX, il faut une carte graphique capable de faire de l'encodage multicession sur H264 et H265 mais cela peut etre une carte low performance.
Par exemple une GTX1050 ou 1060.

Le lien suivant t'aidera a comprendre sur nvidia quels seront les limites (nombre de cession simultanée, bande passante)
https://www.elpamsoft.com/?p=Plex-Hardware-Transcoding

Alors là attention , je vais probablement me prendre les pieds dans le tapis .....

Tu as le choix. Tu peux très bien laisser séparer les 2 machines et donc adapter le hardware qu'il faut sur les 2. Ca coutera juste + cher mais en cas de défaillance de l'un, l'autre restera dispo.
Lorsque a terme j'aurai intégré la couche PCHC a unraid serveur, je garderai toujours mon autre PC avec une config PCHC en cas de pepin.

techniquement c'est possible ? Si oui quelle est la limite ? La connexion/bande passante je suppose en premier lieu , mais au niveau hardware ? ou bien software ?

Oui. Le hardware est a adapter en conséquence si tu regroupes tout sous le meme OS UnRAID.
Pour ce job, par exemple il faut privilegier un CPU avec pas mal de Core.
le mien (R7 2700) par exemple est suffisant (mais d'autres avis sont les bienvenus vu que je n'ai pas mis cela en œuvre encore)

Je ne pense pas que la bande passante d'un réseau local standard (1Mbits/sec) soit saturé avec ce que tu décris (donc 2 cessions PLEX et un transfert de données du NAS vers la partie PCHC.
Il faudrait pour cela rajouter du téléchargement a haut débit.

» 16 Oct 2020 12:01

J'ai juste une remarque sur le premier point (unRaid sur un vieux portable).
Tout dépend du BIOS du portable et de son processeur.

Dans le pire des cas on ne peut pas démarrer sur une clef USB.
Sinon si le PC a un seul disque dur on va être obligé de le repartitionner donc de supprimer le Windows existant.
Le retour à Windows voudra donc dire sa réinstallation.

Maintenant que peut on faire avec unRaid, un seul disque, et graphique intégré au processeur (IGD).
Dans certains cas de figure ... pratiquement tout.
Des conteneurs bien entendu mais aussi des VM.
Mon PC HC "nomade" est un NUC. Auparavant mon squeezeserver était aussi un NUC.

Ces petites machines peuvent être plus adaptées pour faire tourner des applications qu'un NAS Synology, QNAP ou autre.

UnRaid permet certes d'équiper une grosse machine qui fait tout.
Mais on peut aussi envisager plusieurs machines plus spécialisées.
La redondance entre mes deux serveurs douze baies m'a permis de résoudre mes soucis de contrôleur disque d'une carte mère.

Il y a aussi des portables qui ont une carte graphique intégrée.

Michel

» 16 Oct 2020 12:17

Je ne mettrais pas ma main a couper que les BIOS des portables soient capables de gerer les IOMMU et la fonction de virtualisation.
Non ?

» 16 Oct 2020 13:15

C'est plutôt l'âge de la machine et de son BIOS qui, à mon avis, peut poser problème.

VMWare et Docker fonctionnent sur mon portable Windows (2014).
Par contre son processeur est Vtx mais pas Vtd donc les VM Windows, gérant l'écran du portable, ne sont pas envisageables.

Michel

» 16 Oct 2020 13:55

Avant de répondre à "Polo" ,je réponds à Michel , c'est plus court :mdr:

Mon portable est un lenovo T61, le cpu est un intel core 2 DUO T8300 à 2,4GHZ ainsi que 4Go de ram , je peux booter sur USB via le BIOS sans soucis et je comptais utiliser un DD qui traîne chez moi (comme ça pas besoin de désinstaller/réinstaller windows ou autre , le DD du PC patientera bien sagement que j'ai fini de faire "mumuse" )
L'ojectif étant avant de voir si j'arrive à configurer le réseau local ainsi que l'accès à distance convenablement avant le faire "pour de vrai" sur la future bécane . (je tenterai peut-être d'autres choses si besoin mais pour l'instant je souhaite d'abord passer ces deux étapes et voir de quoi il en retourne , je précise que je suis complètement novice dans ce domaine ) .

Maintenant Mr. Polo :mdr:

Du coup je viens de répondre à "ce que je veux tester sur mon portable" ^^

J'ai bien été voir ton lien et le nombre de sessions semblent relativement vite limitées (3 sessions PLEX simultanées pour une GTX1060 en 1080p) donc soyons fou (mais je ne le ferai probablement pas , c'est pour ma culture ) double-t-on le nombre de sessions en installant 2 CG ?

Si je pars sur un simple accès aux fichiers (films par exemple ) et ensuite chaque client lit le fichier via un lecteur lambda (VLC par exemple puisque ça semble le plus simple sur tablette ou smartphone notamment ) à combien s'élèveraient le nombre de clients potentiels en simultanés (tous en lecture en temps réelle sur le NAS ) ? (ça va dépendre à la fois du débit des disques durs et à la fois de la bande passante là je suppose :roll:

)

Pour le reste tu réponds parfaitement à mes questions et je verrai la question des choix hardware une fois le projet affiné au maximum.

Reste ton dernier commentaire :

Je ne pense pas que la bande passante d'un réseau local standard (1Mbits/sec) soit saturé avec ce que tu décris (donc 2 cessions PLEX et un transfert de données du NAS vers la partie PCHC.
Il faudrait pour cela rajouter du téléchargement a haut débit.

Un résseau local n'a que 1Mb/sec de bande passante ? ça paraît bien peu non ?

Que veux tu dire par "rajouter du téléchargement à haut débit" ?

Merci à vous deux :thks:

» 16 Oct 2020 14:56

J'ai bien été voir ton lien et le nombre de sessions semblent relativement vite limitées (3 sessions PLEX simultanées pour une GTX1060 en 1080p) donc soyons fou (mais je ne le ferai probablement pas , c'est pour ma culture ) double-t-on le nombre de sessions en installant 2 CG ?

oui, bien sur et meme tripler avec 3 CG mais tu avoueras que ce n'est pas la solution a privilégier

Il faut savoir que cette limite a 3 cessions simultanées n'est pas liée a une limite du hardware/software mais a une limite que Nvidia a mis sur ses cartes pour orienter vers des offres + cheres comme les quadro...
J'ai vu que ces limites pouvaient etre enlever par des tweaks mais je n'ai pas trop regardé vu que cela ne correspond pas a mon besoin (pas de PLEX chez moi ou juste pour essayer par curiosité et faire un tuto éventuel mais je ne l'utiliserai pas)

Si je pars sur un simple accès aux fichiers (films par exemple ) et ensuite chaque client lit le fichier via un lecteur lambda (VLC par exemple puisque ça semble le plus simple sur tablette ou smartphone notamment ) à combien s'élèveraient le nombre de clients potentiels en simultanés (tous en lecture en temps réelle sur le NAS ) ? (ça va dépendre à la fois du débit des disques durs et à la fois de la bande passante là je suppose )

Oui, c'est lié a la vitesse de ta laison SMB mais meme avec une liaison classique 1Gbits/sec avant de saturer cela, tu pourras avoir pas mal de connexion (+ qu'il n'en faut)

Un résseau local n'a que 1Mb/sec de bande passante ? ça paraît bien peu non ?

Que veux tu dire par "rajouter du téléchargement à haut débit" ?

Me suis trompé de virgule. Un réseau classique c'est 1Gbit/sec (et pas 1Mbits/sec)....
Donc 125Mo/sec en théorie mais plutot 112-115 Mo/sec dans les faits en bonne conditions.
Après tu peux passer a 10Gb/sec avec des cartes et du matos adapté mais toute la chaine doit suivre.

Si tu charges aussi ton réseau par des téléchargements entrants, en fonction du débit que tu as (fibre ou non), tu peux etre amené a ralentir les autres échanges de données bien entendu.(ainsi que la vitesse d'écriture/lecture sur un disque, par exemple si 2 process ont besoin du meme disque)
Mon avis est qu'en PCHC, il est mieux de rien faire d'autres si tu ne veux pas récupérer des drop frames intempestives a la lecture.

» 16 Oct 2020 15:39

Merci , du coup je pense être dans la bonne direction alors : un serveur/NAS physique d'un côté et le PCHC de l'autre , le PCHC étant déjà opérationnel et à mes yeux bien suffisant en terme de puissance tant que la salle dédiée ne sera pas construite (je remettrais mes vilaines pattes pleines de doigts dedans à ce moment là ) et puis en effet comme tu le dis plus haut , si l'un des deux tombe en rade je ne suis pas sans rien le temps de remettre l'autre sur pieds .

Concernant le NAS et PLEX , 3 sessions simultanées pourraient être bien suffisantes pour un usage local à notre domicile, si toutefois je reste sur ce principe , si derrière j'ai toujours la possibilité de laisser des clients tiers accéder aux fichiers en lecture "temps réel" je ferais comme dit précédemment (je suppose que leur permettre de télécharger le fichier complet chez eux reviendrai au même voir même serait moins contraignant pour les DD non ? ) . Bref ça ça reste de l'ordre du détail au stade où j'en suis, je verrai aussi à l'usage comment ça se passe concrètement et ce qui est le plus simple , surtout pour la petite famille .

Me reste tout de même un dernier point, en parlant de famille : les questions au sujet de PLEX et des stream simultanés étaient justement dans cet optique là : partager ma vidéothèque avec mes proches (j'entends par là exclusivement la famille , donc parents , beau-parents , tante et autre ) je précise parce que ça son importance pour une raison précise : je ne suis déjà pas un cador dans le domaine (mais je compte bien apprendre ) mais là les concernant on est encore un cran en dessous , et ce à quoi je pensais , que ce soit PLEX ou autre , était leur mettre à disposition une interface ou du moins un présentation simple d'accès et complète sur le plan "films" (à l'instar d'un KODI par exemple : jaquette ou miniature , synopsys , genre de film , acteurs principaux , réal , etc ... ) sans parler de stream à distance . En gros ils "feuillettent" la vidéothèque et lance la lecture quand ils ont trouvé (c'est bien leur PC qui lit le fichier , donc pas de soucis de nombre dans la limite du raisonnable ) . Est-ce qu'un soft permettrait ce genre d'interface ?

Merci :thks:

» 16 Oct 2020 15:55

si l'un des deux tombe en rade je ne suis pas sans rien le temps de remettre l'autre sur pieds

En fait, moi je conserve aussi mon PCHC en main PC qui diffusera.
Par contre, dans le rack19" qui se trouvera dans l'armoire audiovidéo de ma salle, j'installe une VM windows avec le passthrough de la carte graphique (celle du PCHC) déjà en place. Ainsi, si mon PCHC ne démarre plus ou plante pour X raisons necessitant une re-installation complète, je n'aurai qu'a déplacer la carte graphique du PCHC vers le Rack unraid pour continuer a pourvoir regarder un film dans la salle. :idee:

Pour ta derniere question, c'est comme tu veux. soit tu permet l'acces en lecture au fichier, soit tu permets l'acces en telechargement.
Un reverse proxy doit faire l'affaire.
Par contre en lecture distant , il faudra que la personne qui se connecte cree un lecteur réseau sur son PC ou sur son programme diffuseur. C'est assez facile a mettre ne place avec un VPN et je suppose que c'est aussi possible avec le reverse proxy.

Maintenant , il y a peut etre d'autres dockers + spécialisés pour ce besoin.