Introduction à unRAID

[MLill]

Je change complètement de sujet.
Je lis tous les deux mois - la revue est bimestrielle - Hardware Magazine dont j'apprécie la rigueur.

Ce mois ci, numéro 73 d'octobre novembre, un dossier sur les média center, media browser, plex, xbmc, dans lequel page 88 :

Le serveur (plex) existe aussi pour unRaid un mini-OS transformant un PC en NAS et qui s'installe sur une clef USB

C'est la première fois que je relève une référence à unRaid.

Dans leur forum, Nas4free, FreeNas et OpenMediaVault sont bien connus ... mais pas unRaid.

A citer aussi un dossier sur les racks 19" maison - solution que j'ai écartée mais on est en plein dans le sujet - et un test du QNAP TS-451 avec un premier éclairage sur ses fonctions multimédia et la virtualisation.

Michel

[dgilz]

Tu me demandes une situation figée ...
Une de mes raisons de mon choix d'unRaid est l'évolutivité, tant au niveau des disques - je n'aurai probablement jamais huit disques de 4To - qu'au niveau du NAS lui même.
Par exemple un ensemble boîtier carte mère de 2004 tourne actuellement sous unRAID avec 11 baies dont cinq hotswap pour le prix de la licence soit 75 euros.

Si je rajoute 8 disques de 4 To RED à mon dernier prix d'acquisition, livré ce matin , cela fait 75 + 139,37 x 8 = 1.190 euros soit 37,27 € par To.

Ma deuxième configuration unRaid avec 12 racks hotswap - donc directement comparable au DS2413+ me revient à 670 euros.
En rajoutant les même 8 disques de 4To cela donne 1.785 euros soit 55,78 €/To.

Une autre approche plus économique aurait été d'opter pour un boîtier Fractal Design Node 804 et une carte mère d'entrée de gamme et fanless telle que celle qui équipe ma petite configuration Lian-Li PC-Q25. Cela reviendrait à 335 euros.
En rajoutant les disques 1.450 euros soit 45,31 €/To.

En résumé pour 8 disques de 4xTo, NAS compris :
- récupération ancien matériel : 37,27 € / To
- économique : 45,31 € / To
- performance et hotswap : 55,78 € / To
- ta solution Synology : 71,88 € / To

Cela dit, en ce qui me concerne, le vrai argument économique est que je n'aurai jamais envisagé de fonctionner sans sauvegarde avec du RAID-5 ou du RAID-6.
Dans mes simulations le coût des solutions Synology était multiplié par deux.
Et bien entendu le volume, aussi par deux.

Michel

Tu réponds parfaitement à me demande.

Les avantages de unRaid :
- coût moindre
- flexibilité

Les avantages du syno :
- garantie et support
- base de connaissance et d'utilisation

C'est très intéressant, merci pour toutes ces infos, et le temps que tu passes à les partager.

[MLill]

Au syno j'ajouterais la facilité de mise en oeuvre aussi bien sur le plan matériel que logiciel.
Au point, qu'en ce qui me concerne, je n'aurais jamais envisagé de monter un PC pour y installer FreeNAS, NAS4Free ou OpenMediaVault.
Trop paresseux

Michel

[MLill]

Cette semaine j'ai enfin eu mes erreurs de parité lors du contrôle mensuel .
Exactement 169.
Comme j'avais coché l'option de correction du disque de parité je n'ai aucun moyen de savoir si l'intégrité des données a été ou non affectée.
Dans ce cas précis aucune importance même si quelques octets ont été modifiés.

J'ai quand même changé le disque, laisser unRaid reconstituer son contenu, et comparé le disque reconstitué au disque qui avait eu les soucis.
Sans constater aucune différence.

Puis relancé un contrôle de parité qui se termine sans incident.
Sauf que le contrôle de la log et la comparaison des rapports smart avant-après m'indique des erreurs d'entrée-sortie .sur un disque de la même série que le premier disque défaillant.
J'ai laissé le disque en place.

Dans le résumé des informations Smart on retrouve la trace de deux erreurs d'entrée sortie pour chaque disque.

Code: Tout sélectionner

199 UDMA_CRC_Error_Count 0x000a 200 200 000 Old_age Always - 2

Pour en savoir plus il faut utiliser le rapport smart détaillé qui indique le nombre de secteurs affectés

Code: Tout sélectionner

Error 1 occurred at disk power-on lifetime: 1521 hours (63 days + 9 hours)
When the command that caused the error occurred, the device was active or idle.
After command completion occurred, registers were:
ER ST SC SN CL CH DH
-- -- -- -- -- -- --
84 51 99 ef e9 c8 04 Error: ICRC, ABRT 153 sectors at LBA = 0x04c8e9ef = 80275951

Je n'ai aucune idée de la réaction d'une grappe RAID-5 ou RAID-6 lors de ce type d'incident.
En RAID-1 j'ai eu aussi bien du "circulez il n'y a rien à voir" que du "disque hors ligne - changez le sans attendre".

Je ne sais pas non plus si un test SMART complet aurait signalé quelque chose dans l'un ou l'autre cas.

Par contre cet incident est pour moi la preuve expérimentale que les erreurs sur les disques peuvent être corrélées.

Michel

[MLill]

L'univers du DIY est économique sur bien des points, on peut mettre un Xeon et 16 GB de mémoire ECC dans le serveur en restant très en dessous des tarifs de Synology et de Qnap - sans même consommer plus.

Mais, outre le temps passé, il y a aussi des frais annexes.
Je viens ainsi de m'équiper d'un sonomètre pro - calibré - mon vieil appareil étant incapable de différencier les PC récents qui sont incapables d'atteindre les 40 db .

Michel

[filou59870]

Salut Michel

Je m'interesse un peu unRAID, et a toute distribution de ce genre.

J'avais un NAS Qnap 8 disques, une petite bestiole sympatique. Interface vraiment bien faites, bonne perf, par contre assez cher.

Je l'ai revendu pour me construire un petit serveur home made.

Mon souhait avoir un truc consommant peu (comme un Qnap...), pouvoir faire tourner des Machines virtuelles, puis faire du stockage.
Pour mon stockage on va dire que j'ai 2 besoins :
-Des Données sensible ou j'ai besoin de sauvegarde
-Les Films et séries que j'enregistre a la TV (pas grave si j'ai de la perte)


J'ai craqué pour un boitier sous forme de Rack 19" avec 24 baie (Ref : Norco 4224).
Un petit Xeon E3 Low voltage, une carte Mere supermicro avec raid intégré 8 Disque, plus 2 carte Raid LSI 8 disque ...

Coté distrib :
Je suis partie sur solution basé sur VMWare ESXI : c'est l'hyperviseur qui contient toute les OS Virtualisé.

Pour la partie stockage j'ai essayé quelques solutions: OpenMediaVault, NappIT, Nas4Free...

Pour le moment je suis sous Ubuntu , et j'ai mis en place le systeme de fichier ZFS on Linux. (ZOL)

J'ai 2 Grappes :
1xRaidz2 de 8 Disque de 4To
2xMirror de 2 Disque de 2To (Soit l'équivalent d'un Raid10)

Actuellement, en terme de niveau de sécurité ZFS est nickel, au niveau des taux de transfert, idem c'est parfais.

Il y a 2 petit truc qui me gène :
-Je but sur un problème de gestion de droit sur les fichiers (lorsque je fais des transfert depuis une distrib linux, le chown ne marche pas),Meme genre de problème quand je synchronise des fichiers depuis un PC sous Windows, les dates sur les fichiers ne correspondent pas...

-Le 2nd c'est la gestion de l'alimentation des disque, actuellement quand j'accède a une grappe, c'est tout les disque de cette grappes qui sont sous tension... unRAID a l'air d'etre mieux a ce niveau.


Là je vais donc essayer de faire quelques essai avec UnRAID car le système a l'air d'être sympas. Le seul truc qui peut faire un peu peur ce sont les commentaires de certaines personnes sur les forums qui critique le système de manière assez virulente parfois.

Je vais essayer la version 6 Beta12 qui vient de sortir pour voir ce que ça donne.

Au point, qu'en ce qui me concerne, je n'aurais jamais envisagé de monter un PC pour y installer FreeNAS, NAS4Free ou OpenMediaVault.

Je comprend pas trop ?
Tu as mis en place unRAID, j'aurais plutot tendance a le mettre dans la même catégorie que ce que tu viens de citer ?
Certes ils ont chacun leur différences, facilité pour certain ou complexité pour d'autre ...

[MLill]

Bonjour filou

Tu n'as pas perdu de temps j'ai reçu hier soir le message annonçant la sortie de la beta 12 et je m'apprêtais à la tester.
Sur le forum d'unRaid - et d'autres où se sont réfugiés les dissidents (!) - il y a eu pas mal de heurts concernant la V6, y compris venant de contributeurs de longue date.
Les reproches visent les solutions techniques proposées et ... surtout le large dépassement des délais.

La difficulté est de faire vivre un projet reposant largement sur la communauté d'utilisateurs.
Sur ce point unRaid est une réussite exemplaire.
Tu peux constater sur leur forum le niveau technique des intervenants.

Au fil de mes deux ans d'expérience j'apprécie la fiabilité d'unRaid.
Pas de bogues !
Un contrôleur RAID plus maintenu par Windows, unRaid OK.
Quatre cartes SATA différentes, unRaid OK.
Une carte mère récente sur laquelle Ubuntu, Salix et autres refusent de fonctionner, unRaid OK.

Je ne peux pas te répondre en ce qui concerne le chown (change owner).
Pour la synchronisation avec windows j'ai un projet en cours pour lequel ce problème pourrait être critique, mais c'est en cours de test et je n'ai rien remarqué.
Le même projet inclus un test de ZFS et de BTFRS avec Nas4Free d'un côté et Rockstor de l'autre.
Tout cela, hélas, à petite vitesse.
J'avais aussi un projet ESXI que j'ai interrompu lorsque j'ai vu l'annonce de la V6 d'unRaid.
Ma dernière configuration PC (Xeon, mémoire ECC, graphique Aspeed AST2300) est prévue pour cela et ne consomme pas plus que mon QNAP TS259.

Reste mon étude de 2012.
A l'époque j'avais une bonne expérience de Synology et Qnap dont j'appréciais les logiciels.
La première question était : ais-je assez confiance dans le RAID-5 RAID-6 (ou équivalent) pour me passer de sauvegarde ?
La réponse était non et est toujours non.
Le deuxième question était : puis-je gérer le parc de disques en toute liberté.
Réponse : non.

En cherchant les alternatives PC j'ai étudié FreeNas et ses cousins Nas4Free, OpenMediaVault.
En élargissant j'ai regardé unRaid, FlexRaid, SnapRaid et d'autres.
A la question, puis-je me passer de sauvegarde pour les contenus multimédia, la réponse a été encore non pour Nas4Free et ses cousins.
Peut-être pour unRaid.
A la question : puis-je gérer librement le parc de disques, la réponse était oui.

J'ai donc commencé avec deux grappes unRaid en miroir l'une de l'autre.
Aujourd'hui elles n'ont plus en commun que les données critiques.
Je n'ai pas arrêté en deux ans de transférer des disques d'une grappe à une autre, de mélanger les capacités les plus extrêmes, de réduire ou augmenter le nombre de disques dans une grappe.
Tout cela sans stress et sans perdre un octet.

Michel

[MLill]

A ces explications concernant mon choix d'unRaid il faudrait ajouter celle que tu as toi-même citée : ne faire tourner qu'un minimum de disques ce qui est bien adapté à un usage multimédia.
En usage courant un seul disque tourne, ce qui veut dire moins de consommation, moins de vibrations, moins de bruit car il y a moins de calories à évacuer.
Mes NAS 12 baies sont plus silencieux que mon DS109 qui, certes, date un peu.

Mais unRaid a aussi des inconvénients.
Idéal pour le multimédia il est moins adapté à un usage général.
La première raison est que les débits sont très inférieurs à un système RAID classique.
En v5 je plafonne à 35 Mo/s, en v6 à 60 Mo/s.

La seconde est que le RAID-1 offre, à mon avis, une meilleure disponibilité, pour des données sensibles que l'on utilise quotidiennement.
En cas de panne disque la reconstruction est transparente.

Mais je désire aller au-delà du RAID-1 que je gère actuellement sur mon QNAP TS-259.
C'est pour cela que j'envisage des solutions utilisant ZFS ou BTRFS pour bénéficier du contrôle d'intégrité, de la correction dynamique des secteurs invalides, et des snapshots.

Pour ces usages, c'est la possibilité d'utiliser BTRFS sous unRaid qui m'intéresse, du moins si elle est moins embryonnaire que ce qui est implémenté dans les premières beta de la V6.

Michel

[MLill]

Un dernier point.
La communauté unRaid a porté unRaid sous ESXI.
Il y a par exemple, ce sujet et et cet autre sujet.

Michel

[filou59870]

Oui merci pour les liens je connais les sujets,

Celui de Johnm au sujet de sa config ATLAS est très bien fait, c'est rare d'avoir des tuto aussi complet. (Le tient en fait parti )

Bon ba voilà c'est parti. Finalement j'ai choisi la 5.0.6 qui date du 18/10/14.
Meme si j'aime jouer au betatesteur apparement la 6.0 Beta pose problème sous ESXI donc on va attendre un peu.

Install sous ESXI effectué avec l'aide de PLOP pour le boot sur clé USB
L'install est très rapide, rien a redire ladessus.
J'ai eu la bonne idée de sortir 3 disques de 4To, donc la le calcul de la parité va prendre environ 7h... vais pouvoir aller manger et matter quelque chose a la TV avant de faire les 1er tests.

Ca me rapelle la mise en place de RAID avec mon Qnap, ca change de ZFS aussi.

Tien petite question, comment unraid gere til les disque :
Par Nom logique style sda sdb ...
Par Numero de Serie

Histoire de savoir si on peut sans problème changer de place un disque lorsque l'on a des baies échangeable a chaud ?

[MLill]

Oui il y a de vraies compétences sur le forum unRaid .

La 5 est plus jolie avec le WebGui de Dynamix qui est installé d'office sur la 6.
J'installe aussi unMenu, notamment, pour l'historique des tests smart et l'arrêt du NAS.

Le calcul de parité se fait en gros à la vitesse moyenne du disque le plus lent.
Pour 7x3To cela me prend 8H.

Je fais systématiquement un preclear des disques avant de les ajouter dans la grappe.
Cela lit le disque, écrit des zéros, relit le disque avec contrôle smart avant et après.
Ceci fait l'ajout du disque dans la grappe est quasi instantané (puisqu'il y a des zéros le disque de parité est OK).

unRaid identifie les disques par leur numéro de série, peu importe leur position dans les baies.
Je reclasse mes disques et les transfère d'un PC à un autre ... sans m'occuper de l'ordre.
On peut aussi éviter de mettre tous les disques les plus chauds les uns à côté des autres, ou garder des baies vides.
Par contre j'ai toujours arrêté l'ordinateur avant de manipuler les disques même si mes baies permettent théoriquement l'échange à chaud.

Il vaut mieux aussi ne pas se fier au sda, sdb, ..., qui peut changer d'un démarrage à l'autre.
En fonction du peuplement des baies, mais aussi en fonction de l'ordre de prise en charge des contrôleurs.
Sous linux chaque disque a son point de montage qui lui est invariant.

Michel

[filou59870]

Bon ba voilà calcul de parité terminé.

-Dans l'onglet User : j'ai root, mais impossible de créer un autre user, a chaque fois que je valide par ADD, lorsque je retourne dans users, mon utilisateur n'apparait pas !!! Bizare non ?
OK, je viens de trouve le problème, unRAID ne prend pas les user avec une majuscule !!

-J'ai donc pour le moment 3 Disques de 4To avec la licence gratuite.
Je suis vachement décu de la vitesse d'ecriture , seulement 33mo/s alors que la référence chez moi sur mon autre config en ZFS avec les même disque tourne a 100mo/s
Je supose que c'est le calcul de la parité qui plombe les résultats... d'ailleur sur le blog de lime-tech il recommande de faire les transfert sans le calcul de la parité , c'est bien pour la 1ere foi, mais ca solutionne pas le problème...

L'utilisation du cache disque pourrait contourner le problème, mais c'est dommage on peu pas l'essayer dans la version gratuite

-Avec la version Plus et Pro, est-il possible d'avoir plusieurs grappe par exemple avoir 2 Disque + 1 Parité , et d'avoir en plus X disque sans parité ?

[MLill]

Oui ce problème de vitesse d'écriture est le point noir d'unRaid que j'ai signalé plus haut.
A ma grande surprise j'ai obtenu 60 Mo/s sur ma grappe de test en V6 sans comprendre pourquoi.
Sinon c'est comme toi environ 33 Mo/s.

C'est, je suppose, la raison pour-laquelle on ne parle plus du RAID-4.
Malheureusement la seule alternative consiste à utiliser tous les disques à la fois.

Le cache permet de contourner en partie le problème.
Les fichiers sont écrits dans le cache aussi vite que le permettent le disque et le réseau (au delà de 100 Mo/s).
Puis transférés dans la grappe par une tâche planifiée dans le webGui (habillage de rsync/cron) ... à 30 Mo/s.
En v5 le cache n'est pas protégé, en v6 on peut utiliser BTRFS en miroir (je n'ai pas réussi).

Malheureusement on ne peut pas avoir plusieurs grappes.
Le sujet a été plusieurs fois abordé et c'est sans espoir, à mon avis.
On peut contourner cette limite en utilisant plusieurs machines virtuelles, mais cela veut aussi dire plusieurs licences.

J'ai initialement utilisé unRaid sans parité avec cinq disques sur deux machines en miroir.
J'ai mis en place la parité une fois la montée en charge terminée.
Puis j'ai affecté la machine miroir à autre chose ce qui m'a doublé la capacité.

Michel

[athoriac]

bonjour,
je suis tombé sur ce ce topic et je decouvre UnRaid.
le principe me plait assez mais j'ai quelques question.

une fois la licence "Server plus" acheté est t'il possible de passer de la version 5 à la version 6, par exemple ?
pour la mise à jour d'une version à l'autre quel dossier sur la cle faut t'il conservé pour ne pas perdre ces paramètres.
je ne maitrise pas grand chose à linux, et je ne trouve pas grand chose, comment connaitre la liste de plug in.

actuellement j'ai un storage pool "windows 8" avec 3 disques de 2T , j'ai acheté deux disques de 4T supplémentaires, c'est l'occasion de changer le soft de gestion du NAS.

choisir le software qui gère son NAS n'est pas chose facile, surtout quand on ne part pas de zero, car on ne bouge pas 5T de donner comme ça..

si c’était à refaire vous referiez ce même choix ?

merci

[MLill]

Jusqu'à présent toutes les évolutions ont été gratuites.
La beta de la version 6 fonctionne sans problème avec une licence achetée pour la version 5.
Sachant que l'équipe d'unRaid appelle beta ce que d'autres présentent comme des produits finis.

Un des soucis avec unRaid et que l'on se perd dans la liste des extensions disponibles et, hélas, dans les différentes méthodes d'installation.
On est assez loin de ce que proposent Synology et Qnap.
La version 6 simplifie la procédure - il suffit de copier un lien - mais l'offre est très limitée.

Dynamix - V6 Plugins
Plugins V5

L'autre approche, que je n'ai pas testée, est celle de Docker
popular applications in unRaid-6

Le potentiel est énorme sachant que l'on trouve ... quasiment tout, par exemple
turnkey-linuxnannouncing docker
turnkey linux apps
J'ai utilisé turnkey-linux avec succès sous VirtualBox et VMWare alors même que je n'arrivais pas à faire fonctionner correctement l'application sur Synology et QNAP.

J'ai longuement testé FreeNas, mais pas les plugins.
La documentation est plus au point que celle d'unRaid.

UnRaid peut lire des disques formatés en NTFS.
Faire des copies sans passer par le réseau et sans utiliser de lignes de commandes est possible.
Mais il faut installer des extensions dont je n'ai pas parlé ci-dessus.

Je viens récemment de passer ma "production" sous unRaid en abandonnant QNAP et après avoir envisagé et éventuellement testé une dizaine d'alternatives à unRaid.
L'offre est effectivement très abondante.

Michel