Tuto Multimédia Virtualisation Avec Xenserver 6.2

[Shad]

Dans ce tuto nous allons voir pour faire de la virtualisation avec xenserver 6.2 et ce qu'on peut en faire.

Pour ceux qui ne savent pas ce qu'est la virtualisation : http://fr.wikipedia.org/wiki/Virtualisation
Ce qui consiste a faire tourner plusieurs système indépendamment des autres.

Voilà  mon projet (enfin ce que je vais essayer de faire):
1) xenserver en raid1 (Je fonctionne avec des ssd pour mon os + mes vm, donc je veux protéger tout ça en cas de défaillance d'un disque)
- unRAID (stockage en raid pour médiathèque et donnée de mes machines virtuel)
- Sarah (le plus dur je crois ^^)
- debian pour mes différents service (isc-dhcp-server, php + mysql pour mes script et données de xbmc, squid3, squidguard, pfsense ...)
- debian pour mes torrents( pour télécharger mes iso hein )
- debian pour gestion de mes caméras
- plexserver pour transcodé à  la volée mes films pour les tablettes de la maison, car à  l'heure actuel xbmc ne gère rien de tout sa.

L'avantage:
- on peut faire fonctionné plusieurs système et qu'en cas de crash d'une vm le reste continue à  fonctionner
- Avec le pci passthrough on peut par exemple créer un xbmc qui nous servira au quotidien dans le salon (bon la il faut cherchez comment faire, mais cette une idée)
 

Inconvénient:

- la consommation car ce n'est pas un nas. Mais je pense que celui est compensé par ces avantages.

Ce tuto sera fait au fur et à  mesure que j'avance dans mon installation donc sur quelque jours ^^
 

1) Xenserver en raid1

 

- Besoins:
- Récupérez l'iso xenserver 6.2 http://www.xenserver.org/ et gravez le sur un CD (j'ai jamais réussie avec une clef USB)
- Putty http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html (Ou un terminal si vous êtes sous linux ou mac)
- unRAID http://lime-technology.com/ + 1 clef usb

- Installation de XenServer:

- Bootez votre ordinnateur sur le CD
- Choississez voter type de clavier
- Cliquez encore sur OK
- Acceptez EULA
- Choissisez le disque dur  ou installer xenserver (normalement /dev/sda)
- Sélectionnez le ou les disques dur ou il y aura les machines virtualisé ou décochez tout pour du raid1
- Validé les options suivantes
- Mettez votre mot de passe admin
- Paramétré votre réseau
- Validé votre région et l'heure
- Lancé l'installation
- appuyé sur skip et réglé la date
- Voilà  tout est finie pour l'installation de xenserver.
 

- RAID1
Maintenant on va configurer le raid 1, je ne vais pas commenter toute les commandes mais mettre en évidence les points importants. Pour des explications je vous conseille l'article suivant très bien détaillé. (src:http://wysotsky.info/?p=106):
- On commence par créer la partition pour le local storage

sgdisk -p /dev/sda
sgdisk --new=3:16779264:DISK_SIZE-34 /dev/sda (remplacez DISK_SIZE par votre nombre de secteur total)
sgdisk --typecode=3:fd00

- Ensuite on nettoie le second disque et on le passe en GPT

sgdisk --zap-all /dev/sdb
sgdisk --mbrtogpt --clear /dev/sdb

- On récupère le nombre de secteur

sgdisk -p /dev/sdb

- On crée les partitions,

sgdisk --new=1:2048:8388641 /dev/sdb
sgdisk --typecode=1:fd00 /dev/sdb
sgdisk --attributes=1:set:2 /dev/sdb
sgdisk --new=2:8390656:16777249 /dev/sdb
sgdisk --typecode=2:fd00 /dev/sdb
sgdisk --new=3:16779264:DISK_SIZE-34 /dev/sdb (remplacez DISK_SIZE par la taille des secteurs du disque)
sgdisk --typecode=3:fd00 /dev/sdb

- Redémarrez votre serveur avec la commande

reboot

- Maintenant on va créer et préparez le raid

mdadm --create /dev/md0 --level=1 --raid-devices=2 missing /dev/sdb1
mdadm --create /dev/md1 --level=1 --raid-devices=2 missing /dev/sdb2
mdadm --create /dev/md2 --level=1 --raid-devices=2 missing /dev/sdb3
mkfs.ext3 /dev/md0
mount /dev/md0 /mnt
cp -vxpR / /mnt
sed -i 's/LABEL=[a-zA-Z\-]*/\/dev\/md0/' /mnt/etc/fstab
mkdir /mnt/root/initrd-raid
mkinitrd -v --fstab=/mnt/etc/fstab /mnt/root/initrd-raid/initrd-`uname -r`-raid.img `uname -r`
cd /mnt/root/initrd-raid
zcat initrd-`uname -r`-raid.img | cpio -i
sed -i 's/raidautorun \/dev\/md0/raidautorun \/dev\/md0\nraidautorun \/dev\/md1\nraidautorun \/dev\/md2/' init
find . -print | cpio -o -Hnewc | gzip -c > /mnt/boot/initrd-`uname -r`-raid.img
rm /mnt/boot/initrd-2.6-xen.img
cd /mnt/boot
ln -s initrd-`uname -r`-raid.img initrd-2.6-xen.img
sed -i 's/LABEL=[a-zA-Z\-]*/\/dev\/md0/' extlinux.conf
cat /mnt/usr/share/syslinux/gptmbr.bin > /dev/sdb
cd /mnt
extlinux  --raid -i boot/

- Ensuite on redémare le tout et vous devez boot sur le second disque

reboot

- Après on va finir de configurer le raid

sgdisk --attributes=1:set:2 /dev/sda
sgdisk --typecode=1:fd00 /dev/sda
sgdisk --typecode=2:fd00 /dev/sda
sgdisk --typecode=3:fd00 /dev/sda
mdadm -a /dev/md0 /dev/sda1
mdadm -a /dev/md1 /dev/sda2
mdadm -a /dev/md2 /dev/sda3

- Il faut surveiller quand la reconstruction du raid est finie

watch -n 1 cat /proc/mdstat

- Une fois finie on enregistré le raid

mdadm --detail --scan >> /etc/mdadm.conf

- On créer le local storage
[/code]xe sr-create content-type=user device-config:device=/dev/md2 host-uuid= name-label="Local Storage" shared=false type=lvm[/code]

- On redémarre et c'est finie.

reboot

Une fois xenserver redémarrer, ouvrez votre explorateur internet et rentré dans l'adresse ip de votre serveur et téléchargé XenCenter Installer pour manager votre serveur.

Voilà  vous pouvez faire ce que vous voulez.

[Shad]

Installation unRAID

Réservé

[Shad]

Services

Réservé

[Shad]

Réservé

[Shad]

Réservé

[Shad]

Réservé

[Shad]

Réservé

[Shad]

Réservé

[Lazer]

Beau projet , je vais suivre ça avec attention.

Bon je vais quand même rester avec mon vSphere + Xpenology, c'est quand même plus simple et surtout ça marche déjà

[p78ch201]

étape suivante, la clusterisation (cela dit, peut-on faire un cluster avec un serveur existant sans tout recommencer ?) ?

 

en tout cas sujet très intéressant que je vais suivre avec attention.

 

bon courage ! j'ai hâte de lire la suite

[Lazer]

p78, j'y pense sérieusement àla clusterisation

Un jour je complèterai mon HP G7 N54L avec le nouveau HP G8. Un dans la maison, l'autre dans le garage (bâtiment séparé)

Bon ça ne sera pas un vrai cluster, mais simplement de la réplication entre les deux. Pour faire un vrai cluster, il faudrait un stockage partagé (donc un 3ème serveur). Et si on veut pousser le concept jusqu'au bout, on a 2 baies de stockage répliquées, et 2 serveurs en cluster. En entreprise en tout cas...

Après selon les technos de cluster, parfois il faut tout casser, parfois ça se rajouter par dessus l'existant.

[Shad]

Ouais pour les cluster on va attendre un.

Déjàavec unraid je monter à24 disques, après pour le second serveur en backup quand j'aurais l'argent

Je suis entrain de préparer le sujet pour unRAID qui pareil pour son pris est tiptop.

[p78ch201]

je relance le sujet car je me suis lancé la dedans et je voulais savoir si ça avait évolué un peu.

de mon coté, j'ai récupérer le NUC qui devait initialement hébergé SARAH et j'en ai fait un serveur (un grand mot ça, en fait j'ai installé ubuntu desktop dessus).

pour le moment ce serveur gère :

- plex serveur (pour le transcodage, le synology ne suivait pas sur les vidéos en 1080p, pourtant c'est un Atom double coeur 1.3GHz)

- sabnzbd + couchpotato (film)

 

pour la suite :

- installer sickbeard (pour ensuite supprimer sabnzbd+couchpotato+sickbeard du synology)

- php + base sql pour migrer les données des températures du modules de Lazer

 

l'idée est de récupérer la puissance de calcul du NUC (intel i5) pour décharger le synology, qui va uniquement servir pour héberger des fichiers (et qui a d'autres options de sauvegarde automatique, etc..) mais c'est sur que j'ail'impression de revenir en arrière.

 

dans mon idée future de passer tout mon matos informatique en rack, je trouve la solution des NUC interessante par rapport à  des serveurs lames (un i5 en lame, c'est pas le meme prix qu'un NUC).

 

du coup, je regarde pour faire un cluster a posteriori (suis au niveau sur linux, a peine bon a faire des copier-coller, me vois mal tout recommencer)

[Shad]

C'est vrai que j'ai un peu zapper cette partie avec tout mes projets mdr.

Pour ce qui est de sabnzbd et le reste je vais le dégagé de mon syno ou le proc tourne à  fond -_-'.

Donc  presque 1h30 pour analyser et extraire le fichier sa me gonfle un peu.

 

Perso j'ai je suis partie sur plusieurs machines virtuel:

- unraid

- service (dhcpd, apache/mysql)

- camera

- plex

- système de download

- openremote (je fais quelque test)

- Sarah (pas assez de RAM pour la mettre en fonctionnement Xd).

 

Les serveurs lames on verra plus tard. Je pense que pour le moment c'est mieux de me faire 2 serveurs en raid6 pour les backups. Je précise ce qui m'intéresse c'est en cas de problème logiciel ou hardware, si incendie ce ne sera pas pour sa que je vais pleurer en premier Xd.

 

Quand à  mon fonctionnement de mon serveur, il tourne sur xenserver et toute les machines virtuels sont sur un SSD, par contre toute mes données des VM sont sur unRAID.

[Lazer]

P78, qu'attends-tu précisément d'un cluster ?

 

C'est un peu vague là .

 

Parce que normalement, un cluster ce sont 2 machines (ou plus...) qui partagent le même service (serveur Web, partage de fichiers, serveur de messagerie, etc...), et chacun peut prendre le relai de l'autre automatiquement de cas de crash de l'un d'eux. On parle alors de haute disponibilité. Pas certain que ce soit exactement ce que tu recherches à  domicile.

[p78ch201]

@lazer,

si si, c'est bien ça !

genre j'heberge toute l'intelligence informatique sur un serveur et virer les paquets du synology (qui se contenterai de faire serveur de fichier).

 

l'idée est aujourd'hui de tout centraliser sur serveur et plus tard, en avoir un deuxieme qui soit la copie conforme du premier.

en fonctionnement normal, les deux serveurs partageraient leur puissance de calcul.

si l'un des deux crash, l'autre continue de fonctionner.

c'est un peu le RAID 1 appliquer au serveur.

 

en revanche, la ou je m'y perds un peu :

quand j'installerai le deuxime serveur, est-ce que je vais devoir tout installer a la mano ou le systeme sait que ce deuxieme serveur fait parti d'une grappe et va aller automatiquement tout recuperer sur le premier serveur ?

[Shad]

Là  il va falloir que tu t'y colles à  la mano et tout configurer ^^.

Pour moi tu veux allez trop loin et perso voilà  comment je verrais la chose pour simplifiez le truc.

 

-Premièrement 2 serveurs sous xen.

- Sur chaque serveur tu installes un serveur de fichier (unraid, samba, xpenoplogy ...)

- Sur le premier tu fais ta configuration, et une fois finie tu exporte toutes tes vm sur l'autre serveur que tu laisseras éteinte.

- Toute les données de chaque vm sont sur ton serveur de fichier, et tu fais chaque soir une syncro entre les deux serveurs.

- Le jours ou tu à  un problème sur le premier serveur, tu as juste à  allumer les vm pour reprendre le fonctionnement.

 

Perso je le verrais plus comme sa et plus simple à  mettre en place.

[Lazer]

Les clusters, c'est quand même un sujet assez complexe, voire même le sujet le plus complexe qui puisse exister pour un ingénieur système. Surtout qu'il faut avoir des notions de réseau et de stockage.

Pour info, je connais assez bien les clusters IBM HACMP / PowerHA sous AIX. Je connais un peu RedHat Cluster. Et j'ai des notions des clusters VMWare.

Donc je peux affirmer que la domotique c'est de la rigolade pour se reposer l'esprit le dimanche à  coté de ce que c'est que de faire fonctionner correctement un cluster (encore que le LUA ça peut être bien prise de tête des fois...)

Un cluster, quand ça marche, c'est nickel. Mais quand ça veut pas, c'est pire que tout, à  tel point que plusieurs entreprises, après une expérience malheureuse avec un cluster, préfèrent faire évoluer leur infra vers une solution sans cluster, malgré tous les beaux discours que le prestataire peut avoir sur les évolution du produit. Le pire que j'ai eu, c'est un cluster que j'ai mis 1 an à  faire fonctionner correctement. Et non, je ne suis pas complètement mauvais, puisque le problème était reproductible sur certaines autres clusters (mais pas tous), et j'ai dialogué pendant tout ce temps là  avec les développeurs d'IBM aux US qui m'envoyaient les patches à  appliquer au fur et à  mesure.

Parmi les soucis généralement rencontrés : bascule intempestive, pas de bascule du tout, bascule qui ne redémarre pas sur l'autre noeud, temps de bascule anormalement long, etc... la liste est longue

J'ai aussi vu des cas particuliers : clusters installés, configurés, recettés et mis en prod. Finalement, aucune bascule durant 3 ans (tant mieux). J'arrive pour faire la migration vers la nouvelle infra, je fais une bascule manuelle préalablement pour vérifier que tout va bien, et là  c'est le drame : les évolutions de l'appli font que ça ne bascule pas 3 ans après.

Voilà  le décors planté...

 

Ce qu'il faut savoir, c'est qu'à  la base d'un Cluster, ce n'est pas le système d'exploitation qu'on clusterise (AIX, Linux, Windows, ...), mais les applications qui sont dedans. Par exemple : un serveur Web, un serveur de messagerie, un serveur de fichiers, une base de données, etc...

Ensuite, une application clusterisée peut être en mode :

- actif/passif (bascule automatique sur le serveur secondaire en cas de crash du serveur primaire) => cas généralement le plus simple à  mettre en Å“uvre

- actif/actif (tous les noeuds du cluster travaillent, ce qui permet en plus une répartition de charge. Exemples : load-balancer sur un serveur Web, Oracle RAC, GPFS, etc...) => plus complexe à  mettre en oeuvre

 

Autre façon de clusteriser, grâce aux hyperviseurs permettant de faire de la virtualisation, c'est de le faire au niveau de la machine virtuelle complète (donc le système d'exploitation complet) comme le fait VMware. Là  c'est génial et ça marche assez bien. Je ne connais pas Xen, HyperV, Proxmox & co donc je ne saurais pas dire si ça fait aussi bien. C'est du mode actif/passif.

 

Quelque soit le cluster retenu, la plupart du temps une application partage des données. Donc clusteriser un service c'est bien, mais que fait-on du stockage derrière ?

Et bien il faut qu'il soit partagé entre les différents serveurs. Et c'est là  que ça devient difficilement gérable pour les particuliers que nous sommes, à  la maison.

En entreprise, le stockage se fait généralement sur des baies de disques externes, de type NAS (via le réseau Ethernet) ou SAN (via un réseau Fibre Channel dédié, très performant), voire encore d'autres technos (Infiniband, ...)

 

A la maison on commence tout juste depuis quelques années à  avoir des petits NAS, alors de là  à  acheter 2 autres serveurs pour mettre devant et clusteriser l'application, ça commence à  être assez violent.

 

A noter que certaines applications peuvent être clusterisées sans forcément avoir besoin d'un stockage partagé. C'est pas exemple le cas d'un serveur Web avec des pages statiques : il suffit de répliquer les pages Web avec un bête rsync entre les 2 serveurs et le tour est joué. Si le serveur Web fait appel à  des pages dynamiques (en fait les pages sont statiques, ce sont les données qui sont dynamiques), alors il faut aller chercher les données dans une base MySQL qui devra être clusterisée. Si cette base n'est pas clusterisée, elle devient ce qu'on appel un SPOF (Single Point Of Failure). Et oui, la sécurité d'un système est égale à  celle de son maillon le plus faible.

 

Donc en continuant cette logique, où on a 2 serveurs en cluster, et un stockage partagé derrière, on se doit d'assurer la sécurité du stockage. SI on estime que le RAID n'est pas suffisant (car la panne peut venir du contrôleur), alors il faut doubler la baie de stockage..... ah ben voilà  on en est déjà  à  4 machines physiques en tout... et encore là  c'est rien, dans les banques ça devient comique parfois...

 

 

Après toute cette théorie (pfiou le roman, je suis trop bavard), il faut qu'on se penche que quels sont les services que tu souhaites clusteriser.

En fonction de chacun, on verra lequel est facilement clusterisable ou pas.

 

Note : perso, à  la maison je n'ai aucune intention de mettre du cluster. Ca sera de la réplication avec rsync pour sécuriser les données. En cas de panne, le redémarrage sera manuel.

Actuellement je fais ma réplication sur des disques externes stockées ailleurs. Quand j'aurai un second serveur, je répliquerai en plus entre les 2, ce qui me permettra d'avoir un RPO (Recovery Point Objective) de 24h, c'est à  dire au maximum 24h de données perdues (c'est à  dire rien du tout pour un particulier).

[Shad]

Ce que tu veux faire chez toi, c'est ce qui m’intéresse, mais bon faut quand même avoir 4 ou 5k d'euro minimum pour que je me ramène sa mdr.

[Lazer]

On a quand même bien dérivé du sujet initial sur la virtualisation.

 

Est-ce qu'avec Xen, tu peux migrer automatiquement une VM d'un serveur à  un autre ?

Sous VMware, ça marche super bien, mais il faut évidemment le datastore sur un stockage partagé, donc 3 machines minimum en tout.

[Shad]

Dérivé pas temps que sa car c'est intéressant ^^.

 

Mais oui xen tu peux également exporter tes vm. Après vmware j'ai jamais essayer ou regarder. C'est gratuit ???

[Lazer]

ESXi est gratuit.

Pour avoir les fonctions avancées, c'est à  dire faire fonctionner plusieurs ESXi ensemble, il faut passer à  la licence vSphere Infrastructure.... payante

 

Bon je pense quand même que VMware est la solution de virtualisation la plus avancée aujourd'hui.... extrêmement employé dans les entreprises. Mais ce n'est pas la moins chère, loin de là ....

[Lazer]

Je peux faire un tuto ESXi si ça intéresse des gens.

Avec Xpenology dedans.

[p78ch201]

effectivement, c'est plutot interessant, merci pour le topo général Lazer, ça me fait gagner du temps

pour l'histoire, c'est plus pour essayer qu'un réel besoin, mais vu àquoi ça m'engage, je vias voir ...

merci pour ta propal @shad, mais je vais garder mes sous pour autre chose

[Shad]

Ouais mais moi c'est différent, j'ai le transport et 30% de douane àpayer Xd.

Sinon en france tu en as pour beaucoup moins cher mdr ^^.

Si je dis pas de bêtise, sans disque dur, un rack 24 baies tu peux réussir àt'en sortir pour environ 500 ou 600€.