Virtualisation, Cloud Computing et Big Data

Présenté par Ahmed Khoudir

Février 2014
 Plan

 Introduction
– Définition, historique, principes, types
 Virtualisation du serveur
– VMware vSphere
 Virtualisation du poste de travail
– État des lieux
 Cloud Computing
 Big Data
 Démonstration DbaaS
 Conclusion
 Questions

2
 Virtualisation : Définition

 Technique consistant à faire fonctionner plusieurs systèmes

d'exploitation, en même temps, sur un même ordinateur
(LAROUSSE)
 Abstraction des ressources d'un système informatique

3
 Virtualisation : Historique

 Concept introduit dans les années 60

– But : partitionner les ressources des coûteux mainframes
– Naissance du terme « pseudo-machine »
 Perte d'intérêt dans les années 80
– Architecture client-serveur
• Coût élevé de l'infrastructure physique
• Problèmes en cas de panne

4
 Virtualisation : Chronologie

 ~1960 : IBM M44/44X

 1999 : VMware Workstation
 2001 : Microsoft Virtual PC ; VMware ESX
 2003 : Xen (para-virtualisation)
 2005 / 2006 : Extensions Intel VT-x et AMD-V
 2007 : KVM intégré au noyau Linux
 2008 : Microsoft Hyper-V

5
 Virtualisation : Principes

 Critères de Popek et Goldberg (*)

– Critères d’équivalence
• Comportement d’exécution similaire virtuel ou pas
– Critère d’efficacité
• Le processeur physique exécute directement les instructions du
processeur virtuel
– Critère de contrôle des ressources
• Le système de virtualisation doit avoir un contrôle total des
ressources
(*) Formal Requirements for Virtualizable Third Generation Architectures. Communications of
the ACM, Vol. 17, No. 7, July, 1974, pp. 412–421.

6
 Instruction Set Architecture (ISA)

 Trois groupes d’instructions ISA selon Popek et Goldberg

– Instructions privilégiées (Privileged instructions)
• S'exécutent dans un mode privilégié du processeur
– Instructions sensibles à la configuration (Control sensitive
instructions)
• Ont la possibilité d'interroger ou modifier la configuration du
système
– Instructions sensibles au comportement (Behavior sensitive
instructions)
• Leurs comportement dépend de l’état ou la disponibilité des
ressources

7
 Virtualisation : Architecture IA-32

 Non-prévue pour la virtualisation

– Un certain nombre d'instructions sont problématiques car
elles dérogent aux règles de Popek et Goldberg (*)
 Solution apportée par VMware
– Virtualisation totale : VMware Workstation
 Xen a par la suite proposé une autre solution
– Para-virtualisation : Les instructions qui posent problème
sont remplacées par des hyper-appels
(*) John Scott Robin and Cynthia E. Irvine "Analysis of the Intel Pentium's Ability to
Support a Secure Virtual Machine Monitor" Proceedings of the 9th USENIX
Security Symposium, Denver, Colorado, USA August 14-17, 2000

8
 Virtualisation : Architecture IA-32

 Ces instructions dérogent aux règles de Popek et Goldberg

 Sensitive register instructions
– SGDT, SIDT, SLDT, SMSW, PUSHF, POPF
 Protection system instructions
– LAR, LSL, VERR, VERW, POP, PUSH, CALL, JMP,
INT n, RET, STR, MOV

9
 Virtualisation : Architecture IA-64

 18 instructions dérogent aux règles de Popek et Goldberg (*)

(*) Kadir Karadeniz "ANALYSIS OF INTEL IA-64 PROCESSOR SUPPORT FOR A SECURE
VIRTUAL MACHINE MONITOR" NAVAL POSTGRADUATE SCHOOL, Monterey,
California, March 2001

10
 Virtualisation : Architecture IA-64

 3a1: References or changes the mode of the processor

 3a2: References or changes the state of the processor
 3b1: References or changes sensitive registers
 3b2: References or changes sensitive memory locations
 3c1: References or changes privilege level
 3c2: References the memory system
 3c3: Interferes with address translations
 3d: I/O instructions

11
 Virtualisation : Types

 Émulateur (Hyperviseur de type 2)

– Simulation totale du matériel
– Virtualisation complète
 Isolation
– Virtualisation applicative
– Virtualisation au niveau du noyau (Partitionnement)
 Para-virtualisation (Hyperviseur de type 1)

12
 Virtualisation : Émulateurs

 Simulation totale du matériel

– Vieilles consoles de jeux
– Vieux ordinateurs
• Amiga, Atari, etc.
– QEMU, Gxemul, PearPC, Bochs, etc.
 Virtualisation complète
– Le système d'exploitation invité n'a pas conscience d'être
virtualisé
– VMware Workstation, Oracle VM VirtualBox, VMware
Server, Virtual PC

13
Virtualisation : Émulateurs

14
 Virtualisation : Isolation

 Virtualisation applicative
– Technique permettant d'emprisonner l'exécution des
applications dans des contextes ou zones d'exécution
• Chroot, BSD Jail
– Plusieurs instances d'une même application
• Apache, Tomcat, etc.

15
 Virtualisation : Isolation

 Virtualisation au niveau du noyau

– Elle fait croire à la présence de plusieurs machines
– Il n’est pas possible d’utiliser des noyaux différents en
même temps.
• Linux vserver, OpenVZ, Solaris zones, etc.

16
Virtualisation : Isolation

17
 Virtualisation : Para-virtualisation

 Le système d'exploitation invité est conscient d'être virtualisé

 Il communique avec l'hyperviseur via des API de
communication
 Les appels système au matériel du serveur physique se font par
l'intermédiaire de l'hyperviseur
 Nécessite une modification du système invité pour remplacer les
instructions non « virtualisables » par des hyper-appels
 VMware vSphere (ESXi), Citrix XenServer, Microsoft Hyper-V

18
Virtualisation : Para-virtualisation

19
 Virtualisation : Usage

 Domaines d'application
– Virtualisation d’applications
– Virtualisation de serveurs
– Virtualisation de stockage
– Virtualisation de réseaux
– ...

20
 Virtualisation : Avantages

 Optimiser l’infrastructure physique, mutualiser les

ressources
 Améliorer la disponibilité des services
 Simplifier la gestion et le déploiement du système
– Automatisation des tâches
– Efficacité et gain de temps
 Réduire la consommation électrique
 Faire des économies
 ...

21
 Virtualisation : Inconvénients

 Infrastructure souvent complexe, nécessite des connaissances

techniques approfondies
 Nécessite une solution de stockage « partagée » efficiente et
sans faille
 La facilité de déploiement des VM peut être un inconvénient
– Multiplication non justifiée des VM
 La gestion du cycle de vie des VM doit être rigoureuse
 Coût des licences et de la maintenance
 ...

22
 Plan

 Introduction
– Définition, historique, principes, types
 Virtualisation du serveur
– VMware vSphere
 Virtualisation du poste de travail
– État des lieux
 Cloud Computing
 Big Data
 Démonstration DbaaS
 Conclusion
 Questions

23
 Virtualisation du serveur

Source (Oct 2013) : http://www.virtualizationmatrix.com/matrix.php?category_search=all

24
VMware vSphere

25
 VMware vSphere : Fonctionnalités

 Virtual SMP
 vMotion
 Storage vMotion
 DRS (Distributed Resource Scheduler)
 DRS Host Affinity
 HA (High Availability)
 App HA
 Fault Tolerance
 DPM (Distributed Power Management)
 ...

26
 VMware vSphere : Virtual SMP

CPU virtuel (vCPU) réglable

selon les besoins de la VM
- Un ou plusieurs Cœurs
- Une ou plusieurs Sockets

27
VMware vSphere : vMotion

Migration à chaud
d'une VM d'un serveur
physique vers un autre

28
VMware vSphere : Storage vMotion

Migration à chaud du disque

d'une VM d'un volume
(datastore) vers un autre

29
VMware vSphere : Resource Pools

Les ressources physiques (CPU, Mémoire, etc.)

sont organisées sous forme de pools

30
 VMware vSphere : DRS

Regroupe les ressources du cluster et les distribue

aux VM. Équilibrage et déplacement des VM à l'aide de vMotion

31
 VMware vSphere : DRS Host Affinity

Possibilité de définir des dépendances vis à vis des

serveurs physique, DRS tient compte de ces dépendances

32
 VMware vSphere : HA

Redémarrage et relocalisation des VM sur d'autres

serveurs physiques en cas de panne

33
 VMware vSphere : App HA

Assure la surveillance et la disponibilité des applications

Basé sur des règles, redémarrage de l'application ou de la VM

34
 VMware vSphere : Fault Tolerance

Basculement sur un autre serveur sans redémarrage

de la VM (configuration limitée)

35
 VMware vSphere : DPM

Gestion de la consommation électrique

36
 VMware vSphere : Update Manager

Mises à jour sans interruption de service

37
 VMware vSphere : Administration

L'administration de l'infrastructure de virtualisation

se fait avec un client vSphere et un serveur vCenter

38
 VMware vSphere : Administration

 Délégation de la gestion des VM

– Possibilité de définir des utilisateurs et des groupes
d'utilisateurs
– Possibilité de définir des rôles et de les affecter : droit
d'arrêter ou de démarrer une VM, de faire un snapshot,
etc.
– Possibilité d'utiliser un annuaire AD pour authentifier et
gérer les utilisateurs

39
VMware vSphere : Éditions v5.5

40
 Plan

 Introduction
– Définition, historique, principes, types
 Virtualisation du serveur
– VMware vSphere
 Virtualisation du poste de travail
– État des lieux
 Cloud Computing
 Big Data
 Démonstration DbaaS
 Conclusion
 Questions

41
 Virtualisation du poste de travail

Types de déploiement
 Streaming d'OS
 Architecture Virtual Desktop Initiative (VDI)
 Hyperviseur client

42
 Streaming d'OS

 Diffusion centralisée de l'OS et des applications

 Code exécuté sur la machine cible
 Une image par type de machines
 Gestion intégrée des applications et des pilotes
 Nécessite une connexion réseau continue

43
 Virtual Desktop Infrastructure (VDI)

 Poste de travail hébergé sur les serveurs de virtualisation

sous forme de VM
 Machines et logiciels virtualisés distribués à la demande
 Administration centralisée
 Configuration minimale du poste client
– Périphériques d’entrées / sorties
– Composant logiciel de déport d’affichage
– Client léger
 Nécessite une connexion réseau continue (mode connecté)
 Coût élevé et infrastructure complexe

44
 Hyperviseur client

 Hyperviseur de type I installé sur le poste client

 Meilleures performances
 L'hyperviseur local contrôle un ou plusieurs systèmes
virtualisés
 Facilite la migration vers un nouveau OS
 Possibilité de travailler en mode déconnecté
 Matériel géré par l'hyperviseur : Déploiement d'images
simplifié

45
 Virtualisation du poste de travail

 Citrix XenDesktop
 Microsoft (UE-V, App-V, RemoteApp, VDI, Client Hyper-
V, MED-V, Windows Thin PC)
 VMware Horizon Suite (View, Mirage, Workspace)
 Oracle Virtual Desktop Infrastructure, Oracle Desktop
Virtualization Clients
 Red Hat Entreprise Virtualization (RHEV)
 Etc..

46
 Virtualisation du poste de travail

 Projets open source

– SPICE (protocole de communication) :
http://www.spice-space.org
– Cantivo (KVM + SPICE) : http://www.cantivo.org
 Tendances
– Mobilité et l'usage du Cloud
– BYOD (Bring Your Own Device)

47
 Plan

 Introduction
– Définition, historique, principes, types
 Virtualisation du serveur
– VMware vSphere
 Virtualisation du poste de travail
– État des lieux
 Cloud Computing
 Big Data
 Démonstration DbaaS
 Conclusion
 Questions

48
 Cloud Computing

 Définition
– Accès via un réseau de télécommunications, à la demande et
en libre-service, à des ressources informatiques partagées
configurables (wikipedia)
– Modèle d’organisation informatique permettant l’accès à des
ressources numériques dont le stockage est externalisé sur
plusieurs serveurs (Larousse)
 Origine
– Le mot Cloud, qui signifie « nuage » en anglais, correspond à
l'image généralement utilisée dans le monde informatique
pour symboliser le réseau Internet (wikipedia)

49
 Cloud Computing : Historique

 1997 Pr. Ramnath Chellappa, suggère que les frontières de

l’informatique seraient définies par la logique économique plus
que par les limites techniques (*)
 1999 Salesforces fut le premier, à transformer ce concept en
« business » avec une offre logiciel
 2002 Amazon présente une offre de type « Cloud » comme
solution au sur-dimensionnement de son parc de serveurs hors
période de fêtes
 2007 IBM fait du Cloud Computing une priorité
(*) Intermediaries in Cloud-Computing: A New Computing Paradigm, INFORMS
Annual Meeting, Dallas, TX, October 26-29, 1997

50
 Cloud Computing : C'est quoi ?

 Ce n'est pas une technologie, mais un ensemble de technologies

combinées
 C'est un modèle d’exploitation et de distribution informatique
orienté services
 La virtualisation est au cœur de ce modèle : Usage et
infrastructure sont découplés
 Repose sur des centres de données modernes, hautement
connectés et hautement disponibles
 Ressources en libre-service et à la demande
 Approvisionnement rapide et ajustable
 Paiement à l'usage

51
 Centres de données modernes

 Administration automatisée au maximum

– Intervention humaine réduite au minimum
– Ajout et prise en compte automatique d'un matériel
 Virtualisation
– Optimisation et consolidation des ressources
 Fabric Ethernet
– Gestion simplifiée et réseau performant
 Big Data
– Stockage « distribué » de grande quantité de données

52
 Cloud Computing

 Défis à relever
– Normes et standards
– Sécurité
 Open Source
– Doit jouer un rôle majeur pour relever ces défis
– IBM annonce (4 mars 2013) que toute son offre Cloud
sera désormais basée sur l'Open Source (*) et investi
massivement (17 septembre 2013) (**)
(*) IBM To Make Its Cloud Services and Software Open Sourced-based « http://www-
03.ibm.com/press/us/en/pressrelease/40519.wss »
(**) IBM Commits $1 Billion to Fuel Linux and Open Source Innovation on Power
Systems « http://www-03.ibm.com/press/us/en/pressrelease/41926.wss »

53
 Cloud Computing :
Types de déploiement

 Cloud privé
– Réservée à l’usage exclusif d’une seule organisation
 Cloud public
– Destinée à un usage public
 Cloud communautaire
– Réservée à l’usage d’une communauté spécifique
 Cloud hybride
– Combinaison d'au moins deux Cloud (privé, public ou
communautaire) autonomes mais liés entre eux

54
Cloud Computing :
Gestion et organisation

55
 Cloud Computing : Services

Cloud Computing Services : SPI model

Software as a Platform as a Infrastructure as a

Service (SaaS) Service (PaaS) Service (IaaS)

Modèle de fourniture Modèle de fourniture Modèle de fourniture de

de logiciels hébergés d'un environnement l'infra matériel (serveurs,
dans le cloud. d'exécution rapidement stockage, réseau).
Exemples : disponible pour des Serveurs virtuels gérés
Google Apps applications spécifiques par les clients eux même.
Office Web Apps ou en développement.
LotusLive (IBM)

56
 Cloud Computing & Open Source

 OpenStack : http://www.openstack.org
– Créé par Rackspace Hosting et la NASA (juillet 2010)
– Licence : Apache v2.0
 Piston Cloud Computing : http://www.pistoncloud.com
– Offre commerciale basée sur OpenStack
 Distributions Linux : OpenStack + KVM + libvirt
– Red Hat, SUSE, Debian, Ubuntu, etc..
 Apache CloudStack : http://cloudstack.apache.org
– Licence : Apache v2.0
 Eucalyptus : http://www.eucalyptus.com
– Licence : GPL v3.0
 OpenNebula : http://opennebula.org/
– Licence : Apache v2.0

57
Cloud Computing

60
Cloud Computing

61
Cloud Computing

62
 Cloud Computing

 Références
– Aspects juridiques du Cloud Computing
http://www.clusif.asso.fr/fr/production/ouvrages/pdf/CLUSIF-Cloud-2010-Juridique.pdf
– Le Cloud et la sécurité
http://www.clusif.asso.fr/fr/production/ouvrages/pdf/clusif-cloud-2010-securite.pdf
– L'évolution maitrisée vers le IaaS/PaaS
http://www.eurocloud.fr/doc/lb_eurocloud_iaas.pdf
– CY13-Q3 Community Analysis — OpenStack vs
OpenNebula vs Eucalyptus vs CloudStack By John Jiang,
October 03, 2013
http://www.eucalyptus.com/blog/2013/10/03/cy13-q3-community-analysis-%E2%80%94-
openstack-vs-opennebula-vs-eucalyptus-vs-cloudstack

63
 Plan

 Introduction
– Définition, historique, principes, types
 Virtualisation du serveur
– VMware vSphere
 Virtualisation du poste de travail
– État des lieux
 Cloud Computing
 Big Data
 Démonstration DbaaS
 Conclusion
 Questions

64
 Big Data

 Définitions
– Big Data, littéralement grosses données, parfois appelé
données massives, est une expression anglophone utilisée
pour désigner des ensembles de données qui deviennent
tellement volumineux qu'ils en deviennent difficiles à
travailler avec des outils classiques de gestion de base de
données ou de gestion de l'information (wikipedia)
– Big Data, règle des 3V : Volume, Vitesse et Variété (Doug
Laney, voir références)
• Explosion du Volume de données
• Variété du format de données, des sources et des contenus
• Vitesse du traitement dynamique des données

65
Big Data : Selon IBM

66
 Big Data & NoSQL

 Big Data : Performances et haute disponibilité

– Hadoop (pionnier du big data) : http://hadoop.apache.org
– Hadoop Distributed File System (HDFS), MapReduce
 NoSQL : Hbase, Cassandra, MongoDB, etc..
– Analyse en temps réel
• Détection de fraude par exemple
– Comprendre le passé et le présent
• Prédire l'avenir

67
 Big Data

 Idées reçues
– Big Data concerne uniquement les données massives ?
• Le Volume n'est qu'un indicateur parmi les 3V selon
Doug Laney
– Big Data veut dire Hadoop ?
• Hadoop, NoSQL, MPP (Massively Parallel
Processing)
– NoSQL veut dire pas de SQL « No SQL » ?
• NoSQL = Not only SQL

68
 Big Data

 Références
– Real-Time Big Data Analytics: Emerging Architecture, Mike
Barlow
http://cdn.oreillystatic.com/oreilly/radarreport/0636920029441/Real_Time_Big_Data_Ana
lytics_Emerging_Architecture.pdf
– Application Delivery Strategies, Doug Laney
http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-
Controlling-Data-Volume-Velocity-and-Variety.pdf
– Top 5 Myths About Big Data, Brian Gentile
http://mashable.com/2012/06/19/big-data-myths/

69
 Plan

 Introduction
– Définition, historique, principes, types
 Virtualisation du serveur
– VMware vSphere
 Virtualisation du poste de travail
– État des lieux
 Cloud Computing
 Big Data
 Démonstration DbaaS
 Conclusion
 Questions

70
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
 Plan

 Introduction
– Définition, historique, principes, types
 Virtualisation du serveur
– VMware vSphere
 Virtualisation du poste de travail
– État des lieux
 Cloud Computing
 Big Data
 Démonstration DbaaS
 Conclusion
 Questions

71
 Conclusion

 Dans cette présentation nous avons pris connaissance de

l'historique, des différentes formes et usages de la virtualisation.
 La virtualisation n'est pas une technologie nouvelle, mais son
usage a augmenté d'une manière significative ces dernières
années et ce dans plusieurs domaines.
 Avec la mobilité, le nombre grandissant des clients connectés
ainsi que l'explosion de données très variées, l'usage de la
virtualisation, le Cloud et Big Data devient incontournable.
 La maîtrise des coûts et une gestion efficace des ressources dans
les centres de données modernes est un élément essentiel et ne
peut se faire sans l'usage de la virtualisation.

72
 Plan

 Introduction
– Définition, historique, principes, types
 Virtualisation du serveur
– VMware vSphere
 Virtualisation du poste de travail
– État des lieux
 Cloud Computing
 Big Data
 Démonstration DbaaS
 Conclusion
 Questions

73