Comment transférer des petaoctets dans le Cloud ?

17 septembre 2018/Charlotte Petyt

Convaincues par les bénéfices qu’elles peuvent tirer du cloud, des entreprises décident de migrer une partie plus ou moins importante de leur SI. Mais elles peuvent se heurter à un obstacle de taille : comment transférer des volumes qui ne cessent d’augmenter ? Le transfert physique reste la seule solution. Mais elle n’est pas sans défauts...

Chaque jour, des entreprises déplacent de plus en plus de charges de travail vers le cloud. En mars dernier, la célèbre British Broadcasting Corporation (BBC) a migré plus d’un petabyte (correspondant aux fichiers de plus de 23 000 employés) dans le cloud.  

Début mai, Google a remporté un important contrat : Twitter a décidé de transférer plus de 300 petabytes (PB) et les clusters Hadoop vers Google Cloud Platform.

Quelles que soient les raisons (plus de flexibilité, plus de sécurité, plus de disponibilité...), les entreprises sont confrontées à la problématique du transfert d’énormes volumes. Nous n’évoquons pas ici les migrations de quelques poignées de To mais de petabyte (soit 1024 Tera-octets, ± 1 million de milliards d’octets).

1# Rack et avion

Les solutions classiques de transfert ne conviennent pas car elles mettent trop de temps. Comme nous l’avons vu dans notre article sur le « Stockage objet », les protocoles NAS ne sont pas non plus adaptés pour les petabytes

Il faut donc passer par un transfert physique. De nombreuses entreprises proposent de tels services et en particulier les géants de l’IT. Il s’agit par exemple de racks pouvant stocker jusqu’à un petaoctet. C’est ce que propose Google notamment avec son GTA data-transfer appliance. Mais il faut être patient. Selon Google, 1 PB peut être transféré en 25 jours. Et la facture peut vite grimper : près de 1 800 euros pour sa solution de transfert de 480 To (auxquels, il faut ajouter des frais d’expédition).

De son côté, IBM fournit des périphériques de stockage pour la migration massive des données (120 To). Ces supports sont ensuite expédiés par UPS. En septembre 2017, Microsoft a annoncé la sortie d’Azure Data Box. Il s’agit d’un support physique pouvant contenir environ 100 To de données et accessible via SMB/CIFS. Là aussi, les supports sont ensuite expédiés par différents transporteurs spécialisés (DHL, UPS, FedEx...).

2# Semi-remorque

Reste Amazon qui propose différentes solutions depuis 2009. Il y a tout notamment Snowball. Il s’agit d’un support de la taille d’une valise pouvant stocker jusqu’à 80 TB. Mais il y a surtout le Snowmobile. Il s’agit d’un serveur de stockage installé dans un container de 14 mètres de long. Il est transporté jusqu’au siège de l’entreprise au moyen d’un semi-remorque.

L’offre de stockage de 100 PB est connectée au réseau du client avec une ligne à haut débit. Selon Amazon, le stockage complet de la Snowmobile peut être atteint en dix jours environ. Ensuite, le serveur est transporté jusqu’au datacenter d’Amazon le plus proche. La dernière étape consiste à transférer les données vers le cloud. 

3# Activité au point mort ?

Pour éviter que ce transfert très sensible (le container peut en effet stocker des informations confidentielles) ne soit victime d’une attaque de diligence version moderne, Amazon précise qu’il s’appuie sur « du personnel de sécurité attitré, un suivi GPS, une vidéosurveillance 24 h/24 et 7 j/7.... ». Comme ses concurrents, toutes les données sont chiffrées.

Sa solution semble idéale. Mais en regardant de plus près le Conditions générales, on apprend que les métadonnées des fichiers transférés sont modifiées. Les seules métadonnées qui ne le sont pas sont le nom du fichier et sa taille. De quoi compliquer la synchronisation ou une bonne gestion des informations. 

Par ailleurs, les délais très longs de transfert (des serveurs de l’entreprise vers les racks ou le camion d’AWS puis le transfert vers le datacenter du fournisseur de cloud) peuvent obliger les entreprises à « geler » certaines activités. Si votre entreprise bénéficie d’une connexion très rapide (10 Gbps par exemple), un petabyte mettra une dizaine de jours pour migrer de votre datacenter vers la plateforme cloud d’un fournisseur. Cette option mérite d’être étudiée de près.

La migration de petabytes est donc un chantier très complexe. Il nécessite un long travail de préparation afin d’étudier toutes les solutions possibles et anticiper les dysfonctionnements.

Testez la système d'Object Storage de Scalair

Charlotte Petyt
À propos de Charlotte Petyt : Charlotte est ce qu’on appelle « une passionnée de Cloud ». Ce qui l’anime, c’est la compréhension des problématiques des entreprises autour de la transformation digitale et l’évolution du marché du Cloud. Depuis 5 ans, elle travaille sur l’évolution des produits Scalair et de son outil de supervision : le CS Manager.

À lire ensuite

devops-excellence

De l'utilité d'un Centre d'Excellence DevOps

La transformation numérique n’est pas qu’une affaire d’outils. C’est aussi (et surtout) une question de...

cloud-commandement

Les 5 commandements à ne jamais oublier

Le cloud offre de nombreuses opportunités de croissance. Mais le choix des fournisseurs et la sélection des...

IaC-gestion-simple-environnement

Infrastructure as Code : une gestion plus simple des environnements

L'Infrastructure As Code simplifie l’administration de l’infrastructure IT. Le traitement ne s’appuie plus sur...