Différence entre le DME et la colle

L'AWS propose une pléthore d'outils et de services pour traiter d'énormes volumes de données. Au fil des ans, AWS a construit de nombreux services d'analyse. Selon votre environnement technique, vous pouvez toujours choisir un ou l'autre outil de traitement des données en fonction de vos workflows d'apprentissage automatique. En ce qui concerne les charges de travail d'analyse, Amazon EMR et AWS Glue sont les deux choix populaires pour le traitement des données à grande échelle. Nous jetons un œil aux deux services gérés et essayons de comprendre les principales différences entre les deux. Alors, commençons.

Qu'est-ce qu'Amazon EMR?

Amazon Elastic MapReduce (EMR) est un service géré basé sur le cloud pour le traitement et l'analyse des mégadonnées rapidement et de manière rentable. EMR est une plate-forme Big Data à la tête de l'industrie qui simplifie l'analyse des mégadonnées à l'aide d'outils tels qu'Apache Spark, Apache Hadoop, Apache Hive, Apache Hbase, Presto, etc. Cela a commencé comme un environnement géré pour les applications Apache Hadoop, mais au fil des ans, a ajouté un soutien à de nombreux autres projets sur AWS. Le DME est spécialement conçu pour réduire le fardeau de maintenance en fournissant à la fois la puissance informatique et l'infrastructure à la demande pour analyser de tels volumes de données. EMR utilise fortement l'Amazon S3 pour stocker des ensembles de données pour le traitement et l'analyse des résultats, et utilise Amazon EC2 pour traiter les mégadonnées dans un groupe de serveurs virtuels. Il est flexible, personnalisable et peut fonctionner pour les cas à court et à long terme. EMR est un concurrent principal pour le traitement des données à grande échelle.

Qu'est-ce que la colle aws?

AWS Glue est un service d'extraction, de transformation et de chargement (ETL) sans serveur et entièrement géré par le serveur fourni par Amazon dans le cadre d'AWS pour aider à ramper, découvrir et organiser des données. Il s'agit d'un service informatique payant à payer qui fournit une inférence de schéma automatique pour vos ensembles de données structurés et semi-structurés. Il vous permet d'extraire les données et les métadonnées à partir de plusieurs sources comme des bases de données et de créer un catalogue d'informations, qui peut être utilisé pour transformer les données en votre état cible requis. Il comprend vos données, suggère des transformations et génère des scripts ETL, et en plus de cela, il les exécute d'une manière entièrement gérée à l'intérieur d'un shell Python ou d'un environnement d'étincelle sans serveur entièrement géré. En fonction des transformations que vous définissez sur vos données, la colle peut générer automatiquement des scripts Spark. Non seulement vous pouvez les personnaliser, mais également déployer vos propres scripts. Glue est construit sur Spark et est intégré à S3, RDS, Redshift et tout magasin de données JDBC.

Différence entre le DME et la colle

Outil

- Amazon EMR est un service géré basé sur le cloud qui utilise fortement l'Amazon S3 pour stocker des ensembles de données pour le traitement et l'analyse des résultats, et utilise Amazon EC2 pour traiter les mégadonnées dans un groupe de serveurs virtuels. Il s'agit d'un environnement Hadoop entièrement géré qui prend en charge de nombreux autres projets sur AWS, tels qu'Apache Spark, Apache Hive, Apache Hbase, Presto, etc. AWS Glue, en revanche, est un outil ETL sans serveur qui fournit une inférence de schéma automatique pour vos ensembles de données structurés et semi-structurés.

Prix

- La structure de tarification d'Amazon EMR est simple et prévisible. Vous êtes facturé sur une deuxième base, ce qui signifie que vous payez pour chaque seconde que vous utilisez, avec un minimum d'une minute. Le taux horaire dépend du type d'instance utilisé et commence à partir de 0 $.011 par heure et monte jusqu'à 0 $.27 par heure. Les frais sont comme les prix EC2 ajoutés au coût de traitement des données. La tarification AWS Glue est basée sur les DPU (unités de traitement des données) et vous êtes facturé par le deuxième pour les Crawlers et les emplois ETL. Cela vous coûte généralement environ 0 $.44 par heure par DPU par incréments de 1 seconde, arrondi jusqu'à la seconde la plus proche.

Flexibilité et évolutivité

- Amazon EMR est une plate-forme de cluster entièrement gérée qui simplifie la configuration et la gestion du cluster des composants Apache Hadoop et MapReduce. Il fournit un moyen simple de mettre à l'échelle des charges de travail en fonction de vos exigences de traitement. Il vous permet de redimensionner votre cluster tel que vous semblez en forme et en outre, configurez un ou plusieurs groupes d'instructions pour le traitement. AWS Glue est également flexible et facilement évolutif car il fonctionne sur un environnement entièrement géré et sans serveur. Les auteurs informatiques ont des travaux ETL hautement évolutifs pour le traitement distribué sur un environnement Apache à l'échelle.

Cas d'utilisation

- Amazon EMR est un environnement entièrement géré qui fournit à la fois la puissance informatique et l'infrastructure à la demande pour analyser les énormes volumes de données rapidement et coûts. Il simplifie l'exécution de frameworks de Big Data, tels qu'Apace Hadoop et Apache Spark sur AWS pour le traitement des mégadonnées à grande échelle. C'est souvent un bon remplacement pour les migrations Hadoop sur site. AWS Glue est une plate-forme ETL sans serveur qui aide à ramper, à découvrir et à organiser les données que vous possédez et à la préparer à l'analyse. Il est idéal pour les nouvelles charges de travail.

EMR vs. Glue: tableau de comparaison

Résumé

En un mot, Amazon EMR est un environnement entièrement géré qui fournit à la fois la puissance informatique et l'infrastructure à la demande pour analyser les énormes volumes de données rapidement et rentables. Ainsi, lorsque vous disposez de toute l'infrastructure, EMR est la meilleure option pour vous. AWS Glue, en revanche, est utile lorsque vous avez des exigences flexibles et, comme il est sans serveur, vous n'avez pas besoin de configurer et de gérer les ressources informatiques. La colle aide simplement à ramper, à découvrir et à organiser les données que vous possédez et à la préparer à l'analyse.