Cloudera, spécialiste du data cloud pour les entreprises, a annoncé le lancement de Cloudera DataFlow (CDF) pour le cloud public, un service cloud-natif pour les flux de données afin de traiter les workloads hybrides en streaming sur Cloudera Data Platform (CDP). Grâce à ce nouveau service, les utilisateurs peuvent désormais automatiser les opérations complexes, améliorer l’efficacité opérationnelle des données de streaming grâce à sa scalabilité automatique, et réduire ainsi les coûts du cloud en éliminant les approximations de dimensionnement de l'infrastructure.
Selon le rapport Worldwide Global DataSphere IoT Device and Data Forecast, 2021–2025 d’IDC, les volumes de données en mouvement (data-in-motion) devraient connaître une croissance exponentielle, jusqu'à 79 ZB, dans tous les secteurs. De nombreuses entreprises exploitent déjà Apache NiFi pour capturer et traiter des données dans des architectures cloud hybride en concevant visuellement des flux de données sans code. Si le cloud offre un moyen facile de traiter ou de stocker des volumes massifs, de nombreux défis doivent être relevés. Le déploiement de dizaines de flux de données sophistiqués dans un seul cluster peut entraîner des difficultés opérationnelles et de surveillance. En effet, lorsque plusieurs flux NiFi se disputent les mêmes ressources, cela peut entraîner des problèmes de performance. Les responsables IT ont donc tendance à choisir de plus grandes infrastructures par prudence, ce qui entraîne une sous-utilisation et des coûts élevés. Enfin, les entreprises souhaitent un modèle “pay-as-you-go” pour éviter de payer pour des ressources non utilisées.
Dinesh Chandrasekhar, responsable du marketing produit, Data-in-Motion chez Cloudera, déclare : "Cloudera DataFlow automatise et gère les flux de données cloud-natives sur Kubernetes - et c'est quelque chose que nous sommes les seuls à proposer. Il est désormais facile pour nos clients de stimuler l'efficacité opérationnelle de leurs workloads de streaming et d'économiser sur les coûts d'infrastructure dans le cloud public."
Maribel Lopez, fondatrice et analyste principale chez Lopez Research, a déclaré : "Les entreprises se livrent à un exercice d'équilibre entre l'efficacité et la performance, et le contrôle des coûts lorsqu'elles font évoluer leurs charges de travail de streaming. L'adoption d'architectures de cloud hybride ne fait qu'accentuer ce défi. Les leaders technologiques ont besoin d'outils intelligents qui les aident à rationaliser le processus d'exécution et de gestion des workloads dans le cloud."
CDF pour le cloud public est un service cloud-natif pour NiFi sur Kubernetes qui offre des fonctionnalités opérationnelles et de contrôle clés, répondant aux problématiques mentionnées ci-dessus. Ces fonctionnalités incluent :
- Catalogue de flux central pour la gestion, la découverte et le contrôle de version.
- Tableau de bord central pour la surveillance, le dépannage et le réglage des performances des flux de données sur plusieurs clusters de cloud.
- Assistant de déploiement simple et API robustes pour la scalabilité automatique des flux sur Kubernetes géré par CDP.
- Flux préconstruits appelés "ReadyFlows" pour certains des cas d'utilisation courants du streaming.
Cloudera DataFlow pour le cloud public est désormais disponible sur AWS.
À propos de Cloudera
Cloudera offre un Enterprise Data Cloud pour toutes les données, où qu’elles se trouvent, de l’Edge à l’intelligence artificielle. Grâce à l’innovation constante de la communauté open source, Cloudera fait progresser la transformation digitale des plus grandes entreprises à l’échelle mondiale. Cloudera a été fondée en 2008 par une équipe de profils innovateurs, issus des plus grandes entreprises de la Silicon Valley, notamment Google, Yahoo!, Oracle et Facebook.
Source : Cloudera
Et vous ?
Que pensez-vous de ce nouveau service cloud-natif de Cloudera ?Voir aussi :
Microsoft annonce la sortie de Dapr 1.0, le runtime open source qui permet de créer facilement des applications cloud natives avec n'importe quel langage et portables sur différentes plateformes cloud Wind River lance la dernière version de Wind River Studio, sa plateforme de développement Cloud native, offrant des moteurs d'automatisation qui transforment le cycle de vie des systèmes intelligents La plateforme de Software Intelligence de Dynatrace s'enrichit d'un module Cloud Automation, les équipes de développement, DevOps et SRE peuvent ainsi améliorer les applications cloud native IBM annonce la mise en place d'un cloud privé dans un rack pour faire évoluer vos applications, une infrastructure convergente avec une rampe de sortie d'AIX vers Red Hat OpenShift