Ingestion de données avec NiFi

Public admis

  • Salarié en Poste
  • Demandeur d'emploi
  • Entreprise
  • Etudiant

Financements

Eligible CPF Votre OPCO Financement personnel

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire l'architecture de NiFi, y compris les configurations autonomes et en cluster
  • Naviguer, configurer les flux de données et utiliser les informations sur les flux de données avec l'interface utilisateur NiFi
  • Organiser et simplifier les flux de données
  • Connecter les flux de données avec d'autres systèmes, tels que Kafka et HDFS.

M2I


Un leadership dans le domaine de la formation
Voir la fiche entreprise

Tarif

A partir de 1 520,00 €

Durée 2 jours  (14h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

M2I


Un leadership dans le domaine de la formation
Voir la fiche

Tarif

A partir de 1 520,00 €

Durée 2 jours  (14h00)
Modes
  • Centre
  • Distance
Sessions
Lieux Partout en France

Programme

Jour 1

Apache NiFi : les fondamentaux

  • Introduction à Cloudera Flow Management
  • L'interface utilisateur NiFi
  • L'architecture de NiFi
  • Approches de développement
  • Extraction, transformation et chargement (ETL)
  • Installation et configuration de NiFi

NiFi : concepts

  • NiFi User Interface
  • NiFi Processors
  • NiFi Connections
  • NiFi Processor Groups
  • Controller services
  • Flowfile
Exemples de travaux pratiques (à titre indicatif)
  • Installation de NiFi
  • Création d'un premier flux de données

NiFi Dataflow

  • Commande et contrôle d'un flux de données
  • Relations avec les processeurs
  • Prioritizers
  • Labels
  • Dataflow templates

Jour 2

NiFi : concepts avancés

  • NiFi Registry
  • Les attributs de Flowfile
  • NiFi Expression Language
    • Syntaxe
    • Structures propriétés
    • Configuration
  • L'optimisation des flux de données
  • L'architecture NiFi
  • Management du cluster Edge
  • MiNiFi
  • Monitoring et rapports
  • NiFi, sécurité
    • Security configuration
    • User authentication
    • Lightweight Directory Access Protocol (LDAP)
  • HDF and HDP

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation

Prérequis

Avoir des connaissances en développement Java, C# ou Python. Avoir de l'expérience en ETL.

Public

Développeurs, Data engineers, Data scientists, Data stewards et toute personne intéressée par l'ingestion de données.

Ces formations pourraient vous intéresser

Formation Splunk

Proposé par Sparks

Objectifs de la formation

  • Découvrir le fonctionnement et les capacités de Splunk
  • Apprendre le langage SPL pour requêter les données efficacement
  • Enrichir les données opérationnelles à partir de sources externes
  • Créer des tableaux de bord dynamiques pour l'aide à la décision et la synthèse d'informations
  • Créer des requêtes matures pour la détection d'attaque
Tarif

A partir de 3 000,00 €

Durée

4 jours

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire les concepts-clés relatifs à l'importance d'assurer la sécurité des informations et des données, d'assurer votre sécurité physique, d'éviter le vol de données personnelles et de protéger votre vie privée
  • Protéger un ordinateur, un dispositif numérique mobile, un réseau contre les logiciels malveillants (malware) et les accès non-autorisés
  • Décrire les différents types de réseaux, de connexions et les composants spécifiques tel que le pare-feu (firewall) qui peuvent poser problème lors des connexions
  • Naviguer sur le World Wide Web et communiquer en toute sécurité sur Internet
  • Identifier les problèmes de sécurité liés à la communication, notamment en matière de courrier électronique et de messagerie instantanée (MI - IM / Instant Messaging)
  • Sauvegarder et restaurer des données de manière appropriée et sécurisée, entreposer vos données et vos dispositifs numériques mobiles en toute sécurité.
Tarif

A partir de 620,00 €

Durée

1j / 7h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Créer et maintenir les données de base de la gestion des immobilisations
  • Générer et configurer les principaux mouvements d'immobilisations
  • Mettre en oeuvre les traitements périodiques et la valorisation des immobilisations
  • Interroger les états standard
  • Procéder à la reprise des anciennes immobilisations
  • Paramétrer l'ensemble des fonctionnalités étudiées.
Tarif

A partir de 4 100,00 €

Durée

5j / 35h

Modes
  • Centre
  • Distance

Objectifs de la formation

Maîtriser l'utilisation de Spring Boot, Web et Security pour la construction de web services REST - Implémenter une couche performance de persistance de données dans une base relationnelle
Tarif

A partir de 2 975,00 €

Durée

5j / 35h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

Savoir utiliser Power BI pour analyser et visualiser des données et générer des rapports - Approfondir Power BI, Power Query et le langage DAX
Tarif

A partir de 2 875,00 €

Durée

5j / 35h

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Décrire l'intérêt de Microsoft Lists dans le stockage des données
  • Saisir de nouvelles données dans une liste avec un formulaire ou en mode grille
  • Trier et filtrer des données
  • Utiliser les affichages pour créer des vues prédéfinies
  • Exploiter la mise en forme conditionnelle pour créer des repères visuels
  • Créer une nouvelle liste
  • Ajouter des colonnes en fonction du besoin
  • Mettre en oeuvre le versioning sur les éléments de la liste
  • Partager la liste avec d'autres utilisateurs
  • Exporter une liste dans une autre application
  • Recevoir des alertes en utilisant les règles.
Tarif

A partir de 760,00 €

Durée

1j / 7h

Modes
  • Centre
  • Distance

Objectifs de la formation

  • Identifier les meilleures pratiques en matière de services à utiliser et de mise en œuvre de la gestion des autorisations
  • Gérer plusieurs comptes AWS pour votre organisation
  • Sécuriser les connexions aux points de terminaison d’un cloud privé virtuel (Virtual Private Cloud) Amazon Simple Storage Service (Amazon S3) dans un environnement d’atelier
  • Concevoir d'importants magasins de données pour le cloud AWS
  • Envisager des conceptions d'architecture différentes pour mettre à l'échelle un site web volumineux
  • Protéger votre infrastructure des attaques par déni de service (DDoS)
  • Concevoir la protection des données au repos et en transit
  • Migrer des applications complexes à plusieurs niveaux vers AWS et mettre en œuvre des stratégies de contrôle des coûts
Tarif

A partir de 2 400,00 €

Durée

3 jours

Modes
  • Centre
  • Entreprise
  • Distance

Objectifs de la formation

  • Intégrer les enjeux techniques et économiques liés à la mise en conformité en matière de données personnelles
  • Délimiter le cadre juridique en matière de traitement des données personnelles
  • Déployer une démarche globale de mise en conformité
Tarif

A partir de 1 090,00 €

Durée

1 jour

Modes
  • Entreprise
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Identifier les solutions d'accès aux données avec .NET
  • Simplifier l'écriture d'une couche d'accès aux données ou Data Access Layer
  • Utiliser LINQ to SQL
  • Mapper des entités avec LINQ to Entities
  • Gérer l'aspect transactionnel.
Tarif

A partir de 2 440,00 €

Durée

4j / 28h

Modes
  • Centre
  • Distance

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Identifier les concepts de base pour la conception de Data Centers
  • Présenter la terminologie et les concepts en rapport avec la plateforme Amazon Web Services (AWS)
  • Tester la navigation dans AWS Management Console
  • Lister les services d'infrastructure fondamentaux, notamment Amazon Virtual Private Cloud (VPC), Amazon Elastic Compute Cloud (EC2), Amazon Elastic Block Store (EBS), Amazon Simple Storage Service (S3), Auto Scaling et Elastic Load Balancing (ELB)
  • Appliquer les mesures de sécurité proposées par AWS et les concepts clés d'AWS Identity and Access Management (IAM)
  • Enumérer les services de bases de données AWS, notamment Amazon DynamoDB et Amazon Relational Database Service (RDS)
  • Utiliser les outils de gestion AWS, notamment Amazon CloudWatch et AWS Trusted Advisor.
Tarif

A partir de 810,00 €

Durée

1j / 7h

Modes
  • Centre
  • Distance

Je cherche à faire...