Formation Le rôle de Data Engineer
Cette formation d'une journée est destinée aux professionnels souhaitant se familiariser avec le rôle et les responsabilités d'un Data Engineer. Les apprenants découvriront les concepts fondamentaux du traitement et du stockage des données, ainsi que les outils et technologies couramment utilisés en Data Engineering.
Proposé par
Sparks
Objectifs pédagogiques
- Identifier les principales tâches et responsabilités d'un Data Engineer
- Comprendre les concepts fondamentaux du traitement et stockage des données
- Connaître les outils et technologies couramment utilisés en Data Engineering
Programme de la formation
Introduction à la formation d’acculturation au rôle de Data Engineer
Présentation du rôle et des responsabilités d’un Data Engineer
Différences entre Data Engineer, Data Scientist et Data Analyst
Contexte et enjeux du Data Engineering dans l’entreprise
Concepts fondamentaux du traitement et stockage des données
Types de données (structurées, semi-structurées, non-structurées)
Bases de données relationnelles et NoSQL
Systèmes de fichiers distribués, Hadoop HDFS
Introduction au Big Data et aux architectures distribuées
Notions de ETL (Extraction, Transformation, Load)
Tâches typiques du Data Engineer
Conception et mise en place d’architectures de données
Développement et maintenance de pipelines de données (ETL/ELT)
Optimisation des performances des systèmes de données
Assurer la qualité et la fiabilité des données
Collaboration avec les Data Scientists et les Data Analysts
Outils et technologies couramment utilisés en Data Engineering
Langages de programmation : Python, Java, Scala
Frameworks de traitement des données : Hadoop, Apache Spark
Outils de stockage et d’analyse des données : Hive, HBase
Plateformes de streaming de données : Kafka, Apache Flink
Proposé par
Sparks
"Tout l'IT, vraiment tout"
Proposé par
Sparks
