J'ai un diplôme "Expert Big Data Engineer (MS)"
Je sais faire les actions suivantes :
Les missions de l'expert Big Data Engineer recouvrent les domaines suivants : ANALYSER L’EXISTANT ET PROPOSER DES SOLUTIONS LIÉES A LA DATA Analyse des besoins et des problématiques : * Référencement et regroupement de l'ensemble des sources de données structurées ou non structurées nécessaires et pertinentes à l'analyse ; * Analyse de la problématique liée aux données (data) ; * Conception d’un projet data avec les parties prenantes ; * Prise en compte de l’outil informatique existant (serveurs de stockage). Identification des données de l’organisation * Supervision d’une réunion d’équipe ; * Management de projet de la team data ; * Collecte des données auprès des différents services/responsables métiers ; * Cartographie des données. Formalisation du besoin et des solutions techniques : * Formalisation du besoin et des enjeux ; * Analyse de manière qualitative et quantitative du projet dans son ensemble ; * Analyse des données (data) et des données non-structurées ; * Réalisation d’un cahier des charges. Préconisations de stratégies en matière de possession, gestion et transformation des données : * Proposition d’une stratégie data ; * Prise en compte du droit des données ; * Prise en compte du cloud computing (serveurs, stockage, mise en réseau, logiciels) de l’entreprise/collectivité dans sa stratégie ; * Prise en compte des risques liés à la donnée ; * Proposition de serveurs auprès des utilisateurs de l’organisation privée/public DÉPLOYER DES INFRASTRUCTURES INFORMATIQUES POUR ANALYSER LA DATA Définition de l’architecture de stockage * Identification des solutions de stockage possibles des données ; * Utilisation d’un logiciel de stockage des données (Hadoop) ; * Proposition de solutions d’entrepôts de données (stockage interne, stockage en ligne) en fonction de l’organisation ; * Explication et documentation du choix de la solution proposée ; * Prise en compte de la législation des données selon la situation des serveurs (UE/hors UE). Tests et mise en place de protocoles * Réalisation de tests sur lesweb services ; * Rédaction des protocoles à destination des utilisateurs de ces outils ; * Communication auprès des équipes sur les protocoles existants et sur leur utilisation. Extraction d’information (Information Retrieval) * Utilisation d’outils de visualisation de tendances en grandes dimensions ; * Mise en place d’enrichissement des données ; * Calcul d’indicateurs ; * Mise en œuvre d’interconnexion et visualisation de graphes sociaux distribués. TRAITER ET VISUALISER DE LA DATA Mise en œuvre de langages et outils de programmation * Utilisation d’une programmation pour l’analyse décisionnelle ; * Utilisation de langages et outils de programmation (ElasticSearch Java mapReduce, Python, R, SCALA) ; * Mise en œuvre des algorithmes de traitement de grosses volumétries de données. Réalisation d’une visualisation dynamique * Choix d’une solution de visualisation adaptée (Chart.js DataHero, Dygraphs, Instant Atlas Plotly, Kibana , Raw, …) ; * Utilisation d’outils de visualisation des données. Analyse des données et conseil auprès du commanditaire : * analyse et visualisation spatio-temporelles ; * utilisation de Scalable MultiMedia Analytics ; * visualisation des données permettant de découvrir un phénomène non connu / de confirmer ou d’affirmer une information ou une hypothèse de travail ; * interprétation des graphiques obtenues ; * formalisation de rapports et de conseils (stratégiques, économique, organisationnelle …) auprès des utilisateurs dédiés. ANALYSER ET MODÉLISER LA DATA Utilisation de données en grande dimension * Utilisation d’un système de gestion de bases de données (Bigtable, HyperTable NoSQL, SQL …) ; * Transformation de la donnée ; * Recherche de cibles (targets) ou de motifs (patterns) enfouis dans les données ; * Segmentation des données afin d’évaluer des probabilités ; * Mise en place d’un algorithme issu du Machine Learning pour prédire ou comprendre et expliquer. Déploiement d’un modèle d’apprentissage en profondeur (Deep learning) * Mise en place d’applications de Deep Learning ; * Déploiement d’un modèle via une interface de programmation (API) dans le web ; * Réalisation d’un tableau de bord (Dashboard) pour présenter le travail de modélisation ; * Communication sur le modèle d’apprentissage auprès des utilisateurs ; * Prise en compte de la consommation d’énergie dans le choix des outils ou prestataires. . Traitements de volumes de données * Mise en œuvre avec le logiciel des applications sur des machines standards ; * Traitement de grandes quantités de données ; * Prise en compte de la consommation d’énergie dans le choix des outils ou prestataires
OÙ SUIVRE CE DIPLÔME ?
UNIVERSITE DE TECHNOLOGIE DE TROYES
Reims
Non renseigné
Détails du diplôme
Quelles sont les compétences que vous allez apprendre mais aussi comment l'examen va-t-il se passer ?
Compétences attestées :
La certification Expert Big Data Engineer (MS) permet de valider les compétences suivantes : 1. ANALYSER L’EXISTANT ET PROPOSER DES SOLUTIONS LIÉES A LA DATA Analyser les problématiques au sein d’une organisation privée/publique en mettant en place un déploiement d’une architecture ou d’une structure, en interagissant avec des interlocuteurs différents et concernés par la problématique. Animer et mener une réunion avec tous les acteurs principaux et secondaires concernés par une problématique existante ou nouvelle afin de trouver les éventuelles solutions pour la résoudre en tenant compte de l’avis des différents acteurs afin de s’imprégner de l’écosystème de la structure dans lequel on intervient. Formaliser le besoin émanant de la problématique au sein d’un cahier des charges dans le respect du budget alloué afin de proposer des solutions réalisables et réalistes avec les données et ressources propres possédées. Présenter un rapport détaillé de faisabilité en tenant compte des paramètres extérieurs tels que le développement durable, la réglementation en vigueur liée à la confidentialité des données, l’éthique afin de les rendre compatible avec les contraintes inhérentes à l’organisation. DÉPLOYER DES INFRASTRUCTURES INFORMATIQUES POUR ANALYSER LA DATA Identifier la façon dont l’organisation assure le stockage et le format des données internes, structurées ou non structurées, en tenant compte des données manquantes, erronées ou perdues, des différents processus en fonction des pays, des entités qui vont produire les flux de données et de la réglementation en vigueur sur la confidentialité des données (RGPD) afin d’avoir un jeu de données adaptée (exemples : Data Frame Python, R/Tibble). Mettre en place les protocoles nécessaires à l’utilisation des web services au sein de la structure en réalisant des tests sur les services et rédigeant une documentation et en communiquant auprès des équipes pour leur permettre de les utiliser de façon optimale. Mettre en œuvre des techniques d’extraction d’information intrinsèque ou par recoupement d’interconnexion en utilisant des outils permettant la visualisation de tendances en grandes dimensions afin d’extraire des Data pertinentes dans les flux de données. TRAITER ET VISUALISER DE LA DATA Programmer en utilisant des langages de programmation adaptés à la donnée récoltée au sein de l’organisation et de la donnée provenant de sources extérieures afin de mettre en place des algorithmes gérant le volume important des données. Utiliser des outils avancés pour la visualisation des données en choisissant les outils adaptés, en respectant les méthodes de représentation graphique afin d’obtenir une visualisation dynamique des données. Analyser les données représentées graphiquement en identifiant les tendances et les valeurs inhabituelles dans ces données afin de prendre des décisions en s’appuyant sur ces données et d’apporter ainsi une solution aux utilisateurs. ANALYSER ET MODÉLISER LA DATA Utiliser des outils permettant l’analyse et la classification de données sous différents angles afin d’identifier les liaisons ou les patterns (motifs) entre les nombreuses bases de données relationnelles. Déployer un modèle d’apprentissage profond (Deep Learning) en développant des modèles, des algorithmes via une interface de programmation/graphique, en réalisant un document méthodologique/technique et en communiquant oralement sur ce modèle afin de favoriser l’intégration et une démarche de modélisation auprès de ses utilisateurs. Assurer le traitement de volumes (gros ou non) de données avec un langage de programmation/logiciel dédié gérant des algorithmes et permettant à la structure d’opérer plus vite.
Voies d'accès à la certification :
| Voies d'accès | Composition des Jurys |
|---|---|
|
Après un parcours de formation sous statut d’élève ou d’étudiant Non autorisé |
|
|
En contrat d’apprentissage Non autorisé |
|
|
Après un parcours de formation continue Non autorisé |
|
|
En contrat de professionnalisation Non autorisé |
|
|
Par candidature individuelle Non autorisé |
|
|
Par expérience Autorisé |
Segmentation de la certification
Cette certification se compose de 4 Blocs de compétences
Les modalités d'acquisition de la certification par capitalisation des blocs de compétences et/ou par équivalence sont définies par chaque certificateur accrédité qui met en œuvre les dispositifs qu’il juge adaptés. Ces modalités peuvent être modulées en fonction du chemin d’accès à la certification : formation initiale, VAE, formation continue.
RNCP36398BC01 - Analyser l'existant et proposer des solutions liées à la data
- Analyser les problématiques au sein de d’une organisation privée/publique en mettant en place un déploiement d’une architecture ou d’une structure, en interagissant avec des interlocuteurs différents et concernés par la problématique afin d’émettre des recommandations adaptées au contexte et au besoin de l’entreprise . Animer et mener une réunion avec tous les acteurs principaux et secondaires concernés par une problématique existante ou nouvelle afin de trouver les éventuelles solutions pour la résoudre en tenant compte de l’avis des différents acteurs et afin de s’immerger dans l’écosystème de la structure dans lequel on intervient. Formaliser le besoin émanant de la problématique au sein d’un cahier des charges dans le respect du budget alloué afin de proposer des solutions réalisables et réalistes avec les données et ressources propres possédées. Présenter un rapport détaillé de faisabilité en tenant compte des paramètres extérieurs tels que le développement durable, la réglementation en vigueur liée à la confidentialité des données, l’éthique afin de les rendre compatible avec les contraintes inhérentes à l’organisation.
RNCP36398BC02 - Déployer des infrastructures informatiques pour stocker, extraire et analyser la data
- Identifier la façon dont l’organisation assure le stockage et le format des données internes, structurées ou non structurées, en tenant compte des données manquantes, erronées ou perdues, des différents processus en fonction des pays, des entités qui vont produire les flux de données et de la réglementation en vigueur sur la confidentialité des données (RGPD) afin d’avoir un jeu de données adaptées (ex : Data Frame Python, R/Tibble) Mettre en place les protocoles nécessaires à l’utilisation des web services au sein de la structure en réalisant des tests sur les services et rédigeant une documentation et en communiquant auprès des équipes pour leur permettre de les utiliser de façon optimale. Mettre en œuvre des techniques d’extraction d’information intrinsèque ou par recoupement d’interconnexion en utilisant des outils permettant la visualisation de tendances en grandes dimensions afin d’extraire des Data pertinentes dans les flux de données.
RNCP36398BC03 - Traiter et visualiser de la data
- Programmer en utilisant des langages de programmation adaptés à la donnée récoltée au sein de l’organisation et de la donnée provenant de sources extérieures afin de mettre en place des algorithmes gérant le volume important des données. Utiliser des outils avancés pour la visualisation des données en choisissant les outils adaptés, en respectant les méthodes de représentation graphique afin d’obtenir une visualisation dynamique des données. Analyser les données représentées graphiquement en identifiant les tendances et les valeurs inhabituelles dans ces données afin de prendre des décisions en s’appuyant sur ces données et d’apporter ainsi une solution aux utilisateurs.
RNCP36398BC04 - Analyser et modéliser la data
- Utiliser des outils permettant l’analyse et la classification de données sous différents angles afin d’identifier les liaisons ou les patterns (motifs) entre les nombreuses bases de données relationnelles Déployer un modèle d’apprentissage profond (Deep Learning) en développant des modèles, des algorithmes via une interface de programmation/graphique, en réalisant un document méthodologique/technique et en communiquant oralement sur ce modèle afin de favoriser l’intégration sa démarche de modélisation auprès de ses utilisateurs Assurer le traitement de volumes variés (gros ou non) de données avec un langage de programmation/logiciel dédié gérant des algorithmes afin de permettre à la structure d’opérer plus vite.
