Formation Scraping et manipulation de données avec Python
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Scraping Python, vous aurez acquis les connaissances et les compétences nécessaires pour :
- Comprendre les enjeux techniques et ethniques du scraping
- Connaître les différentes méthodes utilisées pour récupérer, traiter et stocker les données
- Maîtriser les technologies existantes pour choisir la solution adaptée à votre besoin d’acquisition
| Tarif |
A partir de 2 390,00 € |
| Durée | 4 jours (28h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 390,00 € |
| Durée | 4 jours (28h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Avec sa réputation d’excellent « langage glue », Python est la technologie idéale pour récupérer des données hétérogènes depuis des sources aux formes variées afin d’accumuler une base de connaissances.
C’est l’objet du scraping, qui vise à parcourir une série de ressources - souvent des sites Web ou des APIs REST - afin d’en extraire des informations ciblées.
Avec cette formation Scraping Python, nous verrons comment s’organise un tel programme, en commençant par créer ensemble un crawler à la main, pour progressivement aller vers des technologies plus sophistiquées, jusqu’à tout automatiser.
Programme
La base du traitement par lot (scraping)
Rappel des fondamentaux
Parcourir le système de fichiers
Gérer proprement l’encoding
Lire et écrire des fichiers
Analyser le JSON, le CSV et l’XML
Les générateurs
Travaux Pratiques
Crawler une collection de CSV pour en faire un rapport statistique
Parcours de données sur le Web
Mon premier scraper
Rappel sur le protocole HTTP
Requêtes simples avec Request
Stocker les données avec SQLAlchemy
Analyser du HTML avec Beautiful Soup
Travaux Pratiques
Crawler les articles de Wikipédia sans passer par l’API, stocker le résultat en base
Questions de performances
Concurrence et parallélisme
Threads et GIL
Utiliser plusieurs cœurs avec le multiprocessing
Programmation I/O asyncrone
Performances et éthiques
Utilisation d’une forme de cache : disque, RAM et redis
Introduire un délai aléatoire
Le fichier robot.txt
Travaux Pratiques
Crawler les articles de Wikipédia via l’API et Asyncio
Les API professionnelles
Concurrence et parallélisme
Authentifications et token
Anatomie d’une API REST
Retry propre
Gérer le rate limiting
Gestion des erreurs
Logging de l’application
Exemple avec un client twitter fait à la main
Travaux Pratiques
Crawler les posts de twitter via l’API officielle en utilisant un client déjà existant
Industrialiser le crawling
Scrappy, un framework de scraping automatique
Introduction aux mécanismes de base du framework
Travaux Pratiques
Crawler les articles de Wikipédia en utilisant scrappy
Selenium, un browser headless
Utiliser Selenium à la main
Utiliser Scrappy et Selenium ensemble
Travaux Pratiques
Crawler les images et les commentaires d’imgur avec scrappy et selenium
Prérequis
La formation Python (réf. OPYT) constitue un excellent prérequis.
Public
Ces formations pourraient vous intéresser
Objectifs de la formation
- Identifier les principes du règlement CLP et la réglementation afférente
- Interpréter les nouveaux pictogrammes et les nouvelles étiquettes
- Adapter les Fiches de Données de Sécurité
| Tarif |
A partir de 1 390,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
Maîtriser le langage Visual Basic afin d’être autonome dans le développement d’applications sous Access.
À l'issue de la formation, le stagiaire sera capable de :
- Utiliser les fonctionnalités de programmation de VBA Access pour écrire des procédures
- Accéder aux données et les manipuler à l'aide des objets de données ActiveX
- Créer des interfaces utilisateurs personnalisés pour une application Access
| Tarif |
A partir de 1 200,00 € |
| Durée |
3 jour(s) |
| Modes |
|
Formation Web sémantique, web de données avancé : outils pour le développement
Proposé par PLB CONSULTANTObjectifs de la formation
Cette formation Web Sémantique développement fait suite à la formation "Web sémantique, web de données : introduction et mise en oeuvre". Là où la première session se veut avant tout une introduction aux concepts, aux standards et aux langages, cette seconde session est pratique, et axée sur les outils de mise en oeuvre de ces technologies dans un projet. Elle s'adresse à des personnes maitrisant les notions de base du web de données, le XML et le HTML, et familier avec le développement informatique (exercices pratiques en Java).
Sur 2 jours, cette formation vous propose d'aborder les aspects suivants : les ontologies OWL et les classifications SKOS ; le JSON-LD ; l’utilisation du framework RDF4J : vous saurez comment déployer, exploiter, et étendre cette brique essentielle à tout projet intégrant des données RDF. De façon concrète, vous vous confronterez aux deux problématiques symétriques de l'intégration de données (CSV, XML ou SQL) vers une base RDF, notamment en utilisent R2RML, le langage de mapping relationnel-RDF, et de la publication de données RDF sur le web ou en interne.
Cette formation Web Sémantique développement aborde également les aspects avancés de SPARQL et RDF que sont les mises à jour, les graphes nommés, et l'inférence.
| Tarif |
A partir de 1 480,00 € |
| Durée |
2j / 14h |
| Modes |
|
Concevoir, développer et déployer une architecture microservices à base d'Intelligence Artificielle (IA)
Proposé par M2IObjectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire les avantages des architectures microservices (AMS) et de la valeur ajoutée de l'IA
- Développer et tester des AMS à base d'IA selon les meilleures pratique et en évitant les pièges
- Migrer des applications monolithiques vers des AMS à base d'IA
- Décrire le cycle de vie des applications AMS à base d'IA grâce à l'agilité et DevOps / MLOps / IAOps.
| Tarif |
A partir de 4 250,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Identifier et détecter le risque sur les données personnelles de votre organisation
- Analyser la démarche de la mise en oeuvre des mécanismes et des procédures internes
- Bâtir un plan d'actions pour sensibiliser le responsable des traitements aux risques.
| Tarif |
A partir de 2 280,00 € |
| Durée |
3j / 21h |
| Modes |
|
Objectifs de la formation
- Appréhender les concepts de la solution BO 4.3
- Filtrer et regrouper les données à restituer
- Maîtriser les fonctions d’interrogation, d’analyse et de reporting
| Tarif |
A partir de 900,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Définir la terminologie, les méthodes et les vues de gestion de la rentabilité proposées
- Différencier les comptes de résultats analytiques et l'analyse de la marge
- Expliquer le flux des données réelles dans l'analyse du compte de résultats et la comptabilité des centres de profit
- Définir et paramétrer les structures organisationnelles et de données nécessaires à l'analyse du compte de résultats (CO-PA)
- Décrire les concepts de dérivation et de valorisation des caractéristiques et les configurer
- Définir le flux de données réelles (impact dans les tables, postes individuels dans FI et CO, intégration à la gestion des commandes client, imputation des frais généraux ou encore d'activité...)
- Exécuter les étapes nécessaires à la pré-budgétisation dans CO-PA (manuelle et automatique)
- Utiliser et paramétrer des états d'analyse (états ad hoc, état des postes individuels ou cube multidimensionnel).
| Tarif |
A partir de 4 100,00 € |
| Durée |
5j / 35h |
| Modes |
|
Objectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Décrire les exigences du Règlement Général sur la Protection des Données (RGPD) et les concepts fondamentaux de protection de la vie privée
- Identifier les obligations, les rôles et les responsabilités du délégué à la protection des données (DPO)
- Interpréter les concepts, les approches, les méthodes et les techniques pour aligner efficacement un cadre de conformité en ce qui concerne la protection des données personnelles.
| Tarif |
A partir de 1 520,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
A l'issue de la formation Prototype et Scriptaculous vous aurez acquis les connaissances et compétences nécessaires pour :
- Développer plus rapidement la mise à jour partielle ou périodique d'une page (Ajax, XMLHttpRequest)
- Manipuler le DOM afin de récupérer, insérer, ou masquer les éléments HTML des pages de façon plus efficace et avec de nouvelles fonctionnalités
- Utiliser les solutions offertes par Prototype aux incompatibilités entre les navigateurs (COMPAT),
- Manipuler plus facilement les structures de données JavaScript avec de nouveaux composants comme String, Enumerable, Array
- Gérer les événements HTML à l'aide de la classe Event
- Proposer des effets visuels riches
- Rendre des éléments HTML déplaçables en Drag & Drop
- Utiliser des sliders dans la page HTML
- Proposer l'autocomplétion dans vos pages
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Formation obligatoire - Renouvellement de mandat des membres du CSE pour les entreprises à partir de 11 salariés
Proposé par M2IObjectifs de la formation
A l'issue de cette formation, vous serez capable de :
- Clarifier les missions et les prérogatives du CSE en matière de santé et sécurité au travail
- Planifier et mettre en oeuvre des mesures de prévention primaire, secondaire et tertiaire
- Etablir une communication efficace sur les risques professionnels au sein de l'entreprise
- Evaluer les résultats de la prévention en utilisant le document unique d'évaluation des risques professionnels
- Appliquer les règles générales de la santé et de la sécurité au travail
- Proposer des actions correctives en cas d'accidents du travail, de trajet et de maladies professionnelles
- Evaluer les dommages et les lésions résultant d'un accident du travail ou d'une maladie professionnelle
- Illustrer les droits et les responsabilités des acteurs de la santé et de la sécurité au travail
- Appliquer les mesures de prévention et les règles de sécurité en cas de manipulation de produits dangereux ou de manutention manuelle de charges
- Mettre en place un plan de prévention et assurer la coactivité
- Analyser les situations de harcèlement moral et sexuel au travail.
| Tarif |
A partir de 2 100,00 € |
| Durée |
3j / 21h |
| Modes |
|
