Formation Scraping et manipulation de données avec Python
Public admis
- Salarié en Poste
- Demandeur d'emploi
- Entreprise
- Etudiant
Financements
Eligible CPF Votre OPCO Financement personnel
Objectifs de la formation
À l'issue de cette formation Scraping Python, vous aurez acquis les connaissances et les compétences nécessaires pour :
- Comprendre les enjeux techniques et ethniques du scraping
- Connaître les différentes méthodes utilisées pour récupérer, traiter et stocker les données
- Maîtriser les technologies existantes pour choisir la solution adaptée à votre besoin d’acquisition
| Tarif |
A partir de 2 390,00 € |
| Durée | 4 jours (28h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
| Tarif |
A partir de 2 390,00 € |
| Durée | 4 jours (28h) |
| Modes |
|
| Sessions | |
| Lieux | Partout en France |
Description
Avec sa réputation d’excellent « langage glue », Python est la technologie idéale pour récupérer des données hétérogènes depuis des sources aux formes variées afin d’accumuler une base de connaissances.
C’est l’objet du scraping, qui vise à parcourir une série de ressources - souvent des sites Web ou des APIs REST - afin d’en extraire des informations ciblées.
Avec cette formation Scraping Python, nous verrons comment s’organise un tel programme, en commençant par créer ensemble un crawler à la main, pour progressivement aller vers des technologies plus sophistiquées, jusqu’à tout automatiser.
Programme
La base du traitement par lot (scraping)
Rappel des fondamentaux
Parcourir le système de fichiers
Gérer proprement l’encoding
Lire et écrire des fichiers
Analyser le JSON, le CSV et l’XML
Les générateurs
Travaux Pratiques
Crawler une collection de CSV pour en faire un rapport statistique
Parcours de données sur le Web
Mon premier scraper
Rappel sur le protocole HTTP
Requêtes simples avec Request
Stocker les données avec SQLAlchemy
Analyser du HTML avec Beautiful Soup
Travaux Pratiques
Crawler les articles de Wikipédia sans passer par l’API, stocker le résultat en base
Questions de performances
Concurrence et parallélisme
Threads et GIL
Utiliser plusieurs cœurs avec le multiprocessing
Programmation I/O asyncrone
Performances et éthiques
Utilisation d’une forme de cache : disque, RAM et redis
Introduire un délai aléatoire
Le fichier robot.txt
Travaux Pratiques
Crawler les articles de Wikipédia via l’API et Asyncio
Les API professionnelles
Concurrence et parallélisme
Authentifications et token
Anatomie d’une API REST
Retry propre
Gérer le rate limiting
Gestion des erreurs
Logging de l’application
Exemple avec un client twitter fait à la main
Travaux Pratiques
Crawler les posts de twitter via l’API officielle en utilisant un client déjà existant
Industrialiser le crawling
Scrappy, un framework de scraping automatique
Introduction aux mécanismes de base du framework
Travaux Pratiques
Crawler les articles de Wikipédia en utilisant scrappy
Selenium, un browser headless
Utiliser Selenium à la main
Utiliser Scrappy et Selenium ensemble
Travaux Pratiques
Crawler les images et les commentaires d’imgur avec scrappy et selenium
Prérequis
La formation Python (réf. OPYT) constitue un excellent prérequis.
Public
Ces formations pourraient vous intéresser
Formation Certification CIPM - Gérer un programme de protection des données personnelles
Proposé par PLB CONSULTANTObjectifs de la formation
À l'issue de cette formation Certification CIPM, vous aurez acquis les connaissances et compétences nécessaires pour :
- Se préparer à l’examen de certification CIPM IAPP
- Organiser la gouvernance protection des données au sein de son organisme
- Implémenter les règles
- Mesurer les résultats, contrôler et assurer le suivi de la protection des données
| Tarif |
A partir de 2 340,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
This course presents advanced models available in IBM SPSS Modeler. The participant is first introduced to a technique named PCA/Factor, to reduce the number of fields to a number of core factors, referred to as components or factors.
The next topics focus on supervised models, including Support Vector Machines, Random Trees, and XGBoost. Methods are reviewed on how to analyze text data, combine individual models into a single model, and how to enhance the power of IBM SPSS Modeler by adding external models, developed in Python or R, to the Modeling palette.
| Tarif |
A partir de 750,00 € |
| Durée |
1j / 7h |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Kotlin, les participants auront acquis les connaissances et les compétences nécessaires pour :
- Savoir développer avec le langage Kotlin
- Créer des interface utilisateurs
- Utiliser les fragments et les activités dans des interfaces en maîtrisant leurs cycles de vie
- Manipuler les données (chargement, affichage, échanges, web services, …)
- Utiliser les fonctions d’une tablette ou d’un mobile (téléphonie, SMS, géolocalisation, etc.)
- Perfectionner votre maîtrise du langage Kotlin (fonctions, collections, exceptions, annotations, asynchronisme, etc.)
- Connaître la syntaxe, les concepts et les spécificités du langage Kotlin
- Maîtriser l’environnement et le cycle de développement sur Android Studio
- Savoir créer des interfaces utilisateur avec le langage Kotlin
- Savoir gérer le chargement, l’affichage et l’échange de données d’une application
- Connaître les APIs majeures utilisées dans le cadre d’un développement Android
- Connaître les bonnes pratiques de développement et les aspects avancés de Kotlin
| Tarif |
A partir de 2 390,00 € |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Mettre en place un environnement de développement et un projet Symfony
- Découper une application en couche en identifiant le rôle de chaque élément
- Développer une couche de persistance métier avec Doctrine 2 : le framework de persistance de Symfony
- Concevoir le routage des requêtes HTTP avec les contrôleurs
- Utiliser des composants additionnels pour implémenter des services REST avec Symfony
- Mettre en place une gestion de la sérialisation/désérialisation des données en utilisant le format JSON
- Maitriser les interactions entre les contrôleurs et le modèle
- Utiliser l’injection de dépendance entre les composants
- Appliquer une stratégie de sécurité efficace dans une applications Symfony
| Tarif |
Contacter l'organisme |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Décrire le fonctionnement des réseaux, identifier les dispositifs majeurs qui composent un réseau ainsi que les fonctions assurées par ces dispositifs ;
- Décrire les problèmes qui se posent lorsqu’il s’agit d’augmenter le trafic supporté par le réseau local de type Ethernet. Identifier les solutions apportées par le passage à un réseau commuté ;
- Décrire et mettre en place un réseau Wifi ;
- Justifier l’introduction des routeurs pour interconnecter les réseaux. Décrire l’acheminement des données sur les réseaux interconnectés et mettre en place du routage statique et dynamique OSPF ;
- Maîtriser les bases d’IPV6 et le routage statique.
| Tarif |
Contacter l'organisme |
| Durée |
4j / 28h |
| Modes |
|
Objectifs de la formation
- Maîtriser l'administration de bases de données Oracle 12c
- Planifier les tâches
- Maîtriser l'architecture mutualisée
- Gérer la surveillance et la maintenance
- Data Base Resource Manager
| Tarif |
A partir de 3 250,00 € |
| Durée |
5 jours |
| Modes |
|
Objectifs de la formation
- Concevoir un modèle relationnel de données avec Access
- Déterminer les tables et les champs
- Créer et modifier les structures de tables dans Access
- Contrôler la saisie des données
- Créer, modifier ou supprimer les relations entre les tables dans Access
- Appliquer l'intégrité référentielle des données
| Tarif |
A partir de 1 390,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
- Saisir des données dans Microsoft Excel et sur le Web à l'aide des applications TM1
- Créer des vues personnalisées des données
- Générer des rapports et des formulaires dans Microsoft Excel qui communiquent avec TM1
- Créer et publier des analyses et des plans dans IBM Cognos Insight
| Tarif |
Contacter l'organisme |
| Durée |
3j / 21h |
| Modes |
|
Formation Dataiku Data Science Studio (DSS) : exploitez vos données grâce aux méthodes prédictives
Proposé par PLB CONSULTANTObjectifs de la formation
À l'issue de cette formation Dataiku, vous aurez acquis les connaissances nécessaires pour :
- Installer et configurer Dataiku DSS
- Savoir utiliser le logiciel depuis l'interface ou depuis des API
- Être capable de préparer vos données dans Dataiku DSS
- Comprendre comment manipuler les graphiques et les statistiques
| Tarif |
A partir de 1 610,00 € |
| Durée |
2j / 14h |
| Modes |
|
Objectifs de la formation
À l'issue de cette formation Qlik Sense Business Analyst, les participants auront acquis les connaissances et les compétences nécessaires pour :
- Connaître l'architecture d'une application Qlik Sense
- Naviguer dans une application Qlik Sense
- Créer une première application en utilisant le mode assistant
- Charger et transformer les données
- Modéliser correctement les données avec Qlik Sense
- Connaître les différents cas d’utilisation des visualisations
- Créer un multiple choix de visualisation et de mise en récit
- Savoir publier l’application et collaborer.
Cette formation s'appuie sur la v12.
| Tarif |
A partir de 1 480,00 € |
| Durée |
2j / 14h |
| Modes |
|
