Public : Développeurs, DevOps, Administrateurs système ou toute personne souhaitant automatiser des workflows
Durée : 2 jour(s)
Pré-requis : Notions de base en Python - Maitrise des concepts de workflows et pipelines de données
Objectifs : Comprendre et configurer les workflows avec Apache Airflow - Créer, optimiser et superviser des DAGs complexes - Intégrer Airflow dans un environnement de production sécurisé - Utiliser les meilleures pratiques pour garantir des workflows robustes et maintenables
Sanction : Attestation de fin de formation mentionnant le résultat des acquis
Taux de retour à l’emploi : Aucune donnée disponible
Référence : OUT102361-F
Accessibilité : Si vous êtes en situation de handicap, nous sommes en mesure de vous accueillir, n'hésitez pas à nous contacter à referenthandicap@dawan.fr, nous étudierons ensemble vos besoins
Contact : commercial@dawan.fr
1 775,00 € HT
Historique et rôle d'Apache Airflow dans l'orchestration de workflows
Comparaison avec d’autres orchestrateurs : Apache NiFi, Luigi, etc.
Cas d’utilisation courants (ETL, automatisation des processus, etc.)
Composants principaux : Scheduler, Webserver, Metadata Database, Worker
Flux de travail interne (DAGs et Tasks)
Installation et configuration de base (Airflow CLI et configuration initiale)
Structure d’un DAG : définition et configuration
Comprendre les opérateurs : BashOperator, PythonOperator, DummyOperator
Programmation d’un premier DAG simple
Gestion des dépendances entre tâches
Définition de schémas d’exécution (sequential, parallel, etc.)
Gestion du scheduling avec cron et intervalles de temps (TimeDelta, catchup, etc.)
Exploration des fonctionnalités clés : Gantt chart, log des tâches, exécution manuelle
Résolution des erreurs et gestion des retards
Atelier Pratique : Création d’un DAG avec des opérateurs multiples
Développement d’opérateurs personnalisés (PythonOperator avancé)
Utilisation d’opérateurs préconstruits : BranchPythonOperator, SubDagOperator
Introduction aux Sensors pour surveiller des événements (FileSensor, ExternalTaskSensor)
Transfert de données entre tâches via XComs
Meilleures pratiques pour limiter les erreurs
Connexions avec des bases de données (Postgres, MySQL, etc.)
Intégration avec des outils cloud (AWS, GCP, Azure)
Configuration avancée : pools, SLA et gestion des priorités
Mise en place de la haute disponibilité
Stratégies de monitoring et alertes
Structuration des DAGs pour la maintenabilité
Debugging et optimisation des workflows
Gestion des versions et migration
Ateliers pratiques :
Pour suivre une session à distance depuis l'un de nos centres, contactez-nous.
Aucune date de programmée actuellement. Pour plus d'information sur les prochaines sessions, nous vous invitons à joindre le service commercial par téléphone au 09 72 37 73 73 (prix d'un appel local) ou depuis notre formulaire de contact.
Bât Ravezies - 2e étage 250 avenue Emile Counord
33300 Bordeaux
Liaison directe de la gare Bordeaux Saint-Jean via le tram C
32 Boulevard Vincent Gâche
44000 Nantes
46 rue des Canonniers - 2è étage
59800 Lille
Proche des deux gares
62 rue de Bonnel - 1er étage Ascenseur à droite de l'entrée
69003 Lyon
38/40 rue de la République Escalier A, 1er étage
13001 Marseille
A proximité du vieux port
26 Allée de Mycènes Le Thèbes, Bât. A, 3è étage
34000 Montpellier
Quartier Antigone
32 Boulevard Vincent Gâche 5 ème étage
44200 Nantes
455 promenade des Anglais Bât Arenice, 7è étage
06200 Nice
11 rue Antoine Bourdelle
75015 Paris
dans le 15e arrondissement
3 place du Général Giraud
35000 Rennes
4 rue de Sarrelouis - 4è étage
67000 Strasbourg
1 place Occitane Bât. Le Sully - 4è étage
31000 Toulouse
Proche de Jean-Jaurès et du Capitole