Public : Développeurs, architectes système et responsables techniques qui veulent déployer des solutions Spark dans leur entreprise
Durée : 4 jour(s)
Pré-requis : Maîtrise de la programmation orientée objet en Java ou en C#
Objectifs : - Développer des applications avec Spark - Utiliser les bibliothèques pour SQL, les flux de données et l'apprentissage automatique - Retranscrire des difficultés rencontrées sur le terrain dans des algorithmes parallèles - Développer des applications métier qui s'intègrent à Spark
Sanction : Attestation de fin de formation mentionnant le résultat des acquis
Taux de retour à l’emploi : Aucune donnée disponible
Référence : BUS100299-F
Accessibilité : Si vous êtes en situation de handicap, nous sommes en mesure de vous accueillir, n'hésitez pas à nous contacter à referenthandicap@dawan.fr, nous étudierons ensemble vos besoins
Contact : commercial@dawan.fr
2 760,00 € HT
Définition du Big Data et des calculs
À quoi sert Spark
Quels sont les avantages de Spark
Identifier les limites de performances des CPU modernes
Développer les modèles de traitement en parallèle traditionnels
Utiliser la programmation fonctionnelle pour l'exécution des programmes en parallèles
Retranscrire des difficultés rencontrées sur le terrain dans des algorithmes parallèles
Répartir les données dans le cluster avec les RDD (Resilient Distributed Datasets) et les DataFrames
Répartir l'exécution des tâches entre plusieurs nœuds
Lancer les applications avec le modèle d'exécution de Spark
Créer des clusters résilients et résistants aux pannes
Mettre en place un système de stockage distribué évolutif
Surveillance et administration des applications Spark
Afficher les plans d'exécution et les résultats
Réaliser une analyse exploratoire avec le shell Spark
Créer des applications Spark autonomes
Programmation avec Scala et d'autres langages compatibles
Créer des applications avec les API de base
Enrichir les applications avec les bibliothèques intégrées
Traiter les requêtes avec les DataFrames et le code SQL embarqué
Développer SQL avec les fonctions définies par l'utilisateur (UDF)
Utiliser les ensembles de données aux formats JSON et Parquet
Connexion aux bases de données avec JDBC
Lancer des requêtes Hive sur des applications externes
Utiliser des fenêtres glissantes
Déterminer l'état d'un flux de données continu
Traiter des flux de données simultanés
Améliorer les performances et la fiabilité
Traiter les flux des sources intégrées (fichiers journaux, sockets Twitter, Kinesis, Kafka)
Développer des récepteurs personnalisés
Traiter les données avec l'API Streaming et Spark SQL
Prévoir les résultats avec l'apprentissage supervisé
Créer un élément de classification pour l'arbre de décision
Regrouper les données avec l'apprentissage non supervisé
Créer un cluster avec la méthode k-means
Mise à disposition de Spark via un service Web RESTful
Générer des tableaux de bord avec Spark
Service cloud vs. sur site
Choisir un fournisseur de services (AWS, Azure, Databricks, etc.)
Développer Spark pour les clusters de grande taille
Améliorer la sécurité des clusters multifournisseurs
Suivi du développement continu de produits Spark sur le marché
Projet Tungsten : repousser les performances à la limite des capacités des équipements modernes
Utiliser les projets développés avec Spark
Revoir l'architecture de Spark pour les plateformes mobiles
Pour suivre une session à distance depuis l'un de nos centres, contactez-nous.
| Lieu | Date | Remisé | Actions |
|---|---|---|---|
| Distance | Du 25/11/2024 au 28/11/2024 | Oui | S'inscrire |
Bât Ravezies - 2e étage 250 avenue Emile Counord
33300 Bordeaux
Liaison directe de la gare Bordeaux Saint-Jean via le tram C
32 Boulevard Vincent Gâche
44000 Nantes
46 rue des Canonniers - 2è étage
59800 Lille
Proche des deux gares
62 rue de Bonnel - 1er étage Ascenseur à droite de l'entrée
69003 Lyon
38/40 rue de la République Escalier A, 1er étage
13001 Marseille
A proximité du vieux port
26 Allée de Mycènes Le Thèbes, Bât. A, 3è étage
34000 Montpellier
Quartier Antigone
32 Boulevard Vincent Gâche 5 ème étage
44200 Nantes
455 promenade des Anglais Bât Arenice, 7è étage
06200 Nice
11 rue Antoine Bourdelle
75015 Paris
dans le 15e arrondissement
3 place du Général Giraud
35000 Rennes
4 rue de Sarrelouis - 4è étage
67000 Strasbourg
1 place Occitane Bât. Le Sully - 4è étage
31000 Toulouse
Proche de Jean-Jaurès et du Capitole