Aller au contenu

Prise en main de l'interface d'Apache Airflow#

L'interface web Apache Airflow permet de superviser et de gérer les DAGs (Directed Acyclic Graphs) de manière visuelle. Cette interface intuitive facilite la gestion des workflows, leur planification, et la surveillance des tâches. Dans cette section, nous allons explorer les principales sections de l'interface d'Apache Airflow et comment naviguer à travers ses fonctionnalités.

L'interface d'Airflow propose un menu de navigation qui permet d'accéder rapidement aux différentes sections de la plateforme.

DAGs#

Les DAGs (Graphes Acycliques Dirigés) sont la base de l'orchestration dans Airflow. Cette section vous permet de visualiser et de gérer les DAGs existants. Vous pouvez voir leurs statuts, planifier des exécutions et accéder à des informations détaillées sur chaque tâche.

Datasets#

Cette section présente les datasets utilisés dans vos workflows. Vous pouvez y trouver des informations sur les données entrantes et sortantes de chaque tâche.

Security#

Dans cette partie, vous pouvez gérer la sécurité de la plateforme, y compris les utilisateurs, leurs rôles et les permissions.

Users#

Gérez les utilisateurs qui ont accès à Airflow. Vous pouvez définir les informations d’identification et attribuer des rôles à chaque utilisateur.

Roles#

Les rôles permettent de gérer les permissions et l'accès des utilisateurs aux différentes parties de l'interface d'Airflow.

Users Statistics#

Cette section montre les statistiques sur l’utilisation de l’interface par les utilisateurs.

Actions#

Consultez les actions effectuées par les utilisateurs dans l’interface d’Airflow.

Ressources#

Gérez les ressources d'Airflow, y compris la gestion des pools et des tâches.

Permissions#

Définissez les permissions des utilisateurs pour chaque ressource et section d'Airflow.

Browser#

La section Browser est dédiée à la surveillance des exécutions des DAGs et à la gestion des tâches.

DAG Runs#

Ici, vous pouvez visualiser les exécutions de vos DAGs, suivre leur statut et accéder aux détails de chaque run.

Jobs#

Cette section affiche les jobs en cours d’exécution, ainsi que leurs résultats.

Audit Logs#

Les logs d’audit permettent de suivre les actions réalisées sur la plateforme, comme les modifications des configurations ou des tâches.

Task Instances#

Affiche l'état d'exécution des instances de tâches pour chaque DAG.

Task Reschedules#

Cette section permet de suivre les tâches qui ont été replanifiées.

Triggers#

Vous pouvez surveiller les déclencheurs des tâches dans cette section.

SLA Misses#

Consultez les tâches qui n’ont pas respecté leurs SLA (Service Level Agreement).

DAG Dependencies#

Affiche les dépendances entre les différentes tâches d'un DAG.

Admin#

La section Admin est dédiée à la gestion de la configuration d'Airflow, des connexions et des variables.

Variables#

Vous pouvez y gérer les variables utilisées par les DAGs, ce qui permet de les rendre dynamiques.

Configurations#

Accédez aux configurations globales d’Airflow, où vous pouvez ajuster les paramètres de fonctionnement.

Connections#

Gérez les connexions à d’autres services ou bases de données depuis Airflow.

Plugins#

Airflow permet d’étendre ses fonctionnalités avec des plugins personnalisés. Cette section vous permet de les gérer.

Providers#

Les providers ajoutent des intégrations avec d'autres outils ou services comme AWS, Google Cloud, etc.

SLA Misses#

Affiche les événements de SLA manqués par vos DAGs.

Xcoms#

Les Xcoms sont des messages permettant la communication entre les différentes tâches d’un DAG.

Docs#

Airflow propose également une documentation détaillée via son interface.

Swagger UI#

Un outil interactif pour explorer l'API d'Airflow et tester les différentes opérations disponibles.

API Docs#

Une documentation complète sur l'API d'Airflow.

Nous avons maintenant une vue d'ensemble des principales sections de l'interface d'Apache Airflow. Cette interface offre une gestion complète des workflows, de la planification à la surveillance des exécutions. Vous êtes maintenant prêt à vous lancer dans la création de votre premier pipeline avec Apache Airflow ! Dans la prochaine section, nous allons voir comment créer un premier pipeline pour automatiser vos workflows.