Aller au contenu

Prise en main de l'interface d'Apache Airflow

L'interface web Apache Airflow permet de superviser et de gérer les DAGs (Directed Acyclic Graphs) de manière visuelle. Cette interface intuitive facilite la gestion des workflows, leur planification, et la surveillance des tâches. Dans cette section, nous allons explorer les principales sections de l'interface d'Apache Airflow et comment naviguer à travers ses fonctionnalités.

L'interface d'Airflow propose un menu de navigation qui permet d'accéder rapidement aux différentes sections de la plateforme.

DAGs

Les DAGs (Graphes Acycliques Dirigés) sont la base de l'orchestration dans Airflow. Cette section vous permet de visualiser et de gérer les DAGs existants. Vous pouvez voir leurs statuts, planifier des exécutions et accéder à des informations détaillées sur chaque tâche.

Datasets

Cette section présente les datasets utilisés dans vos workflows. Vous pouvez y trouver des informations sur les données entrantes et sortantes de chaque tâche.

Security

Dans cette partie, vous pouvez gérer la sécurité de la plateforme, y compris les utilisateurs, leurs rôles et les permissions.

Users

Gérez les utilisateurs qui ont accès à Airflow. Vous pouvez définir les informations d’identification et attribuer des rôles à chaque utilisateur.

Roles

Les rôles permettent de gérer les permissions et l'accès des utilisateurs aux différentes parties de l'interface d'Airflow.

Users Statistics

Cette section montre les statistiques sur l’utilisation de l’interface par les utilisateurs.

Actions

Consultez les actions effectuées par les utilisateurs dans l’interface d’Airflow.

Ressources

Gérez les ressources d'Airflow, y compris la gestion des pools et des tâches.

Permissions

Définissez les permissions des utilisateurs pour chaque ressource et section d'Airflow.

Browser

La section Browser est dédiée à la surveillance des exécutions des DAGs et à la gestion des tâches.

DAG Runs

Ici, vous pouvez visualiser les exécutions de vos DAGs, suivre leur statut et accéder aux détails de chaque run.

Jobs

Cette section affiche les jobs en cours d’exécution, ainsi que leurs résultats.

Audit Logs

Les logs d’audit permettent de suivre les actions réalisées sur la plateforme, comme les modifications des configurations ou des tâches.

Task Instances

Affiche l'état d'exécution des instances de tâches pour chaque DAG.

Task Reschedules

Cette section permet de suivre les tâches qui ont été replanifiées.

Triggers

Vous pouvez surveiller les déclencheurs des tâches dans cette section.

SLA Misses

Consultez les tâches qui n’ont pas respecté leurs SLA (Service Level Agreement).

DAG Dependencies

Affiche les dépendances entre les différentes tâches d'un DAG.

Admin

La section Admin est dédiée à la gestion de la configuration d'Airflow, des connexions et des variables.

Variables

Vous pouvez y gérer les variables utilisées par les DAGs, ce qui permet de les rendre dynamiques.

Configurations

Accédez aux configurations globales d’Airflow, où vous pouvez ajuster les paramètres de fonctionnement.

Connections

Gérez les connexions à d’autres services ou bases de données depuis Airflow.

Plugins

Airflow permet d’étendre ses fonctionnalités avec des plugins personnalisés. Cette section vous permet de les gérer.

Providers

Les providers ajoutent des intégrations avec d'autres outils ou services comme AWS, Google Cloud, etc.

SLA Misses

Affiche les événements de SLA manqués par vos DAGs.

Xcoms

Les Xcoms sont des messages permettant la communication entre les différentes tâches d’un DAG.

Docs

Airflow propose également une documentation détaillée via son interface.

Swagger UI

Un outil interactif pour explorer l'API d'Airflow et tester les différentes opérations disponibles.

API Docs

Une documentation complète sur l'API d'Airflow.

Nous avons maintenant une vue d'ensemble des principales sections de l'interface d'Apache Airflow. Cette interface offre une gestion complète des workflows, de la planification à la surveillance des exécutions. Vous êtes maintenant prêt à vous lancer dans la création de votre premier pipeline avec Apache Airflow ! Dans la prochaine section, nous allons voir comment créer un premier pipeline pour automatiser vos workflows.