Airflow Command Line Interface

Airflow propose une interface en ligne de commande (CLI) puissante pour interagir avec vos DAGs, gérer vos configurations et diagnostiquer vos workflows. Que ce soit pour des tâches simples ou complexes, la CLI d’Airflow est un outil incontournable pour les administrateurs et les développeurs.

Voici quelques commandes utiles pour débuter avec la CLI d'Airflow :

Afficher les informations sur votre installation

Utilisez cette commande pour obtenir des détails sur la version d’Airflow, les dépendances installées et la configuration de votre environnement.

airflow info

Lister la configuration actuelle

Cette commande vous permet de consulter tous les paramètres de configuration définis dans Airflow.

airflow config list

Consulter le cheat-sheet Airflow

Pour une référence rapide des commandes les plus utilisées dans Airflow, le cheat-sheet est une ressource pratique.

airflow cheat-sheet

Démarrer le scheduler

Le scheduler d’Airflow orchestre l'exécution des DAGs en fonction de leurs schedule_interval

airflow scheduler

Démarrer le webserver

Le webserver d’Airflow lance l'interface utilisateur accessible via un navigateur.

airflow webserver

Exécuter un DAG

Pour exécuter un DAG sur une plage de dates spécifique (historique), vous pouvez utiliser la commande suivante :

airflow dags backfill --start-date 2024-09-01 --end-date 2024-09-23 <your_dag_id>

--start-date : La date de début (au format YYYY-MM-DD) à partir de laquelle le DAG sera exécuté.
--end-date : La date de fin (au format YYYY-MM-DD) jusqu’à laquelle le DAG sera exécuté.
<your_dag_id> : Remplacez ce paramètre par l'identifiant de votre DAG.

Exemple :
Si votre DAG s'appelle etl_sales, la commande sera :

airflow dags backfill --start-date 2024-09-01 --end-date 2024-09-23 etl_sales

Bravo, vous avez créé votre premier pipeline avec Airflow. Dans la prochaine section, nous explorerons en détail chaque composant du pipeline et approfondirons votre compréhension d'Apache Airflow.