Gestion de taches dans différents languages

Bonjour,

Je m’intéresse en ce moment à l’utilisation de tâches asynchrones dans différents langages de programmation: quels outils, quels patterns, quelle maturité, etc. Utilisant Python depuis des années mon outil de référence est Celery. Je cherche a comprendre comment les choses sont faites dans d’autres langages (en particulier dans le web, mais pas uniquement). Mon but est de dresser une vue d’ensemble des solutions "type Celery" dans les langages / framework les plus utilisés.

Bizarrement j’ai eu du mal a trouver des résultats très concrets en utilisant des recherches comme "queues + NOM_DU_LANGUAGE" dans google. Voici ce que j’ai trouvé pour le moment:

• Celery pour Python
• Bull (Bull queue) pour Node : https://github.com/optimalbits/bull
• Les queues intégrées a Laravel : https://laravel.com/docs/9.x/queues#running-the-queue-worker
• Taskq pour Go : https://github.com/vmihailenco/taskq ne parait pas très actif

Si vous pouviez me dire si vous utilisez ce genre d’outil et pour vous quel outil est la référence dans votre langage / framework de prédilection, cela m’aiderait beaucoup. Je suis surpris de ne pas avoir trouvé d’équivalent pour PHP (hors Laravel) ou Java par exemple.

Antonin

Salut,

C’est ce qu’on appelle des orchestrateurs. Les architectures étant de plus en plus distribuées et microservice, les orchestrateurs sont aujourd’hui moins des librairies de type Celery, mais plutôt des plate-formes langage-agnostiques, avec un serveur et des interfaces HTTP par exemple.

Quelques exemples populaires :

• Airflow
• Temporal
• Mistral
• Google Cloud Workflows
• Netflix Conductor

Quand les besoins sont assez simples, que ce soit dans la complexité des données à stocker dans les tâches, ou dans la gestion opérationnelle, beaucoup se contentent simplement de workers travaillant directement sur les données métier, ou sur des queues de type Kafka ou RabbitMQ.

Il y a aussi des architectures event-driven, de type pub/sub par exemple, où les workflows sont complètement décentralisés et où les différents services se contentent d’émettre et d’écouter des événements pour se coordonner.