Outils pour utilisateurs

Outils du site


loadistex2:chaine-de-traitements

Le concept de chaîne de traitements dans LoadISTEX 2

Principe général

Une « chaîne » consiste à faire traiter des données par un ensemble de modules indépendants, dans un ordre déterminé, et propres aux besoins des typologies de données.

Fonctionnement détaillé

L'ensemble des traitements s'articule autour de modules indépendants. Ces modules sont bâtis sur le principe KISS.
Chaque module est dédié à une tâche unique et ne se préoccupe que des données livrées dans son environnement direct. Un module est capable de s’exécuter de deux manières :

  • en mode « standalone » : hors de la coordination du module maître, le module effectue ses traitements de manière indépendante et s'arrête une fois les traitements terminés
  • en mode « deamon » : dans le cadre du travail coordonné par le module maitre, le module se mets en écoute/attente de données dans un répertoire « IN » dédié. C'est le module maître qui décide quand mettre fin à l'activité du module.


Le fameux module maître « maestro » détermine une chaîne de traitement et coordonne le travail des modules qui la composent.

Un diaporama de présentation animé est disponible dans la doc de maestro sur Gitbucket.

Schéma d'architecture

La session

La notion de session est centrale dans LoadISTEX 2. La session définit, de manière unique, une chaîne de traitements sur un ensemble déterminé de données à un moment donné. La session permet :

  • au module de traiter plusieurs jeux de données / corpus en parallèle sans interférer avec les traitements en cours
  • de rejouer plusieurs fois une chaîne de traitements sur un ensemble de données sans écraser les précédents passages
  • de garder une trace chronologique des traitements (pour autant que l'identifiant de session comporte un timestamp“)
  • de pouvoir rejouer tout ou partie des traitement à partir de n'importe quel point de la chaîne
loadistex2/chaine-de-traitements.txt · Dernière modification: 2019/04/11 07:51 (modification externe)