Types de flux

Un flux de données constitue une série d'opérations qui prennent des données d'une source, les traitent, puis écrivent la sortie vers une destination. Le traitement des données peut aller d'un simple tri au traitement de données plus complexes et à des actions d'enrichissement. Le concept de flux de données en lui-même est simple, mais vous pouvez concevoir des flux de données très complexes avec des chemins d'accès à embranchements, différentes sources d'entrée et diverses destinations de sortie.

Il existe quatre types de flux de données : jobs, services, sous-flux et processflow.

Job

Un job est un flux de données effectuent du traitement de lots. Un job lit les données d'un(e) ou plusieurs fichiers ou bases de données, traite ces données et écrit les résultats dans un(e) ou plusieurs fichiers ou bases de données. Les jobs peuvent être exécutés de manière manuelle dans Enterprise Designer ou à partir de la ligne de commande via l'exécuteur de job.

Le flux de données suivant est un job. Notez bien qu'il utilise le stage Read from File pour l'entrée et deux stages Write to File pour la sortie.



Service

Un service est un flux de données auquel vous pouvez accéder sous forme de services Web ou via l'API Spectrum™ Technology Platform. Vous transmettez un enregistrement au service et vous avez la possibilité de définir des options à utiliser lors du traitement de l'enregistrement. Le service traite les données et les renvoie.

Certains services deviennent disponibles dès lors que vous installez un module. Par exemple, quand vous installez le module Universal Addressing Module, le service ValidateAddress devient disponible sur votre système. Dans d'autres cas, vous devez créer un service dans Enterprise Designer, puis exposer ce service sur votre système comme service défini par l'utilisateur. Par exemple, les stages du module Location Intelligence ne sont pas disponibles en tant que services à moins que vous ne créiez d'abord un service qui utilise les stages de ce module.

Vous pouvez également concevoir vos propres services personnalisés dans Enterprise Designer. Par exemple, le flux de données suivant détermine si une adresse présente un risque d'inondation :



Remarque : Les noms du service, de l'option et du champ sont destinés à devenir des éléments XML, ils ne peuvent pas contenir de caractères considérés comme des éléments XML invalides (par exemple, les espaces sont interdits). Les services qui ne répondent pas à ces exigences fonctionneront toujours, mais ils ne seront pas exposés en tant que services Web.

Sous-flux

Un sous-flux est un flux de données qui peut être réutilisé par d'autres flux de données. Les sous-flux s'avèrent utiles quand vous souhaitez créer un processus réutilisable, facile à intégrer à des flux de données. Par exemple, vous pouvez souhaiter créer un sous-flux qui effectue une déduplication en utilisant certains paramètres de chaque stage, pour pouvoir utiliser le même processus de déduplication dans différents flux de données. Pour ce faire, vous pouvez créer un sous-flux comme suit :

Vous pouvez ensuite utiliser ce sous-flux dans un flux de données. Par exemple, vous pouvez utiliser le sous-flux de déduplication dans un flux de données qui effectue un géocodage de sorte que les données soient dédupliquées avant l'opération de géocodage :

Dans cet exemple, les données d'une base de données sont lues, puis transmises au sous-flux de déduplication, où elles sont traitées par Match Key Generator, Intraflow Match, puis Best of Breed. Ensuite, pour finir, elles quittent le sous-flux et sont transmises au stage suivant du flux de données parent, dans ce cas, Geocode US Address. Les sous-flux sont représentés par une icône morceau de puzzle, comme illustré ci-dessus.

Les sous-flux enregistrés et exposés s'affichent dans le dossier Stages définis par l'utilisateur d'Enterprise Designer.

Flux de processus

Un processflow exécute une série d'activités, comme des jobs et des applications externes. Chaque activité du flux de processus s'exécute à la fin de l’activité précédente. Les processflow s'avèrent utiles si vous souhaitez exécuter plusieurs flux de données en séquence ou un programme externe. Par exemple, un processflow peut exécuter un job de pour normaliser des noms, valider des adresses, puis utiliser une application externe pour trier les enregistrements dans le bon ordre pour l'obtention de réductions sur les tarifs postaux. Un tel processflow ressemble à ceci :

Dans cet exemple, les jobs Standardize Names et Validate Addresses sont des jobs exposés sur le serveur Spectrum™ Technology Platform. Exécuter le programme appelle une application externe, et une activité Réussi indique la fin du processflow.