Tokenize

%Tokenize([token set],[preserved set]);

Il s'agit d'une commande facultative. Si non spécifiée, la valeur par défaut est [\s], c'est-à-dire l'expression régulière par défaut pour le caractère espace, telle qu'un espace, un onglet ou un retour chariot.

Définit les caractères utilisés pour segmenter un champ (Tokenise) et définit les caractères devant être conservés.

[token set] est une liste de caractères utilisés pour segmenter un champ de manière automatique. La segmentation consiste à diviser un champ à l'aide de délimiteurs.

Exemple

%Tokenize([-\s],[-];

Segmente en fonction des espaces blancs et des tirets, en conservant le tiret en tant que jeton.

Remarque : %Tokenize suit les règles de syntaxe Java RegEx. Utilisez le caractère barre oblique inverse « \ » pour forcer Open Parser à traiter le trait d'union et les autres métacaractères comme des caractères ordinaires. Par exemple, le caractère trait d'union (-) peut être employée pour spécifier soit un trait d'union littéral ou une plage de caractères. Si vous définissez la valeur de %Tokenize sur [(-)], Open Parser interprètera que vous signifiez la plage de caractères entre la parenthèse ouvrante « ( » et la parenthèse fermante « ) ». Voir Métacaractères de commande pour une liste complète des caractères réservés.

[preserved set] est la définition d'une expression régulière d'un ensemble de caractères de ces jetons qui sont inclus dans un ensemble de jetons qui sont conservés et qui apparaîtront dans la liste de jetons. Par exemple, si l'ensemble de jetons est : espace et trait d'union, et que l'ensemble conservé est trait d'union, « avant-après ceci » serait fractionné en 4 jetons : « avant », « - », « après » et « ceci ».

Pour utiliser cette commande :

  1. Placez le curseur là où vous voulez insérer la commande.
  2. Double-cliquez sur %Tokenize dans la liste Commandes.
  3. Cliquez sur la flèche Ensemble de jetons pour sélectionner une valeur Regex ou tapez des valeurs dans la zone de texte Ensemble de jetons.

    Il existe plusieurs balises Regex prédéfinies que vous pouvez employer pour définir l'ensemble de jetons. Pour plus d'informations, reportez-vous à la section Définition d'une grammaire de parsing spécifique à une culture.

  4. Si vous le souhaitez, cochez la case Caractères à conserver.
  5. Cliquez sur la flèche Caractères de l'ensemble de jetons à conserver et sélectionnez une valeur ou tapez des valeurs dans la zone de texte.
  6. Cliquez sur OK.