Tokenize

%Tokenize([token set],[preserved set]);

Se trata de un comando opcional. Si no se especifica, el valor predeterminado es [\s], que es la expresión regular predeterminada para caracteres de espacio en blanco, como un espacio, un tabulador o un salto de línea.

Define los caracteres que se utilizan para hacer una muestra de un campo y establece los caracteres a preservar.

[token set] es una lista de caracteres utilizada para formar muestras de un campo de forma automática. La formulación de muestras implica dividir un campo utilizando delimitadores.

Ejemplo

%Tokenize([-\s],[-];

Forma las muestras con espacios y guiones en blanco, y mantiene el guión como muestra.

Nota: %Tokenize sigue las reglas de sintaxis de Java RegEx. Use el carácter de la barra invertida "\" para que Open Parser trate los guiones y otros metacaracteres como caracteres ordinarios. Por ejemplo, el carácter guión (-) puede utilizarse para especificar un guión literal o un rango de caracteres. Si configura el valor de %Tokenize en [(-)], Open Parser interpretará el rango de caracteres entre la apertura de paréntesis "("y el cierre de paréntesis ")". Consulte Metacaracteres de comando para obtener una lista completa de caracteres reservados.

[preserved set] es una definición de expresión regular de un conjunto de caracteres de esas muestras en un conjunto de muestras que se cnservan y que aparecerán en la lista de muestras. Por ejemplo, si el conjunto de muestras es espacio y guión, y el conjunto preservado es guión, la frase "before-after this" quedaría dividida en 4 muestras: before', '-', 'after' y 'this.

Para utilizar este comando:

  1. Ubique el cursor donde desea insertar el comando.
  2. Haga doble clic en %Tokenize en la lista Comandos.
  3. Haga clic en la flecha Conjunto de muestras para seleccionar un valor RegEx o valores de tipo RegEx en el cuadro de texto Conjunto de muestras.

    Hay muchas etiquetas RegEx predefinidas que puede utilizar para definir el conjunto de muestras. Para obtener más información, consulteDefinición de gramáticas de análisis específicas de culturas.

  4. Opcionalmente, seleccione la casilla de verificación Caracteres a preservar.
  5. Haga clic en la flecha Caracteres del conjunto de muestras a preservar y seleccione un valor o valores de tipo en el cuadro de texto.
  6. Haga clic en Aceptar.