Uso de un trabajo Spark de Advanced Transformer
-
Cree una instancia de
DataNormalizationFactory
con su método estáticogetInstance()
. -
Proporcione los detalles de entrada y salida del trabajo Advanced Transformer mediante la creación de una instancia de
AdvancedTransformerDetail
que especifique elProcessType
. La instancia debe usar el tipo SparkProcessType.-
Configure las reglas de Advanced Transformer mediante la creación de una instancia de
AdvancedTransformerConfiguration
. Dentro de esta instancia:Agregue una instancia de tipoAbstractAdvancedTransformerRules
. Esta instanciaAbstractAdvancedTransformerRules
debe definirse con el uso de una de estas clases:TableDataExtraction
oRegularExpressionExtraction
, que corresponde a la categoría de regla deseada de Advanced Transformer. -
Establezca los detalles de la ruta de los datos de referencia y el tipo de ubicación creando una instancia de
ReferenceDataPath
. Consulte Enum ReferenceDataPathLocation. -
Cree una instancia de
AdvancedTransformerDetail
, mediante el paso de una instancia de tipoJobConfig
y laAdvancedTransformerConfiguration
y las instanciasReferenceDataPath
creadas con anterioridad como los argumentos para su constructor.El parámetroJobConfig
debe ser una instancia de tipo SparkJobConfig. -
Establezca los detalles del archivo de entrada mediante el campo
inputPath
de la instanciaAdvancedTransformerDetail
.Para un archivo de entrada de texto, cree una instancia deFilePath
con los detalles relevantes del archivo de entrada mediante la invocación del constructor apropiado. Para un archivo de entrada ORC, cree una instancia deOrcFilePath
con la ruta del archivo de entrada ORC como argumento. -
Establezca los detalles del archivo de salida mediante el campo
outputPath
de la instanciaAdvancedTransformerDetail
.Para un archivo de salida de texto, cree una instancia deFilePath
con los detalles relevantes del archivo de salida mediante la invocación del constructor apropiado. Para un archivo de salida ORC, cree una instancia deOrcFilePath
con la ruta del archivo de salida ORC como argumento. -
Establezca el nombre del trabajo mediante el campo
jobName
de la instanciaAdvancedTransformerDetail
.
-
Configure las reglas de Advanced Transformer mediante la creación de una instancia de
-
Para crear y ejecutar el trabajo Spark, utilice la instancia anteriormente creada de
DataNormalizationFactory
para invocar este métodorunSparkJob()
. Aquí, pase la instancia anterior deAdvancedTransformerDetail
como un argumento.El métodorunSparkJob()
ejecuta el trabajo y devuelve unMap
de los contadores de informes del trabajo. - Muestre los contadores para ver las estadísticas de generación de informes para el trabajo.