Uso de un trabajo Spark de Match Key Generator
-
Cree una instancia de
AdvanceMatchFactory
con su método estáticogetInstance()
. -
Proporcione los detalles de entrada y salida del trabajo Match Key Generator creando una instancia de
MatchKeyGeneratorDetail
que especifique elProcessType
. La instancia debe usar el tipo SparkProcessType.-
Especifique las configuraciones de la clave de cruce para realizar el cruce creando y configurando una instancia de
MatchKeySettings
. Para obtener más información, consulte el código de muestra correspondiente. -
Cree una instancia de
MatchKeyGeneratorDetail
pasando una instancia del tipoJobConfig
y la instanciaMatchKeySettings
creada como los argumentos para su constructor.El parámetroJobConfig
debe ser una instancia de tipo SparkJobConfig. -
Establezca los detalles del archivo de entrada mediante el campo
inputPath
de la instanciaMatchKeyGeneratorDetail
.Para un archivo de entrada de texto, cree una instancia deFilePath
con los detalles relevantes del archivo de entrada mediante la invocación del constructor apropiado. Para un archivo de entrada ORC, cree una instancia deOrcFilePath
con la ruta del archivo de entrada ORC como argumento. -
Establezca los detalles del archivo de salida mediante el campo
outputPath
de la instanciaMatchKeyGeneratorDetail
.Para un archivo de salida de texto, cree una instancia deFilePath
con los detalles relevantes del archivo de salida mediante la invocación del constructor apropiado. Para un archivo de salida ORC, cree una instancia deOrcFilePath
con la ruta del archivo de salida ORC como argumento. -
Establezca el nombre del trabajo mediante el campo
jobName
de la instanciaMatchKeyGeneratorDetail
.
-
Especifique las configuraciones de la clave de cruce para realizar el cruce creando y configurando una instancia de
-
Para crear y ejecutar el trabajo Spark, utilice la instancia anteriormente creada de
AdvanceMatchFactory
para invocar este métodorunSparkJob()
. Aquí, pase la instancia anterior deMatchKeyGeneratorDetail
como un argumento.El métodorunSparkJob()
ejecuta el trabajo y devuelve unMap
de los contadores de informes del trabajo.