Asegúrese de que Big Data Quality SDK esté instalado en su equipo.
Puede ejecutar un trabajo Big Data Quality SDK usando los archivos JAR específicos del módulo y los archivos de configuración en formatos XML.Se envían propiedades de configuración de muestra con el Big Data Quality SDK, los que se colocan en la ubicación <Big Data Quality
bundle>\samples\configuration.
-
Para un sistema Linux, abra una indicación de comando.
Para sistemas Windows y Unix, abra un cliente SSH, como Putty.
-
Para un trabajo MapReduce, use el comando
hadoop
.
Según el trabajo que desee ejecutar:
- Pase el nombre del archivo JAR de ese módulo.
- Pase el nombre de clase de controlador
RunMRSampleJob
.
- Pase los diversos archivos de configuración como una lista de argumentos. Cada clave de argumentos acepta la ruta de un único archivo de propiedades de configuración, donde cada archivo contiene múltiples propiedades de configuración.
La sintaxis del comando es:
hadoop jar <Name of module JAR
file> RunMRSampleJob [-config <Path to configuration file>] [-debug]
[-input <Path to input configuration file>] [-conf <Path to
MapReduce configuration file>] [-output <Path of output
directory>]
Por ejemplo, para un trabajo MapReduce MatchKeyGenerator:
hadoop jar amm.core.12.0.jar
RunMRSampleJob -config /home/hadoop/matchkey/mkgConfig.xml -input
/home/hadoop/matchkey/inputFileConfig.xml -conf
/home/hadoop/matchkey/mapReduceConfig.xml -output
/home/hadoop/matchkey/outputFileConfig.xml
-
Para un trabajo Spark, use el comando
spark-submit
.
Según el trabajo que desee ejecutar:
- Pase el nombre del archivo JAR de ese módulo.
- Pase el nombre de clase de controlador
RunSparkSampleJob
.
- Pase los diversos archivos de configuración como una lista de argumentos. Cada clave de argumentos acepta la ruta de un único archivo de propiedades de configuración, donde cada archivo contiene múltiples propiedades de configuración.
La sintaxis del comando es:
spark-submit –-class
RunSparkSampleJob <Name of module JAR file> [-config <Path to
configuration file>] [-debug] [-input <Path to input configuration
file>] [-conf <Path to Spark configuration file>] [-output <Path
of output directory>]
Por ejemplo, para un trabajo Spark MatchKeyGenerator:
spark-submit --class RunSparkSampleJob
amm.core.12.0.jar -config
/home/hadoop/spark/matchkey/matchKeyGeneratorConfig.xml -input
/home/hadoop/spark/matchkey/inputFileConfig.xml -output
/home/hadoop/spark/matchkey/outputFileConfig.xml
Nota: Para revisar una lista de claves de argumento admitidas para los comandos
hadoop
o
spark-submit
, ejecute los comandos:
hadoop --help
o bien
spark-submit --help