Uso de archivos de propiedades de configuración

Asegúrese de que Big Data Quality SDK esté instalado en su equipo.
Puede ejecutar un trabajo Big Data Quality SDK usando los archivos JAR específicos del módulo y los archivos de configuración en formatos XML.

Se envían propiedades de configuración de muestra con el Big Data Quality SDK, los que se colocan en la ubicación <Big Data Quality bundle>\samples\configuration.

Nota: Para ver una lista de los archivos JAR específicos del módulo, consulte Componentes de la API de Java de SDK.
  1. Para un sistema Linux, abra una indicación de comando.
    Para sistemas Windows y Unix, abra un cliente SSH, como Putty.
  2. Para un trabajo MapReduce, use el comandohadoop.
    Según el trabajo que desee ejecutar:
    1. Pase el nombre del archivo JAR de ese módulo.
    2. Pase el nombre de clase de controlador RunMRSampleJob.
    3. Pase los diversos archivos de configuración como una lista de argumentos. Cada clave de argumentos acepta la ruta de un único archivo de propiedades de configuración, donde cada archivo contiene múltiples propiedades de configuración.
    La sintaxis del comando es:

    hadoop jar <Name of module JAR file> RunMRSampleJob [-config <Path to configuration file>] [-debug] [-input <Path to input configuration file>] [-conf <Path to MapReduce configuration file>] [-output <Path of output directory>]

    Por ejemplo, para un trabajo MapReduce MatchKeyGenerator:

    hadoop jar amm.core.12.0.jar RunMRSampleJob -config /home/hadoop/matchkey/mkgConfig.xml -input /home/hadoop/matchkey/inputFileConfig.xml -conf /home/hadoop/matchkey/mapReduceConfig.xml -output /home/hadoop/matchkey/outputFileConfig.xml
  3. Para un trabajo Spark, use el comandospark-submit.
    Según el trabajo que desee ejecutar:
    1. Pase el nombre del archivo JAR de ese módulo.
    2. Pase el nombre de clase de controlador RunSparkSampleJob.
    3. Pase los diversos archivos de configuración como una lista de argumentos. Cada clave de argumentos acepta la ruta de un único archivo de propiedades de configuración, donde cada archivo contiene múltiples propiedades de configuración.
    La sintaxis del comando es:

    spark-submit –-class RunSparkSampleJob <Name of module JAR file> [-config <Path to configuration file>] [-debug] [-input <Path to input configuration file>] [-conf <Path to Spark configuration file>] [-output <Path of output directory>]

    Por ejemplo, para un trabajo Spark MatchKeyGenerator:

    spark-submit --class RunSparkSampleJob amm.core.12.0.jar -config /home/hadoop/spark/matchkey/matchKeyGeneratorConfig.xml -input /home/hadoop/spark/matchkey/inputFileConfig.xml -output /home/hadoop/spark/matchkey/outputFileConfig.xml
Nota: Para revisar una lista de claves de argumento admitidas para los comandos hadoop ospark-submit, ejecute los comandos:
hadoop --help
o bien
spark-submit --help