設定プロパティ ファイルの使用

Big Data Quality SDKがコンピュータ上にインストールされていることを確認します。
Big Data Quality SDKジョブは、モジュール固有の JAR ファイルと XML 形式の設定ファイルを使用して実行できます。

設定プロパティのサンプルは、Big Data Quality SDK に付属しており、<Big Data Quality bundle>\samples\configurationにあります。

注: モジュール固有の JAR ファイルの一覧については、SDK Java API のコンポーネントを参照してください。
  1. Linux システムの場合は、コマンド プロンプトを起動します。
    Windows および Unix システムの場合は、Putty などの SSH クライアントを起動します。
  2. MapReduce ジョブの場合は、コマンド hadoop を使用します。
    実行するジョブによって、次の操作を行います。
    1. そのモジュールの JAR ファイル名を引き渡します。
    2. ドライバ クラス名 RunMRSampleJobを引き渡します。
    3. 各種設定ファイルを引数リストとして渡します。各引数キーに、1 つの設定プロパティ ファイルのパスが指定できます。各ファイルには、複数の設定プロパティが含まれます。
    コマンドの構文は次のとおりです。

    hadoop jar <Name of module JAR file> RunMRSampleJob [-config <Path to configuration file>] [-debug] [-input <Path to input configuration file>] [-conf <Path to MapReduce configuration file>] [-output <Path of output directory>]

    例えば、MapReduce MatchKeyGenerator ジョブの場合は次のようになります。

    hadoop jar amm.core.12.0.jar RunMRSampleJob -config /home/hadoop/matchkey/mkgConfig.xml -input /home/hadoop/matchkey/inputFileConfig.xml -conf /home/hadoop/matchkey/mapReduceConfig.xml -output /home/hadoop/matchkey/outputFileConfig.xml
  3. Spark ジョブの場合は、コマンド spark-submit を使用します。
    実行するジョブによって、次の操作を行います。
    1. そのモジュールの JAR ファイル名を引き渡します。
    2. ドライバ クラス名 RunSparkSampleJobを引き渡します。
    3. 各種設定ファイルを引数リストとして渡します。各引数キーに、1 つの設定プロパティ ファイルのパスが指定できます。各ファイルには、複数の設定プロパティが含まれます。
    コマンドの構文は次のとおりです。

    spark-submit –-class RunSparkSampleJob <Name of module JAR file> [-config <Path to configuration file>] [-debug] [-input <Path to input configuration file>] [-conf <Path to Spark configuration file>] [-output <Path of output directory>]

    例えば、Spark MatchKeyGenerator ジョブの場合は次のようになります。

    spark-submit --class RunSparkSampleJob amm.core.12.0.jar -config /home/hadoop/spark/matchkey/matchKeyGeneratorConfig.xml -input /home/hadoop/spark/matchkey/inputFileConfig.xml -output /home/hadoop/spark/matchkey/outputFileConfig.xml
注: hadoopまたは spark-submit コマンドでサポートされる引数キーの一覧を表示するには、次のコマンドを実行します。
hadoop --help
または
spark-submit --help